AI资讯

Cloudflare为AI智能体配虚拟电脑,开源工具让每个AI有独立工作空间

智能摘要

智能体独立分配虚拟工作计算机,并包含文件系统与命令执行能力。智能体时,为每个智能体配置容器的模式面临扩展性限制。兼容工具;所有操作均可设定权限门槛、审计和观测。模型会依据工具描述选择适合的执行环境。包管理器)或编译型可执行文件时,系统才调用容器。

痛点:容器成本太高

AI编程智能体, 要反复地去读写那代码, 而后运行测试, 接着修改结果, 这和传统聊天AI是全然不一样的。这类工具, 得保存工作文件, 并且还要有能够运行那程序的环境。

现在的行业里, 主流的办法是, 为每一个的AI智能体去构建容器, 以此来提供隔离了的Linux环境, 以及各式各样的工具。然而, 针对每一个用户, 倘若分配专属的容器, 那么就会耗费数量巨大的CPU, 还有内存。

方案:@/开源库推出

Cloudflare为AI智能体配虚拟电脑,开源工具让每个AI有独立工作空间

系统要同时运转起数亿乃至数十亿个AI智能体之际, 容器模式的扩展性方面便受到了限制。在此之前, 基于平衡算力以及成本的考量, 已经于系统之中引入了能够快速启动的轻量执行环境。

处理轻量任务的是轻量环境, 调用容器的是重负载任务。基于这一机制的@/开源库是最新发布的, 它围绕工作区构建, 使用容器去支持虚拟文件系统。

工作区:文件管理核心

能从云存储导入内容的区域, 或者能从Git仓库导入内容的区域, 又或者是能从自定义文件导入内容的区域, 被称作工作区。它提供了read工具, 还提供了write工具, 也有edit工具, 还有ls工具, 甚至有exec工具, 这些都是与AI SDK兼容的工具, 借助它们能让智能体在操作文件时更为便利。

能够设定权限门槛涵盖所有操作, 具备支持审计以及观测的功能, 这表明开发者能够精准把控 AI 智能体具体可做哪些事, 不可做哪些事。

轻量执行:隔离环境处理简单任务

软件包给出两种执行后端, 一种是基于隔离执行环境的后端, 它借助just – bash工具, 将Shell代码转变为容器友好的格式, 然后在动态容器里运行。

文件处理、数据处理以及Git管理等等这样的轻量任务恰是这类环境适宜放置。智能体开展命令执行期间呢, AI模型也会依据工具描述来挑选契合的环境。

容器后端:完整Linux环境

后面的容器为容器后端给予完整的Linux环境, 借助FUSE用户态文件系统把同步文件进行挂载。这类方式适宜于运行npm、原生二进制文件以及测试工具。

处于隔离环境里, 完成的是文件编辑, 还有数据处理, 以及Git仓库操作等, 那些属轻量任务。唯有在需要Linux环境时, 或者需要npm包管理器时, 又或者需要编译型可执行文件时, 系统才会去调用容器。

权限控制:防止意外变更

不管任务是在何种环境下去开展执行, 都会运用同一组工作区文件, 文件一旦出现变更便会实现同步, 系统能够对AI智能体被准许去执行的操作加以限制, 还会记录下已经完成的任务。

这么做能便利地管控智能体自行改写文件之际出现的那些意料之外的更改情况, 并且在事情完结之后再去复查核验操作的记录。开发者能够看明明白白地知晓AI做了哪些举措, 以及采取此等举措的缘由是什么。

针对你的AI智能体项目, 是否遭遇过资源管理方面的难题呢? 欢迎于评论区把属于你的经验分享出来。

相关文章