AWS 开源 Infinity:8GB 内存可挂起约 7.5 万个空闲智能体

AWS 开源博客介绍 Infinity――一个面向极高智能体并发的运行时,源自 AWS 与加州大学伯克利分校(UC Berkeley)合作的 Hydro 项目。

导语:AWS 开源博客介绍 Infinity――一个面向极高智能体并发的运行时,源自 AWS 与加州大学伯克利分校(UC Berkeley)合作的 Hydro 项目。

摘要

AWS 开源博客介绍 Infinity――一个面向极高智能体并发的运行时,源自 AWS 与加州大学伯克利分校(UC Berkeley)合作的 Hydro 项目。Infinity 的设计思路是把工具调用当作 await 点:当智能体在等待工具或子任务返回时,运行时仅保留其对话历史,从而把空闲智能体的内存占用压到极低。据 AWS 介绍,在 8GB 内存的单机上可挂起约 7.5 万个空闲智能体;相较基线,单节点吞吐可达约 7.9 倍。该运行时以 Rust 实现,可运行在无服务器平台上,面向需要大规模并发智能体(如客服、自动化流程)的场景。项目代码以 Apache 2.0 许可开源。

正文(译文)

Infinity 是什么 Infinity 是一个面向极高智能体并发的运行时,由 AWS 开源,源自 AWS 与加州大学伯克利分校(UC Berkeley)合作的 Hydro 项目。它解决的核心问题是:当大量智能体同时运行却又频繁等待工具调用或子任务结果时,传统运行时会为每一个空闲智能体保留完整执行状态,内存开销巨大。

微信图片_20261026152143.png

工作原理 Infinity 把智能体的工具调用视作 await 点。当智能体进入等待(等待工具返回、等待子任务完成)时,运行时将其挂起,只保留对话历史等必要状态,释放其余内存。被挂起的智能体可在需要时快速恢复。这样,大量空闲智能体几乎不占用资源,系统可以支撑远超传统方案的并发规模。Infinity 以 Rust 实现,并能运行在无服务器(serverless)平台上。

性能数据 据 AWS 介绍,在 8GB 内存的单台机器上,Infinity 可同时挂起约 7.5 万个空闲智能体;相较基线运行方式,单节点吞吐可达约 7.9 倍。该设计面向需要大规模并发智能体的场景,如自动化客服、批量流程编排等。

许可 Infinity 项目以 Apache 2.0 许可开源。

(来源:艾瑞网)
免责声明:本文内容来源于第三方或整理自互联网,本站仅提供展示,不拥有所有权,不代表本站观点立场,也不构成任何其他建议,对本文以及其中全部或者部分内容、文字的真实性、完整性、及时性不作任何保证或承诺,请读者仅作参考,并请自行核实相关内容,不承担相关法律责任。如发现本站文章、图片等内容有涉及版权/违法违规或其他不适合的内容, 请及时联系我们进行处理。

相关推荐