返回首页
最新
大家好,
大约五个月前,我开始认真思考我们如何运行代理,以及最终用户在隐私、数据和计算方面实际上拥有多么有限的控制权。在本地运行大型语言模型(LLM)对于重写电子邮件或回答基本问题是很不错的,但这并不能真正赋予你自主权。真正赋予你权力的是能够运行功能齐全的本地代理,这些代理能够进行深入研究、编程、推理和工具使用——所有这些都无需将数据发送到外部服务。
怀着这个愿景,我启动了一个开源项目(MIT + Apache-2 许可证),旨在使构建和运行代理变得模块化、可定制且适合硬件使用。代理堆栈的每个组件都可以更换:
- 内存:插入你自己的内存后端
- LLM 层:可以交替使用本地模型或云 API
- 执行方式:可以选择 ReAct、CoT 或你自己的自定义执行器
我们的目标是实现真正的研究工作流程,同时保持强大的性能和开发者友好的可用性。
这个项目不仅限于构建代理——我们还希望确保你能够在任何加速硬件上高效运行它们,从 GPU 到边缘设备。
期待来自 HN 社区的反馈!