我感到很沮丧。我的多个本地大语言模型（LLM）闲置着——既然云模型的参数更多且表现更好，何必费心呢？
更糟的是，市面上所有可以与大语言模型一起构建的工具都价格离谱。
于是我构建了我所需要的：一个完全免费的、本地优先的人工智能平台，真正释放本地模型的潜力。
这不仅仅是另一个智能代理。它有一个许多AI领域的聪明人都忽视的关键创新：
大多数AI代理只是使用工具来追求人类定义的目标。
而这个代理能够即时创建自己的目标、子目标和工具。
当你使用更多参数的大语言模型时，这个工具的表现更是上了一个台阶，32B的大语言模型的性能远超16B的大语言模型，你会看到至少100倍的性能提升。
没错——它完全在本地运行。完全免费。
项目链接：
[https://github.com/ARAldhafeeri/whale-rider](https://github.com/ARAldhafeeri/whale-rider)
演示视频：
[https://youtu.be/ciFfjajS_xA?si=NQt5DStF1BS3m4Fj](https://youtu.be/ciFfjajS_xA?si=NQt5DStF1BS3m4Fj)
返回首页
最新
我一直在为一些大型财富500强公司（如T-Mobile、Twilio等）构建智能应用，并形成了一种心理模型，作为构建智能应用的实用指南：将高层次的代理特定逻辑与低层次的平台能力分开。我称之为L-MM：大型语言模型应用的逻辑心理模型。
这个心理模型不仅在构建智能代理时非常有帮助，还帮助客户思考开发过程——因此，当我完成咨询项目时，他们可以更快地在整个技术栈中推进，使工程师和平台团队能够并行工作而不相互干扰，从而提高生产力。
那么，高层次的逻辑与低层次的平台工作有什么区别呢？
### 高层次逻辑（代理和任务特定）
**工具和环境** - 这些是允许代理与外部系统或API交互以执行现实世界任务的特定集成和能力。示例包括：
```
通过OpenTable API预订餐桌
通过Google日历或Microsoft Outlook安排日历事件
从Salesforce等CRM平台检索和更新数据
利用支付网关完成交易
```
**角色和指令** - 清晰地定义代理的角色、职责和明确的指令对于可预测和连贯的行为至关重要。这包括：
```
代理的“个性”（例如，专业助理）
关于任务完成的明确界限（“完成标准”）
处理意外输入或情况的行为指南
```
### 低层次逻辑（通用平台能力）
**路由** - 高效地协调多个专业代理之间的任务，确保无缝交接和有效委派：
```
基于任务上下文实施智能负载均衡和动态代理选择
支持重试、故障转移策略和后备机制
```
**保护机制** - 中央化的机制以保护交互并确保可靠性和安全性：
```
过滤或审核敏感或有害内容
针对行业特定法规（如GDPR、HIPAA）的实时合规检查
基于阈值的警报和自动纠正措施以防止滥用
```
**访问大型语言模型** - 提供强大且集中访问多个大型语言模型的能力，确保高可用性和可扩展性：
```
实施带有指数退避的智能重试逻辑
中央化的速率限制和配额管理以优化使用
透明处理多种大型语言模型后端（如OpenAI、Cohere、本地开源模型等）
```
**可观察性** - 使用行业标准实践对系统性能和交互进行全面可视化：
```
兼容W3C Trace Context的分布式追踪，以便在请求之间清晰可见
详细的日志记录和指标收集（延迟、吞吐量、错误率、令牌使用）
与Grafana、Prometheus、Datadog和OpenTelemetry等流行可观察性平台的轻松集成
```
### 为什么这很重要
通过采用这种结构化的心理模型，团队可以实现关注点的清晰分离，从而改善协作、减少复杂性，加速可扩展、可靠和安全的智能应用的开发。
我正在积极解决这一领域的挑战。如果你正在面临类似问题或有见解可以分享，欢迎进一步讨论——如果大家需要，我也会留下关于技术栈的一些链接。
高层次框架 - [https://openai.github.io/openai-agents-python/](https://openai.github.io/openai-agents-python/)
低层次基础设施 - [https://github.com/katanemo/archgw](https://github.com/katanemo/archgw)
我创建了Unstruct.AI，旨在改变我们消费内容的方式。该系统可以将任何文本转换为互动播客，配备可定制的讲述者——没错，您可以在内容中“邀请”知名人物。
例如：我将OpenAI的GPT-4图像生成博客文章转化为一段4分钟的对话，参与者包括Sam Altman、Gabriel Goh和Prafulla Dhariwal，他们讨论了这项技术，并将原文中的相关视觉内容映射到每个段落。
这个过程只需几秒钟：
1. 上传内容和图片
2. AI生成对话
3. 将视觉内容映射到段落
4. 自定义您的“讲述者”
5. 分享或嵌入
演示链接在评论中。期待您对潜在用例的反馈，以及您可能如何使用这项技术。