最新

标签、分屏和tmux在你打开多个项目时工作良好，但当有日志、测试和长时间运行的shell时，我总是重新构建上下文，而不是继续工作。Horizon将shell放在一个无限的画布上。你可以将它们整理成工作区，稍后重新打开时布局、滚动记录和历史记录都保持不变。<p>这个项目在3天内使用Claude/Codex构建而成，在此过程中我也在实际使用这个工作流程。欢迎反馈和贡献。

我尝试使用基准测试的方法来评估一个人工智能代理。<p>结果出现了我意想不到的失败。<p>大多数失败并不是由于模型质量问题，而是系统层面的问题。以下是一些来自小型测试套件的例子：<p>- 工具调用中的无效 URL → 分数降至 22<p>- 代理在云环境中调用本地主机 → 卡在 46<p>- 被标记为幻觉的真实 CVE → 评估问题，而非模型问题<p>- Reddit 阻止请求 → 外部依赖失败<p>- 生产环境中缺少 API 密钥 → 静默失败<p>每次运行都暴露了一个真实的错误，但并不是我最初想要测量的那种。<p>令我惊讶的是，评估代理不仅仅是对输出进行评分。这是关于验证整个系统：工具、环境、数据访问，以及代理与这些要素的交互方式。<p>换句话说，大多数失败模式更像是软件错误，而不是大型语言模型的错误。<p>这让我思考，代理的评估循环应该更像软件测试，而不是基准测试： - 可重复的测试套件 - 明确的通过/失败标准 - 回归检测 - 根本原因分析<p>否则，很容易将失败归因于模型，而实际上问题出在其他地方。<p>最后，我构建了一个小工具来结构化这个过程，但对我来说更重要的收获是，现实世界中的代理评估与标准基准相比，实际上是多么复杂。<p>我很好奇其他人是如何处理这个问题的，尤其是在生产环境中。