最新

去支付我的手机账单（按月付费计划）。网站上的“支付”按钮无法使用，没有明显的错误信息。网站提供了聊天功能。通过聊天机器人联系客户服务。接通人工客服。客服让我重复我已经告诉机器人的信息（他看不到完整的聊天记录吗？）。客服还让我提供我的电子邮件地址和电话号码（而我已经登录了与该电子邮件地址和电话号码关联的账户，为什么他看不到这些信息？）。这对我来说是在线支付服务时的典型体验，但在手机服务上尤其糟糕。为什么公司要支付人力客服来询问客户已经为机器人回答过的问题，或者应该从他们数据库中自动填充的客户信息？如果机器人无法执行像支付这样有用的功能，为什么还要让客户重复输入相同的信息？ 我在实体店也看到这种情况。我住在农村地区，有一家加油站/便利店连锁。无论何时，收银台前总是排着队，而柜台后面有三名员工，但只有一个收银台开放。这让顾客感到非常沮丧。其他两名员工在摆弄热狗或其他东西。加油站真的卖那么多热狗需要雇佣第三名员工吗？难道不应该通过同时开放两个收银台来更好地服务顾客吗？ 或者你去沃尔玛。收银员无法弄清楚如何给商品打包。前面的顾客总是试图用一张无效/失效/透支的信用卡付款，而收银员花了5分钟试图解决这个问题，期间顾客不停地刷他们那张糟糕的卡。最后，他们终于拿出另一张卡来支付订单，而这时队伍里已经排了好几个人。 或者你去商店，想在关门前5-10分钟快速买点东西，但员工已经锁上了门。在新冠疫情之前，这对我来说从来不是问题。以前商家是希望有生意的！ 我在这个无脑的客服处理我的手机支付时，能够打完这整篇帖子。

嗨，HN！我是来自 Superglue 的 Stefan，今天我想分享一个我们刚刚开源的新基准测试：代理-API 基准测试，在这个测试中，我们评估大型语言模型（LLMs）处理 API 的能力。 我们给 LLMs 提供了 API 文档，并要求它们编写能够实际进行 API 调用的代码，比如“创建一个 Stripe 客户”或“发送一条 Slack 消息”。我们并不是在测试它们是否能够使用 SDK，而是在测试它们是否能够编写原始的 HTTP 请求（包含适当的认证、头信息和主体格式），并且这些请求在实际的 API 端点上执行时能够正常工作，并从响应中提取相关信息。 简而言之：LLMs 在编写使用 API 的代码方面表现不佳。 我们对 21 个常见 API（如 Stripe、Slack、GitHub 等）进行了 630 次集成测试，使用了 6 种不同的 LLM。以下是我们的主要发现： - 最佳通用 LLM：成功率为 68%。这意味着每 3 次 API 调用中就有 1 次失败，大多数人会认为这在生产环境中不可行。 - 我们的集成层成功率为 91%，这表明仅仅使用更大或更好的 LLM 并不能解决问题。 - 只有 6 个 API 在所有测试中始终成功，其他所有 API 都出现了失败。 - Anthropic 的模型在构建 API 集成方面显著优于其他提供商。 以下是结果图表： [https://superglue.ai/files/performance.png](https://superglue.ai/files/performance.png) 导致 LLMs 失败的原因： - 缺乏上下文（LLMs 在理解 API 端点的存在及其功能方面并不出色，即使我们提供了文档）。 - 多步骤工作流（链式 API 调用）。 - 复杂的 API 设计：像 Square、PostHog、Asana 这样的 API（在项目选择等方面的强制要求让 LLMs 感到困惑）。 我们已经开源了这个基准测试，您可以测试任何 API 并查看其排名：[https://github.com/superglue-ai/superglue/tree/main/packages/core/eval/api-ranking](https://github.com/superglue-ai/superglue/tree/main/packages/core/eval/api-ranking) 请查看这个代码库，考虑给它一个星标，或者查看完整排名：[https://superglue.ai/api-ranking/](https://superglue.ai/api-ranking/)。 如果您正在构建需要可靠 API 访问的代理，我们非常希望听到您的方法，或者您可以在 superglue.ai 尝试我们的集成层。 接下来：基准测试 MCP。

我与人工智能助手合作了一段时间，虽然我对此感到非常兴奋，但有时也会感到非常沮丧。大型语言模型（LLM）常常陷入无尽的循环中。 这时我开始尝试创建工作计划。最初是一个简单的待办事项列表，但感觉像是在“产品共鸣”，所以后来变得稍微复杂一些。我开始看到其中的价值。 有一天我突然想到，为什么不使用相同的GitOps原则来管理产品票据呢？我开始尝试这个方法，并非常喜欢它的运作方式。 与我的一个朋友聊天后，我意识到制定一个标准或规范会非常有用。这样就可以围绕这个标准创建各种工具。 我从Kubernetes的YAML使用方式中获得了灵感，因为我觉得它非常简洁。 你可以在这里查看示例： [https://spec.productascode.org/draft/#sec-Epic-Example-YAML-](https://spec.productascode.org/draft/#sec-Epic-Example-YAML-) 到目前为止的关键设计决策： 1. 使用YAML而非JSON：可读性强，适合git差异比较，工具生态系统优秀 2. 层级结构：史诗 → 票据 → 任务（与开发工作流程相匹配） 3. 原子票据：每个票据 = 一个分支 = 一个PR（防止范围蔓延） 4. ISO 8601时间戳/持续时间：机器可解析的时间数据 如果我能创建一个包含一堆待办票据的史诗，那么我工作中最喜欢的部分就是告诉Claude Code：“关闭当前票据，开始另一个”。 这里是包含草案规范和GitHub仓库链接的帖子链接。 目前正在开发v0.1.0，期待听到你的想法。 [https://mantcz.com/blog/introducing-product-as-code/](https://mantcz.com/blog/introducing-product-as-code/)