最新

我已经在这个项目上工作了几年，最终目标是创造一种无处不在且自然的用户体验，以便与机器进行互动。长期目标是构建一种完全自主的体验，能够为您驱动用户界面（生成式用户界面），并在您使用的任何设备上展示。虽然距离实现这个目标还有很长的路要走，但我正在为此奠定基础。如果您有任何问题，我很乐意在这里解答。

efflora_run DAG 回归测试 2026年5月14日 11:30:24

嗨，HN， 我创建了一个实时跟踪器，用于可视化旗舰AI模型的生命周期和性能变化。 我们都经历过这样的现象：一个旗舰模型在发布时感觉非常出色，但几周后，它突然感觉有些不对劲。我想看看这是否只是感觉上的问题，还是可以量化的现实，因此我构建了一个仪表板来跟踪Arena AI的历史ELO评分。 这个逻辑并不是将每一个模型变体都绘制成一张庞大的意大利面图，而是为每个主要AI实验室绘制一条连续曲线。它动态跟踪他们最高评分的旗舰模型随时间的变化，这使得突然的代际飞跃和缓慢的性能衰退变得更加明显。为了让图表在移动设备上看起来更好，我进行了多次迭代，同时也提供了可选的暗黑模式。 然而，我有一个特定的数据盲点，希望这个社区能提供一些见解。 Arena AI主要依赖于测试API端点。但正如我们所知，消费者聊天用户界面通常会添加大量系统提示、安全包装，或者在高负载下默默切换到高度量化的模型以节省计算资源。API基准测试并不能完全捕捉到日常网络用户所经历的这种“削弱”。 有没有人知道是否有历史ELO或评估数据集，专门从消费者网页用户界面抓取或测试输出，而不是原始API？ 我希望能将这些数据整合进来，以便更准确地反映消费者体验。这个项目是开源的（仓库链接在页脚），所以我非常欢迎任何反馈或数据集的指引！

“从2026年6月15日起，订阅计划中的Agent SDK和claude -p使用将从一个新的每月Agent SDK信用额度中扣除，该额度与您的互动使用限制是分开的。” <p>详细信息请访问: https://support.claude.com/en/articles/15036540-use-the-claude-agent-sdk-with-your-claude-plan