最新

嗨，HN，我们构建了一个开源模型网关。它是一个集中管理我们自托管、前沿和开源模型的单一平台。 该网关是用Rust语言开发的，专为并发设计，并实现了不同模型和提供者之间的所有配置细节（如流格式、工具调用、模型参数、速率限制和不同的错误行为）。 对于BYOK（Bring Your Own Key）请求，网关的延迟不到1毫秒，当Experiential提供提供者密钥时，延迟不到2毫秒。它支持所有主要的推理提供者，并且每天通过一个Codex代理更新1000多个模型。 与其他类似项目相比，我们是开源的，不收取任何加价，允许您将本地模型与市场模型混合使用，并利用您的流量（自愿选择）来训练模型。简单的路由并不需要10%的代币加价。 我们的实现方式是，基于标准化的OTel追踪，我们挖掘代表性的真实任务，使用文本世界模型模拟各种模型的推出，应用LLM评判，并在提示的嵌入上拟合最近邻分类器，以决定每个请求的最佳模型。通常，这种方法可以在成本/质量上绘制出比单一模型更好的帕累托曲线，但并不完美。 通过这些模拟，我们还可以进行缓存命中优化建议、新模型建议和模型训练等操作。 它是开源的，因此您可以在自己的基础设施上部署，使用我们提供的零加价托管版本，或者访问我们的网站了解我们如何设计以实现最大可用性。

嘿，HN， 我怀念那些和Windows 98一起摇摆的日子，那时的显示器大得需要两个成年人才搬得动。我还记得那只可以把球取出来然后扔给别人的鼠标。 所以我决定重新找回童年的感觉，同时加入一些投票的乐趣，制作一个小小的拔河投票系统。 这个系统其实没什么特别的，你可以投票（投票时会发布一条消息），然后会有一个论坛与正在进行的投票关联。当投票结束后，经过三天或达到终止条件，它将永远归档，并连同trollbox.exe聊天记录一起保存，这样我们就可以在未来的岁月里回顾发生了什么。我还想让社区参与进来，所以你可以请求你想看到的投票，投票结束后，大家可以点赞，成为新的投票主题。 告诉我你的想法，虽然没什么特别的，但我觉得很有趣！