最新

正在运行多个项目，整体API费用超过每月2000美元，涉及OpenAI、Anthropic和AWS Bedrock。我开始进行每月审计，发现自己超支了大约60%。到目前为止最大的收获包括：模型路由将成本降低了55%，且最终输出质量没有损失；提示压缩使我最常调用的端点节省了70%的费用；请求去重在重试中消除了15%的无效调用；缓存语义相似的查询又节省了20-30%的费用。 但我觉得自己仍然遗漏了一些东西，尤其是在基础设施方面（如GPU实例大小、按需与竞价实例等）。那么，其他人使用了什么工具或方法？是否有人在系统地进行这些操作，还是大家只是随便查看仪表盘？请告诉我！

随着新AI模型的不断发布（感觉几乎每隔一周就有一个新模型），各公司是如何进行内部AI评估，以确定哪种模型最适合他们的应用场景的呢？