返回首页
最新
我想分享一个我正在进行的项目，叫做“节俭令牌”（Frugal Tokens）。我最初构建这个项目是因为我想了解我的所有会话的成本，以及缓存未命中对这笔开支的影响。我注意到人们的开支模式差异很大，因此想更好地理解可能导致这种差异的因素。
随着我对这个项目的深入，工具的功能不断扩展，能够展示你所有会话的使用模式。它显示了整体使用情况、估计的工作时间和重叠会话，以及你的开支来源于哪些模型和缓存未命中。我还提供了一些会话级别的指标，并进行了百分位数的细分，同时列出了你的会话和高层次的信息。
点击进入某个会话后，会打开一个探索器，你可以查看单个模型调用和工具的输入输出。你还可以直接跳转到缓存未命中的位置。此外，还有一个粗略的成本比较，显示如果使用其他模型的定价，或者对于Anthropic，5分钟缓存与1小时缓存的记录会话成本。
未来，我希望收集更多信息，以了解哪些模式可能导致人们的工作流程变得更加昂贵，例如长时间会话、高上下文使用、多个回合等。
这个工具需要Deno，但安装后只需运行一个命令。提供的演示中有一些数据被处理过，但可以帮助展示运行前的样子。
欢迎任何想法或建议。
<a href="https://github.com/dpclark4/frugal-tokens" rel="nofollow">https://github.com/dpclark4/frugal-tokens</a>