我们是两位开发者,曾两次遭遇大型语言模型(LLM)成本问题,因此构建了LangSpend来解决这个问题。
首先:我们无法确定在我们的SaaS中哪些功能运行成本高,或者哪些客户给我们带来了最高的成本。这使得我们无法合理定价或发现费用失控的情况。
其次:在构建我们想法的原型时,我们在Claude 4(AWS Bedrock)上消耗了80%的1,000美元AWS信用额度,仅用了两个月,但我们对哪些实验在消耗预算完全没有可视化的了解。
因此,我们开发了LangSpend——一个简单的SDK,它封装了您的LLM调用,并按客户和功能跟踪成本。
它的工作原理:
- 封装您的LLM调用,并为其添加客户/功能元数据标签。
- 仪表板实时显示谁在消耗多少成本。
- 目前支持Node.js和Python SDK。
虽然还处于早期阶段,但已经解决了我们的一个问题。欢迎试用,并告诉我它是否对您也有帮助。
- [LangSpend官网](https://langspend.com)
- [文档](https://langspend.com/docs)
- [Discord社区](https://discord.gg/Kh9RJ5td)
返回首页
最新
AI资源管理器(V3)(前称AI规则管理器)
一个用于AI规则和提示的包管理器,具有语义版本控制和自动分发到AI工具的功能。
什么是ARM?
ARM是一个用于AI资源的包管理器,旨在将规则集和提示集视为代码依赖项。它引入了语义版本控制、可重现的安装以及简单的分发到您的AI工具。
无缝连接到Git仓库,例如awesome-cursorrules或您团队的私有集合。跨项目安装和管理版本化资源,并与您的真实来源保持同步。
为什么选择ARM?
管理AI编码助手(如Cursor或Amazon Q)的规则和提示是一项繁琐的工作:
- 手动复制:复制资源会使其与更新和原始来源脱节
- 隐藏的破坏性更改:更新可能会意外改变您的AI行为
- 扩展性差:在多个项目之间协调资源变得混乱
- 不兼容的格式:不同工具格式之间频繁手动转换。
ARM通过现代包管理器的方法解决了这些问题。
ARM的主要特点:
- 使用语义版本控制进行一致的版本化安装(对于没有语义版本标签的基于Git的注册表,情况会稍显复杂)
- 通过清单和锁定文件提供可靠、可重现的环境(类似于npm的package.json和package-lock.json)
- 统一的资源定义,可编译为任何AI工具所需的格式(真是大胆!令人惊讶)
- 基于优先级的规则组合,能够清晰地解决多个规则集之间的冲突(您团队的标准 > 网络最佳实践)
- 灵活的注册表支持,可管理来自Git、GitLab和Cloudsmith的资源
- 自动更新工作流程:轻松检查更新并在项目之间应用(不错)