24小时热榜

我是一名SAP集成顾问，这个项目是我作为副业开发的。痛点在于：大多数自托管的LLM可观察性工具需要Postgres、Redis和复杂的基础设施。团队只想了解他们的代理在生产环境中实际做了什么，而这种设置成本让人望而却步。 Torrix作为一个单一的Docker容器运行，后端使用SQLite。完整安装步骤是：<p>curl -o docker-compose.yml <a href="https://raw.githubusercontent.com/torrix-ai/install/main/doc" rel="nofollow">https://raw.githubusercontent.com/torrix-ai/install/main/doc</a>... 然后运行docker compose up<p>没有外部依赖。所有数据保存在您机器上的本地SQLite文件中。<p>它通过HTTP代理或Python/Node SDK记录LLM调用：包括令牌、成本、延迟、完整的提示和响应跟踪，以及推理令牌捕获。支持OpenAI、Anthropic、Gemini、Groq、Mistral、Azure Open AI以及任何兼容Apen AI的端点。<p>在实际使用真实代理管道时，我添加了一些功能：成本预测和严格的预算上限、个人身份信息（PII）遮蔽、模型路由规则、与黄金运行的评估、AI评审、带版本历史的提示库、用于按环境过滤的运行标签、MCP服务器以便AI助手可以查询您自己的日志，以及OTLP/HTTP摄取，适用于已经使用OpenTelemetry的应用程序。<p>社区版对一个用户免费，保留数据7天。专业版增加了团队、基于角色的访问控制（RBAC）、30天保留、API密钥管理、全文搜索和审计日志。<p>SQLite不适合高写入吞吐量。这款工具旨在为每天记录数百到低千的LLM调用的团队服务，而不是数百万次。欢迎大家提出意见和建议。<p>GitHub / 安装：<a href="https://github.com/torrix-ai/install" rel="nofollow">https://github.com/torrix-ai/install</a> 网站：<a href="https://www.torrix.ai" rel="nofollow">https://www.torrix.ai</a>