最新

我在使用大型语言模型（LLM）/代理系统时遇到了一个问题，意外的循环或重复调用会迅速增加成本。<p>我见过的大多数工具都专注于可观察性（日志、追踪、仪表板），但在运行时并没有实际的执行措施。<p>我很好奇大家在生产环境中是如何处理这个问题的：<p>- 你们是强制设定硬性限制（预算、速率等），还是仅仅进行监控？<p>- 你们是在应用层面处理这个问题，还是通过某些中间件/代理来解决？<p>- 你们是否为此开发了内部工具？<p>感觉这是一个未解决的问题，尤其是在代理方面。<p>希望听听其他人是如何应对的。

我一直在尝试一种紧凑型多端口网络设置，将2.5G、10G（RJ45）和SFP+接口整合在一个系统中。<p>我想了解人们在同时拥有这些接口类型时，通常是如何构建网络的。<p>例如： - 你会将10G链路专门用于存储/上行链路吗？ - 在非光纤密集型的设置中，SFP+接口的实际应用场景是什么？ - 是否更好地严格区分接入流量和高速流量？<p>我很想听听其他人是如何处理这种设置的。<p>如果需要，我可以分享更多细节。