最新

大家好——我开发了Ombre，这是一个开源的AI基础设施层，可以与任何AI模型配合使用。<p>它自动运行八个代理：安全性、缓存、内存、幻觉检测、不可篡改的审计日志。<p>本地运行——数据永远不会离开您的基础设施。支持Claude、OpenAI、Groq、Mistral。<p>github.com/pypl0/Ombre<p>欢迎反馈！快来看看，它是免费的！

H100的价格差异达到9倍，这一现象确实存在，但进行比较时需要谨慎。每小时1.38美元的价格通常是预留或承诺的计算能力，而每小时12.29美元的价格则是在主要云服务提供商处按需使用，并包含了完全灵活性的溢价。 更有意义的比较是对于一个持续使用的团队来说，三年的总拥有成本（TCO）。在1000个GPU上以85%的利用率运行时，专用的共置基础设施在二级市场的成本通常为相应云服务成本的40-60%，这已经考虑了所有非计算成本。这个范围取决于你内部运营的开销和融资成本。 在规模化运营中，硅芯片本身占总成本的20-25%。其余的成本包括基础设施、电力、网络、运营和其他开销。这就是为什么设施位置比人们预期的更为重要。