最新

大家好， 我是axem的联合创始人之一。我们最近开源了Shaide，这是一个我们一直在开发的项目，旨在让在自己的基础设施上运行多个大型语言模型（LLM）变得更加简单。 一开始，这个项目的目标相对简单。运行一个模型并不是难点，真正的挑战在于需要同时运行多个模型，独立地在GPU节点上进行扩展，在副本之间路由请求，并使整个设置可重复，而不依赖于外部云服务。 随着时间的推移，我们最终将大部分基础设施构建成一个平台，并决定开源它，而不是将其保留为内部项目。 当前的设置包括： - 使用vLLM进行推理 - 使用llm-d进行多实例编排 - 多个模型独立运行和扩展 - 支持KV缓存感知调度 - 内部OCI注册中心用于容器镜像和模型权重 - 兼容OpenAI的API - 整个平台作为基础设施代码进行管理 - 交互式安装程序可以通过Docker在现有的Kubernetes集群上运行 - 可以完全在隔离环境中操作，无需集群外部访问 该项目目前支持本地的RKE2，以及EKS/GKE/AKS。 该项目采用Apache 2.0许可证，仍处于相对早期阶段，因此随着更多人尝试它，肯定会有一些变化。

我请求Reddit支持团队给我一个API密钥，以便我可以通过ereddicator安全地删除我的数据。我诚实地填写了所有必填字段，并明确说明了我的目的。<p>以下是他们的回复： 我们已审核您的访问请求。很遗憾，我们无法批准，因为该申请不符合Reddit的负责任开发者政策和/或缺少必要的细节。

大家好！我刚刚发布了 sqlflow v1，这个版本包含了 Go 核心的重写。 <a href="https://github.com/turbolytics/sql-flow" rel="nofollow">https://github.com/turbolytics/sql-flow</a> 这使得吞吐量比 Python 核心提高了约 10 倍，并且内存使用更加可预测！这也使得我们的用户在资源受限的环境（如物联网）中运行变得更加容易。 Go 的重写还使得处理后台 sqlflow 控制循环（如窗口压缩和超时）变得更加合理。 我非常希望并感谢您提供反馈，任何在生产环境中使用 sqlflow 的示例，或者您对 sqlflow 使其无法使用的顾虑！ 谢谢！ 丹尼 [email protected]