最新

嗨，HN！<p>我们创建了Clusterflock，以解决在分布式环境中管理AI代理时遇到的各种问题，包括不同的显存和内存限制，以及轻松尝试新模型的需求。<p>虽然我们专注于基础设施（这是专门为网络硬件构建的），但它还配备了强大的任务运行器（或编排器），支持多会话和异步操作。<p>以下是它的主要优势：<p>硬件感知的自动下载：它会分析你的网络硬件，并自动下载最适合你特定设置的最佳模型（目前仅支持HuggingFace）。<p>紧凑打包：通过llama.cpp实现原生并行性，你可以在同一设备上运行多个较小的模型。<p>它是完全开源的。我们希望提供一种无痛的方式来部署智能集群，也希望你能觉得它有用。<p>网站：<a href="https:&#x2F;&#x2F;clusterflock.net" rel="nofollow">https:&#x2F;&#x2F;clusterflock.net</a><p>欢迎反馈。非常感谢大家的支持。

昨天我读了一篇关于H.264编码器大幅提高授权费用的文章。<p>和往常一样，我的第一反应是，构建一个如此高效的编码器到底有多难。<p>我个人一直在努力提升自己一次性解决复杂功能、产品或进行微调的能力。自从开始这项工作已经有几个月了，老实说，结果在工作和生活平衡方面都非常不错。<p>这是一次有趣的实验。虽然消耗了很多代币，但它帮助我发现了可以改进我一次性代理团队/群体的一些地方，尤其是在简洁性和制定测试标准方面，尤其是在处理我没有先前知识的领域时。<p>最终，我没有达到我希望的压缩效果，但看到群体之间的讨论还是很有趣的。