返回首页
24小时热榜
不久前，我开始研究Colibrì，看看是否可以在普通计算机上运行大型语言模型（LLM）。这个项目的发展超出了我的预期，这在很大程度上得益于HackerNews社区的支持。
这让我产生了一个新的问题：
如果我们不再只考虑一台计算机呢？
这就是Lumabri的理念。
Lumabri并不要求单台机器存储和运行整个庞大的模型，而是将一组普通计算机视为一个共享资源池。
一台机器可以提供磁盘空间，另一台提供计算能力，还有一台提供模型的不同部分。如果所需的某个模块或专家在本地不可用，系统可以在网络中的其他节点上检索或执行它。
这对于混合专家模型尤其有趣。一个模型可能有数千亿个参数，但每个令牌只激活其中的一小部分。与其在网络中传输庞大的专家权重，Lumabri可以将小的激活信息发送给已经拥有该专家的节点，并让其执行。
我们的目标是让机器贡献它们能够提供的资源，同时利用整个网络来处理其余部分。
这个想法深受点对点系统的启发：用户就是基础设施。
显然，这面临着重大挑战，尤其是网络延迟和安全性。我正在尝试进行节点验证、SHA-256验证、签名模型状态、复制选择、故障转移和确定性执行等实验。
Lumabri仍然是一个早期实验。我没有数据中心或大型GPU集群，所以我正在利用现有的硬件进行构建，并试图找出这个想法是否真的可行。
在Colibrì中，我问：
一台普通计算机能否运行一个庞大的LLM？
在Lumabri中，我在问：
如果许多普通计算机可以合并成一台巨型计算机呢？
欢迎反馈。
代码库链接：<a href="https://github.com/JustVugg/lumabri" rel="nofollow">https://github.com/JustVugg/lumabri</a>
我不想购买一台独立的计算机，也不想将笔记本电脑改造为持续运行的设备来维护一个同步我的大型语言模型（LLMs）的系统，因此我自己搭建了这个系统。
这是我系统的简单概述，以易于理解和复制的方式呈现。这个项目旨在根据个人需求进行单独和独特的配置，因为一种解决方案可能并不适合其他人。
如果有什么帮助的话，也许它能给你一些关于如何为自己的项目实施方案的灵感。
祝好，瑞安。
我正在开发一个简单的多人单词游戏，名为字母汤（Alphabet Soup）。<p>这个游戏有点像《纽约时报拼字游戏》（NYT Spelling Bee），但它是多人游戏，并且只有你最好的（最长的）单词才会计入得分。因此，游戏的重点不是尽可能找到多个单词，而是找到一个特别好的单词。<p>你可以和朋友在私人对局中游戏，或者加入公共竞技场比赛，与其他在线玩家对战。如果没有其他人在线，你将与一个机器人匹配。<p>这个游戏适合2名玩家，但也适合更大的人群，因为游戏不是回合制的。<p>很想听听大家的想法或问题 :)
人们可能会这样认为，因为函数式程序员以其代码的优雅而自豪，而使用混合语言的程序员则只是想让代码能够运行——对他们来说，实现的优雅并不是那么重要。
我跑步很多，所以每天早上我都会检查自己的恢复情况，然后决定是跑步还是休息一天。<p>我想要一个始终在线的屏幕，可以让我一目了然地查看所有信息。然后我想起了角落里那台积满灰尘的旧Kindle。<p>于是我构建了这个：
WHOOP API → 在我的Mac mini上运行的服务器 → 灰度PNG → Kindle屏幕保护程序。
现在这个项目是开源的，包括完整的设置指南。