24小时热榜

<a href="https://deploymentsafety.openai.com/gpt-5-6/gpt-5-6.pdf" rel="nofollow">https://deploymentsafety.openai.com/gpt-5-6/gpt-5-6.pdf</a><p><a href="https://developers.openai.com/api/docs/guides/latest-model" rel="nofollow">https://developers.openai.com/api/docs/guides/latest-model</a>

几天前，我尝试了 GLM 5.2，并对此印象深刻。这个大型语言模型（LLM）所提供的能力和安全性与我从 Claude 或 GPT 等模型中获得的相似，这让我感到非常惊讶。 但随后我想，“我想知道在像我这样的普通电脑上它会表现如何，”尤其是“我想知道在像我这样的电脑上它是否能正常工作而不会出现内存溢出（OOM）。”于是我开始借助代理进行测试。 我开始将模型转换为 int4，理解 MTP 的使用，并在可能的情况下实现 DSA 以支持长上下文。我想知道它在 int4 下的响应情况以及质量是否得以保持。最终，在我的 32GB 内存的电脑上，我能够与 GLM 5.2 进行交流，虽然冷启动时的响应时间并不高，但即便如此，我们谈论的也是 0.1 个 token/秒，但这对我来说并不重要。重要的是达到这个目标的过程。我只希望它能以任何代价运行，即使速度较慢。 因此，我创建了 Colibrì，这个项目源于一个非常简单的想法，经过各种测试。它的 744B 混合专家模型每个 token 仅激活约 40B 参数——而其中只有约 11 GB 的参数在 token 之间变化（即路由专家）。所以： 密集部分（注意力、共享专家、嵌入——约 17B 参数）以 int4 格式常驻 RAM（约 9.9 GB）；21,504 个路由专家（75 MoE 层 × 256 专家 + MTP 头，每个约 19 MB，使用 int4 格式）存储在磁盘上（约 370 GB），并根据需要进行流式传输，配有每层的 LRU 缓存、可选的固定热存储以及操作系统页面缓存作为免费的 L2。 这个引擎是一个单独的 C 文件（c/glm.c，约 1,300 行）加上一些小的头文件。没有 BLAS，没有运行时的 Python，也没有 GPU。没有 GPU 或者更强大的硬件，因为我没有那种硬件，所以无法在比我的电脑更强大的硬件上进行测试。Colibrì 是一个个人项目，完全在一台 12 核心、25 GB RAM 的笔记本电脑上编写和测试——上述数字是我在家中能够测量的上限。 欢迎任何反馈！（如果有人想参与这个项目，我会非常高兴） 仓库链接： [https://github.com/JustVugg/colibri](https://github.com/JustVugg/colibri)