一周热榜

作为一个机器学习（ML）学习小组的一部分，我一直在构建工具以实验各种机器学习概念。我使用人工智能编码代理开发软件，主要是基于云的，但我也在尝试在12G、16G和24G显存的GPU上运行本地的语言模型（LLMs）。Freetoken使得在较小的GPU上运行更大的混合专家（MoE）模型成为可能。 这激励我使用我的机器学习工具从零开始构建一个小型的MoE模型，以便我可以实验不同的代理优化以及诸如记忆痕迹（Engram）、递归模型、层次模型、键值缓存压缩等技术。 我上面的链接展示了构建不同小型模型的结果，其中一个是密集模型，其余是MoE变体。这背后有很多代码和工具。 目标： - 构建可以在浏览器中运行的小型MoE模型，以提供交互式帮助（目前我使用确定性匹配器来响应用户查询；仍在研究如何通过更好训练的MoE模型来改进这一点）。 - 构建可以在小型ARM和RISC-V开发板上运行的小型MoE模型，可能会使用神经处理单元（NPU）（使用无标准库的Rust）。 我的工具是Python、机器学习库、Jupyter笔记本和Google Colab的替代方案。 我的方法是一个REPL（交互式解释器）和/或可AOT（提前编译）编译的数组编程领域特定语言（DSL），用Rust编写。该语言将机器学习概念作为一等语言元素，并内置可视化原语。 它通过WASM在浏览器中运行，也可以在Apple和Linux的命令行界面（CLI）上运行（支持Apple GPU和NVIDIA GPU库，基于Ollama的REPL上下文敏感帮助）。它可以通过动态插件Rust库进行扩展。 我创建了许多演示仓库，展示如何使用这种机器学习数组语言进行机器学习任务、学习数学概念和通用编程。你可以构建桌面应用程序（受Ruby on Rails启发的）CRUD应用程序。因此，你可以在浏览器或桌面上创建机器学习实验并可视化数据。 它还支持Emacs的org-mode，用于文献编程。 这个小型的MOE显微镜只是我这一方法的最新演示。我希望它能帮助某人更深入地了解MoE专家、路由、记忆痕迹等。这也帮助我学到了更多。

我的朋友格雷格经常发布他刚制作的令人惊叹的东西，纯粹是为了好玩。<p>我常常没有意识到这是他做的，直到我看到网址，才发现是我的朋友格雷格！<p>他发布的一些我觉得很棒的东西有：<p>- 宜家复杂度指数：<a href="https://ikea.greg.technology" rel="nofollow">https://ikea.greg.technology</a><p>- Boing：<a href="https://boing.greg.technology" rel="nofollow">https://boing.greg.technology</a><p>- 窥视孔：<a href="https://peephole.greg.technology" rel="nofollow">https://peephole.greg.technology</a><p>为了确保我不会错过他发布的任何内容，我创建了这个Chrome扩展程序，可以标记格雷格发布的内容，或者链接到他的网站或子域名。<p>我希望其他人也能安装这个扩展，永远不会错过格雷格制作的任何东西。