作为一个机器学习（ML）学习小组的一部分，我一直在构建工具以实验各种机器学习概念。我使用人工智能编码代理开发软件，主要是基于云的，但我也在尝试在12G、16G和24G显存的GPU上运行本地的语言模型（LLMs）。Freetoken使得在较小的GPU上运行更大的混合专家（MoE）模型成为可能。
这激励我使用我的机器学习工具从零开始构建一个小型的MoE模型，以便我可以实验不同的代理优化以及诸如记忆痕迹（Engram）、递归模型、层次模型、键值缓存压缩等技术。
我上面的链接展示了构建不同小型模型的结果，其中一个是密集模型，其余是MoE变体。这背后有很多代码和工具。
目标：
- 构建可以在浏览器中运行的小型MoE模型，以提供交互式帮助（目前我使用确定性匹配器来响应用户查询；仍在研究如何通过更好训练的MoE模型来改进这一点）。
- 构建可以在小型ARM和RISC-V开发板上运行的小型MoE模型，可能会使用神经处理单元（NPU）（使用无标准库的Rust）。
我的工具是Python、机器学习库、Jupyter笔记本和Google Colab的替代方案。
我的方法是一个REPL（交互式解释器）和/或可AOT（提前编译）编译的数组编程领域特定语言（DSL），用Rust编写。该语言将机器学习概念作为一等语言元素，并内置可视化原语。
它通过WASM在浏览器中运行，也可以在Apple和Linux的命令行界面（CLI）上运行（支持Apple GPU和NVIDIA GPU库，基于Ollama的REPL上下文敏感帮助）。它可以通过动态插件Rust库进行扩展。
我创建了许多演示仓库，展示如何使用这种机器学习数组语言进行机器学习任务、学习数学概念和通用编程。你可以构建桌面应用程序（受Ruby on Rails启发的）CRUD应用程序。因此，你可以在浏览器或桌面上创建机器学习实验并可视化数据。
它还支持Emacs的org-mode，用于文献编程。
这个小型的MOE显微镜只是我这一方法的最新演示。我希望它能帮助某人更深入地了解MoE专家、路由、记忆痕迹等。这也帮助我学到了更多。
返回首页
一周热榜
我开发了Replay Doctor，因为AI代理的账单在没有任何警告或日志错误的情况下激增。
当开发者使用Claude Code、Cursor或Codex时，工作流程依赖于提示缓存。但是，如果客户端按顺序重新渲染，或者工程师离开去吃10分钟的午餐，缓存就会达到TTL（生存时间）过期。提供者会在没有任何错误的情况下，以冷写价格悄悄重新计费整个对话历史。结果就是一张巨额账单。
Replay Doctor是一个零遥测、零依赖的本地Go命令行工具。它读取您的磁盘记录，逐步模拟提供者的缓存规则，并指出您的缓存在哪一轮出现了问题以及这给您带来了多少成本。
工具中内置的约束条件：
1. 零遥测：它不会将任何数据发送出您的机器。文本不会被存储；路径和工具在本地进行HMAC处理。
2. 事实完整性：如果它没有在网络上测量过模型对，它就拒绝猜测金额。
3. Ping是个骗局：数据证明87%的缓存支出发生在5分钟以下的间隙。保持连接在数学上是错误的杠杆。
它是免费的，并且源代码可用（BUSL 1.1）。欢迎告诉我您在日志中发现了什么隐藏的信息！
使用以下命令获取：
curl -fsSL [https://replay.doctor/replay.sh](https://replay.doctor/replay.sh) | less
代码库：[https://github.com/RedRobotKK/Replay](https://github.com/RedRobotKK/Replay)