最新

上周，我们几个人从零开始预训练了一个1500万参数的语言模型——超出了其Chinchilla最佳令牌预算——没有集群、没有服务器，也没有预算。训练协调员是一个GitHub Actions的定时任务。梯度则是通过拉取请求提交的。最后，有一个我们从未见过的人加入并训练了2300万个令牌。 github.com/commonsense-ai/coop — 模型 + 卡片 · huggingface.co/commonsense-ai/tinystories-15m — 梯度收件箱 — 排行榜

CCN 从代码库中剔除注释，仅仅是注释，这不是一个可能会破坏你代码的正则表达式解析，而是实际生成一个列表并进行两次检查。 作为一名真正的开发者，我常常在自己的代码库中留下大量注释，然后忘记它们，而人工智能模型则留下了兆字节的注释，却没有记忆，有时甚至字面上将注释作为一种形式使用。 使用这个工具来清理你代码库中的垃圾，或者用它来进行审查，非常实用，经过端到端的测试，并在2700次迭代中验证过（虽然你可能不在乎这些，但它确实有效，即使在 Debian Trixie 和 XFCE 桌面上也是如此，这才是最重要的，而不是我在发布之前从代码库中剥离的数千个测试，最终用户对此并不在意）。 正如斯托曼所说的那样…… 祝你编程愉快 ;)

请访问以下链接： [https://xcancel.com/karpathy/status/2083749667410727319](https://xcancel.com/karpathy/status/2083749667410727319)