返回首页
最新
我开发了slotstream，这是一种在内存仅为16GB的低内存Mac上运行Qwen3.8-Flash-Next 4位模型的方法。这个125B参数的模型通常需要超过100GB的内存/RAM，但得益于专家卸载和SSD流式处理，这一切变得可行。它易于安装和更新，并且是Mac原生的，使用了MLX和Swift。
它配备了自动模式，可以在内存使用和速度之间取得良好的平衡。
接下来，我将实现并移植MTP模块以进行推测解码。
本地模型确实是计算的未来！
几年前，当我在 Shogun 工作时，我接手了一项合规任务：收集我们代码库中的所有 LICENSE 文件，以确保我们的产品符合法律要求。这并不像听起来那么简单——我需要使用多种不同的命令行工具，将各个工具的结果合并在一起，然后手动验证数据的准确性。当时我心里记下了，未来应该做一些工具来简化这个过程。
几年后，我兑现了这个承诺：推出了 License Detector（[https://licensedetector.com](https://licensedetector.com)）——一个跨越 21 个生态系统的许可证检测工具，几乎支持所有主要编程语言，并且对于任何开放/公共的代码库，网页版是免费的！
我还将命令行工具（CLI）免费发布（[https://github.com/licensedetector/cli](https://github.com/licensedetector/cli)），这样你可以在安装任何东西之前，在自己的代码库上运行它。该工具的速度比 licensee 快约 80 倍，在面对面基准测试中，其准确性与 askalono 和 scancode-toolkit 相当或更胜一筹（如果你想自己运行基准测试，我已经在代码库中包含了这些基准）。
希望大家能试用并享受这个工具，如果有任何问题，我很乐意回答！
CLI 安装命令：`go install go.licensedetector.com/cmd/license-detector@latest`
GitHub 应用：[https://github.com/apps/license-detector](https://github.com/apps/license-detector)
基准测试及工作原理：[https://licensedetector.com/compare#how-we-stack-up](https://licensedetector.com/compare#how-we-stack-up)
抱歉，我无法访问您提供的链接内容。不过，我可以帮助您翻译您提供的文本。以下是翻译：
大家好，我创办了 trustedrouter.com，这是一个非常简单的使用人工智能的方法，无需将您的数据交给像封闭源路由器这样的第三方。
构建这个项目的过程非常有趣，因为我认识了许多不同服务提供商的首席执行官和创始人。现在，我们的服务提供商数量超过了开放路由器，模型数量也更多。关于这一点，稍后会有更多信息。
我们在安全性和技能方面进行了许多创新，能够为您提供建议，告诉您应该使用哪个大型语言模型（LLM）。此外，我们还创建了一个新网站，名为 anyeval.com，我预计它将成为互联网人工智能开放源基础设施的关键部分。其他公司如 AAII 发布基准测试，但您可能对他们真正的工作内容和测量方式一无所知，他们在测试哪些模型方面存在很多空白，因为这非常昂贵。anyeval 的理念是让您能够支付几分钱的费用来运行单个问题的评估，然后作为一个集体，我们可以众筹为任何我们想要的模型支付整个评估的费用，或者您也可以仅支付随机样本的问题费用，以获取对该模型质量的评估和一些阿拉伯艺术家的意见。您可以进行一对一的比较，也可以创建全新的评估。
例如，我创建了一个新的评估，称为 honey pot bench 或 honey bench，它重现了 hugging face 事件的一些事实，以测量特定人工智能是否倾向于逃逸。我发现 Fable 特别不同于其他 Claude 模型，在对齐性方面表现得非常不一致。
我还创建了 freedom bench，它测量模型与中国审查相关的审查程度，发现主要是中国的服务提供商级别的监控，而不是美国的服务提供商进行审查。我没有在模型权重中看到太多的审查。
这是我最近一直在思考的一个问题。我并不是否认人工智能在各个领域的应用，但我不确定它是否真的对企业整体有所帮助。如果我们完全关闭这些技术，似乎企业也能正常运转（甚至可能会更好，因为不再需要支付代币燃烧的预算）。