最新

大家好，今天我们推出了 QVAC SDK [0]，这是一个通用的 JavaScript/TypeScript SDK，旨在帮助开发者在桌面和移动设备上构建本地 AI 应用程序。 该项目完全开源，采用 Apache 2.0 许可证。我们的目标是让开发者更容易构建有用的本地优先 AI 应用，而不必将许多不同的引擎、运行时和平台特定的集成拼凑在一起。SDK 的底层基于 QVAC Fabric [1]，这是我们的跨平台推理和微调引擎。 QVAC SDK 使用 Bare [2]，这是一个轻量级的跨平台 JavaScript 运行时，属于 Pear 生态系统的一部分。它几乎可以在任何地方作为工作线程使用，并内置了对 Node、Bun 和 React Native（Hermes）的工具支持。 目前它支持的一些功能包括： ``` - 在桌面、移动设备和服务器上进行本地推理 - 支持大语言模型（LLMs）、光学字符识别（OCR）、翻译、转录、 文本转语音和视觉模型 - 通过 Holepunch 堆栈 [4] 进行点对点模型分发， 类似于 BitTorrent，任何人都可以成为播种者 - 基于插件的架构，便于添加新的引擎和模型类型 - 完全的点对点委托推理 ``` 我们还投入了大量精力来完善文档 [5]。文档的结构旨在便于人类和 AI 编码工具阅读，因此在实践中，您通常可以与您最喜欢的编码助手快速取得很大进展。 我们知道还有一些地方需要改进： ``` - 当前的 Bare 插件打包效率不如预期，导致包体积大于我们希望的 - 插件工作流程可以更简单 - 虽然已经可以进行树摇，但目前仍需要 CLI 步骤，我们希望能使其更加自动化，并更好地集成到构建过程中 ``` 此次发布仅仅是个开始。我们希望帮助人们在更大规模上构建本地 AI。任何反馈都非常感谢！完整愿景可在官方网站 [6] 上查看。 参考文献： [0] SDK: [http://qvac.tether.io/dev/sdk](http://qvac.tether.io/dev/sdk) [1] QVAC Fabric: [https://github.com/tetherto/qvac-fabric-llm.cpp](https://github.com/tetherto/qvac-fabric-llm.cpp) [2] Bare: [https://bare.pears.com](https://bare.pears.com) [3] Pear Runtime: [https://pears.com](https://pears.com) [4] Holepunch: [https://holepunch.to](https://holepunch.to) [5] 文档: [https://docs.qvac.tether.io](https://docs.qvac.tether.io) [6] 网站: [https://qvac.tether.io](https://qvac.tether.io)