返回首页
最新
大家好!我正在使用一个内存安全的浏览器发布这个消息:WebKitGTK MiniBrowser,使用Fil-C编译,并且所有依赖项也都是用Fil-C编译的。<p>仍在处理一些遗留的错误,其中一些看起来像是过于激进的优化,导致指针功能丧失(引发了filc panic)。不过它的运行效果还不错,我可以在这里说声“你好”。
- 增加了对文档元数据保留的支持
- 自带大型语言模型(LLM)
- 无操作系统限制
项目:我正在构建 R3-Engine,这是一个从零开始开发的本地 AI 推理引擎,针对微软的 bitnet-b1.58-2B-4T。它使用 100% 安全的 Rust 编写,原生支持 Wasm SIMD128 的交叉编译,并在执行循环中不使用堆分配。
物理原理:通过将 64 字节对齐的 .r3 文件直接从 NVMe 映射到 CPU L3 缓存(零拷贝),并使用 AVX-512 VPOPCNTDQ 进行无分支数学运算,Ryzen 9950X3D 实现了每秒 117 个 Token 的延迟。
问题:AI 没有输出(输出为 <unk>*)。矩阵乘法管道在数学上是完整的,但输出卡在了 Token ID 0(<unk>)。问题出在量化权重与基于浮点的非线性激活之间的转换。
我需要专家的意见:
```
BitNet 中的权重绑定:微软的 2B 模型将嵌入与语言模型头绑定。我正在克隆嵌入矩阵以进行输出投影,但我怀疑缺少一个缩放因子。
1.58 位中的 RMSNorm 和 SiLU:在进入 SiLU 激活和后续层之前,来自 VPOPCNTDQ 循环的原始整数累加器应该如何进行缩放?
```
GitHub 仓库: [https://github.com/r3-engine/r3-engine](https://github.com/r3-engine/r3-engine)
如果您了解 LLM Logit 采样或三元激活数学的物理原理,我非常希望您能查看一下代码库。
嗨,HN,
这是 Bookface——一个用于 Meta 开发者服务的 TypeScript 封装库,源于对 Meta 缺乏便捷开发者集成的失望。
目前你能找到的 Meta 产品的 API 库要么功能非常有限(并且使用了不太可靠的浏览器模拟),要么过于陈旧/未维护。这个库的目标是:
- 以 Meta 预期的方式与 Meta 的开发者服务进行交互,同时提供更大的便利。
- 支持所有 Meta 的平台(例如,Facebook、Instagram、Threads、WhatsApp 等)。
- 随着 Meta 最新 API 变更的更新而持续维护。
- 总体上,让使用 Meta 服务的用户体验更快。
背景方面,我已经断断续续地在这个库上工作了大约一年半,随着需要逐渐添加功能。我最初在十七岁时为另一个项目创建了这个库。两年后,我一直拖延发布,现在这个库迫切需要其他有经验的人来参与。
发这篇帖子的原因是希望能得到一些关于语法的紧急反馈,了解哪些地方感觉良好,哪些地方不太好;测试目前添加的功能是否按预期工作(我目前是唯一的测试者);以及,至关重要的是,寻找其他维护者。我希望这个项目能够长期进行,维护者将有助于修正我所犯的错误,并希望能让这个项目持续下去。
我应该指出,这算是一个初步发布的帖子,因为这个库仍处于非常早期的阶段(功能尚不完善),我实际上只是想让事情开始运转。请查看一下!
[https://facebook-js-sdk.vercel.app/](https://facebook-js-sdk.vercel.app/)
(当前的早期网站。我正在努力获取一个更好的域名。)
(另外,请原谅网站和代码库名称的不一致——这个名称仍在考虑中,我欢迎任何建议。)