最新

嘿，HN， 我一直在探索加速检索管道的方法，最终构建了一个我称之为 PyNIFE（几乎无推理嵌入）的工具。 这个想法很简单：训练一个与更大“教师”模型完全对齐的静态嵌入模型，这样你几乎可以完全跳过昂贵的推理过程。实际上，这意味着在 CPU 上生成嵌入的速度可以提高 400-900 倍，同时仍然可以使用相同的向量索引，并与现有设置兼容。 你甚至可以灵活搭配：在需要准确性时使用原始模型，而在超快速查找或代理循环时使用 PyNIFE。 这仍然是一个早期阶段，我非常希望能得到反馈，特别是关于这个工具可能出现的问题、你会在什么样的工作负载上进行测试，以及任何更好的评估或可视化的想法。 代码库链接：[https://github.com/stephantul/pynife](https://github.com/stephantul/pynife)