我为RAG(检索增强生成)管道构建了一个文档分块库,核心使用Rust,提供Python绑定。
问题:LangChain的分块器是纯Python实现,在大规模文档集上成为瓶颈——在处理大型文档时速度慢且内存消耗大。
Krira Chunker的不同之处:
- 原生Rust处理——比LangChain的实现快40倍
- O(1)空间复杂度——无论文档大小,内存占用保持平稳
- 即插即用的Python API——与任何现有的RAG管道兼容
- 生产就绪——已发布17个版本,安装超过315次
使用命令:pip install krira-augment
希望能收到任何构建RAG系统的人的严厉反馈——你们遇到了哪些分块问题是这个库尚未解决的?
返回首页
最新
我正在开发一个小型的RAG(检索增强生成)管道,遇到了一个与OCR(光学字符识别)相关的具体技术问题。我使用PyMuPDF进行文本提取,但每当PDF的每一页上都有一个居中的水印时,OCR的效果就会变得很差——文本断裂、出现伪影,输出质量下降,进而影响后续的分块和检索准确性。
该文档在其他方面是干净的,因此我想了解这是否是PyMuPDF的已知限制,或者在进行OCR之前是否有更好的处理水印PDF的方法。我正在使用RTX 4000(8GB显存),所以我也希望在合理的GPU限制范围内进行操作。
我非常感谢任何关于以下方面的建议:
- 更加稳健的OCR库或模型,能够很好地处理水印
- 抑制水印文本的预处理策略
- 更适合RAG用例的提取管道
- 或者任何关于改善系统这一部分的通用建议
该项目是开源的,如果有人有兴趣深入挖掘、发现问题或贡献改进,可以访问以下代码库:
GitHub: https://github.com/Hundred-Trillion/L88-Full
如果您觉得这个项目有用,给代码库加星可以提高可见性,让更多具备相关领域专业知识的人注意到它。
提前感谢任何见解。
今天,我在CheatSheet++(cheatsheet-plus-plus.com)上推出了涵盖600多个主题的闪卡。
主动回忆对于真正学习和记忆概念至关重要(尤其是在面试准备中)。
为了让这些闪卡对开发者真正有用,我专注于几个关键特性:
包含代码片段:标准闪卡通常文字过多。这些闪卡的背面配有语法高亮的代码示例,以及概念解释。
逐步难度:卡片组从初级到高级,问题的深度和概念的复杂性相应调整。
这个功能旨在与我们现有的面试问答部分配合使用,以便进行全面的准备。
搜索你当前正在学习的主题并试试: [https://cheatsheet-plus-plus.com](https://cheatsheet-plus-plus.com)
欢迎提供反馈和批评!
在伦敦的一家酒吧,两个星期前——我问自己,如果你将智能体放入一个拥有空白神经网络和对人类存在一无所知的世界——没有语言,没有经济,没有社会模板——它们会如何自我进化?
它们会发展出语言吗?它们会繁殖吗?它们会作为依赖能量的系统进化吗?它们会谈论些什么?
于是我决定成为一个神,创建了WERLD——一个开放式的人工生命模拟器,在这里,智能体们自行进化自己的神经结构。
Werld将30个智能体放置在一个图形上,使用NEAT神经网络,它们自行进化拓扑结构,拥有64个感知通道、连续的运动效应器和29个可遗传的基因特征。通信带宽、记忆衰退、攻击与合作——这些都是可以进化的。没有硬编码的行为,没有奖励函数——它们可以朝任何方向进化。
纯Python,仅使用标准库——大脑通过生存和繁殖进化,而不是反向传播。还有一个Next.js仪表板(“Werld观察站”),为你提供实时视图:种群动态、大脑复杂性、物种轨迹、叙事故事生成器、实时世界地图。
我觉得将这个做成一个开源项目会更有趣!
迫不及待想看看它将如何进化——我会在评论区和代码库中活跃。
[https://github.com/nocodemf/werld](https://github.com/nocodemf/werld)
嗨,HN,
我是一名独立开发者,正在开发一款设定在银河系的太空即时战略游戏,游戏中包含了目前已知的恒星和系外行星及其真实特性,其余的恒星则是程序生成的。
在在线模式中,所有玩家都处于同一个宇宙中,世界是持久的。你需要与其他玩家竞争,夺回太阳系,结束你的流亡。玩家可以随时撤退到边缘地区,以恢复力量并根据需要重建舰队。
游戏还包括一个程序生成的宇宙飞船生成器,允许玩家创建自己的飞船设计。飞船的外观不会影响其属性。这样,玩家就不必因为属性更强而使用自己不喜欢的飞船。
即使玩家离线,飞船也会继续运作:生产型飞船会持续采集资源,而战斗型飞船会自动与入侵的飞船交战。为了让玩家能够有效防御大规模攻击,他们可以建造干扰器,将敌人前往他们系统的旅行速度减缓,最长可达24小时。
现在可以在浏览器中游玩:
[https://stardustexile.com](https://stardustexile.com)