返回首页
最新
嗨,HN——我开发了Platypus,因为我想将笔记记录、实时转录和知识库管理结合在一个应用程序中。它是Granola / Notebook LM的免费本地替代品。这是一个基于Tauri/Rust的桌面应用程序,通过whisper.cpp进行设备上的会议转录,使用TipTap记录笔记,并在您的知识库中进行按项目的HNSW向量搜索。您可以使用自己的大语言模型(如Claude、OpenAI、Gemini或本地的Ollama)。
有几个有趣的点需要弄清楚:
Zoom/Teams会议的自动检测是通过进程检查实现的——Zoom仅在活跃通话期间生成CptHost(而不是在应用程序仅打开时),Teams则是通过audio.mojom.AudioService子进程。无需Zoom/Teams API访问。当地的Whisper在Mac上运行良好。旧款PC的体验不推荐,因此我内置了API转录切换功能,以防本地模型运行缓慢。
代码库:<a href="https://github.com/pixelsmasher13/platypus" rel="nofollow">https://github.com/pixelsmasher13/platypus</a>
网站:<a href="https://platypusnotes.com" rel="nofollow">https://platypusnotes.com</a>
欢迎反馈!
人们在使用大型语言模型(LLMs)从科学论文中提取信息方面的经验如何?
我的个人经历是:我首次尝试从3730篇临床试验论文中提取抗药物抗体(ADA)率,这些论文均已在PubMed中索引。我从PDF文件开始。Claude Opus 4.7使用我们制定的规则文档分析每个PDF。处理所有论文大约花了一周的时间,因为我不断遇到会话限制;总费用约为25美元。我们从909篇论文中获得了实际的ADA率。其余的论文大多是因为没有提供该率或不符合我们的标准,包括仅一次只使用一种药物的情况。
我阅读了其中三十篇论文,并重新审阅了那些与Claude的答案不同的论文,得出结论:Claude出错了一次,而我出错了三次。
因此,这种方法是有效的,但并不是完全方便:会话限制意味着我不能启动后就离开,或者我不知道如何设计这种能力。此外,我也很好奇本地模型的表现如何。
为此,我在我的Mac M5 Max(128GB内存)上尝试了llama 3.3 70B。我使用了Ollama,Q4_K_M,128k上下文,经过pdftotext -layout处理后约80k输入标记。
一篇论文花了18分钟;该模型无法确定ADA率,而这在论文中是明确提到的。一篇论文并不是一个合适的基准,但速度太慢,无法进行适当的测试。显然,速度问题的一部分在于Claude可以访问服务器农场,而我只是运行在一台Mac上。这是使用本地计算时可能面临的实际问题。
在这个问题的最新进展如何?无论是逐篇回答问题,还是同时使用多篇论文?我很想听听成功的案例!
我对系统很感兴趣,但似乎很难找到赚钱的方法。