请问HN:最佳商业RAG平台是什么?
在过去的几年里,我们一直在使用一个RAG代理来支持我们的某个功能,但其背后的YC创始人现在正在转向另一个创业项目。
他们的API提供的功能相当基础,所以我相信其他平台也提供类似的服务:
- 充当一个类似OpenAI的代理,接收基于回合的对话历史和新的用户提示
- 在系统消息的上下文中,使用来自向量数据库的相关内容进行增强
- 使用我们的API密钥查询大型语言模型(LLM),并返回结果,以便我们在应用中使用
如果我可以直接重定向到另一个端点,我宁愿不花太多时间去搭建一个RAG管道。大家都在使用什么呢?
查看原文
For the last couple of years we've been using a RAG proxy for one of our features, but the YC founders behind it are now pivoting to a different startup.<p>What their API provided was pretty basic, so I'm sure other platforms offer this:<p><pre><code> - act as an OpenAI-style proxy, taking in a turn-based conversation history+ new user prompt
- augment the context in the system message with relevant content from a vector database
- query the LLM with our API key, and return the result so we can use it in-app.
</code></pre>
I'd rather not spend much time spinning up a RAG pipeline, if I can just redirect to another endpoint. What are people using?