请问HN:有没有可以学习的生产级大型语言模型(LLM)管道设置?

3 分•作者: atif089•大约 2 个月前•原帖
我相信 vLLM 一直是推理的黄金标准,但我想了解 vLLM、langgraph、langfuse 以及其他可观察性和业务逻辑是如何融合到一个统一的设置中的。
查看原文
I believe vLLM has been the gold standard for inferencing but I'd like to learn how vLLM, langgraph, langfuse, other observability and business logic is meld into a single setup.