最新

许多将大型语言模型（LLMs）与外部工具连接的团队最终会遇到相同的架构问题：随着更多工具和代理的增加，集成模式变成了一个N×M的直接连接网格。每个代理都实现了自己的身份验证、重试、速率限制和日志记录；每个工具需要将凭据分发到多个地方，导致可观察性变得支离破碎。 为了应对这一问题，我们构建了LLM网关，旨在提供一个集中管理身份验证、授权、路由和可观察性的单一平台，未来朝着更通用的代理-网关架构发展。 该系统包括一个中央MCP注册表，支持OAuth2/DCR集成，提供用于精选工具集的虚拟MCP服务器，以及一个用于实验工具调用的游乐场。 资源： - 架构博客 – 讨论N×M问题、网关动机、设计选择、身份验证层、虚拟MCP服务器以及整体模型。 [查看博客](https://www.truefoundry.com/blog/introducing-truefoundry-mcp-gateway) - 教程 – 逐步指南，介绍如何编写MCP服务器、添加基于Okta的OAuth，并与网关集成。 [查看教程](https://docs.truefoundry.com/docs/ai-gateway/mcp-server-oauth-okta) 欢迎对存在的缺口和边缘案例提供反馈。 [访问MCP网关](https://www.truefoundry.com/mcp-gateway)