请问 HN:你们如何在生产环境中授权 AI 代理的操作?

3作者: naolbeyene12 天前原帖
我正在部署能够调用外部API的AI代理——处理退款、发送电子邮件、修改数据库。代理根据用户输入和大语言模型的推理来决定采取什么行动。 我担心的是:代理有时会尝试一些不该做的操作,并且没有清晰的审计记录来说明它做了什么或为什么这样做。 我目前看到的选项有: 1. 完全信任代理(这很可怕) 2. 手动审核每一个操作(这违背了自动化的初衷) 3. 某种权限/审批层(这种东西存在吗?) 对于那些在生产环境中运行AI代理的人: - 你们是如何限制代理可以做的事情的? - 对于高风险操作,你们是否需要审批? - 事后你们是如何审计发生了什么的? 我很想知道哪些模式是有效的。
查看原文
I&#x27;m deploying AI agents that can call external APIs – process refunds, send emails, modify databases. The agent decides what to do based on user input and LLM reasoning.<p>My concern: the agent sometimes attempts actions it shouldn&#x27;t, and there&#x27;s no clear audit trail of what it did or why.<p>Current options I see: 1. Trust the agent fully (scary) 2. Manual review of every action (defeats automation) 3. Some kind of permission&#x2F;approval layer (does this exist?)<p>For those running AI agents in production: - How do you limit what the agent CAN do? - Do you require approval for high-risk operations? - How do you audit what happened after the fact?<p>Curious what patterns have worked.