请问 HN:你们如何在生产环境中授权 AI 代理的操作?
我正在部署能够调用外部API的AI代理——处理退款、发送电子邮件、修改数据库。代理根据用户输入和大语言模型的推理来决定采取什么行动。
我担心的是:代理有时会尝试一些不该做的操作,并且没有清晰的审计记录来说明它做了什么或为什么这样做。
我目前看到的选项有:
1. 完全信任代理(这很可怕)
2. 手动审核每一个操作(这违背了自动化的初衷)
3. 某种权限/审批层(这种东西存在吗?)
对于那些在生产环境中运行AI代理的人:
- 你们是如何限制代理可以做的事情的?
- 对于高风险操作,你们是否需要审批?
- 事后你们是如何审计发生了什么的?
我很想知道哪些模式是有效的。
查看原文
I'm deploying AI agents that can call external APIs – process refunds,
send emails, modify databases. The agent decides what to do based on
user input and LLM reasoning.<p>My concern: the agent sometimes attempts actions it shouldn't, and
there's no clear audit trail of what it did or why.<p>Current options I see:
1. Trust the agent fully (scary)
2. Manual review of every action (defeats automation)
3. Some kind of permission/approval layer (does this exist?)<p>For those running AI agents in production:
- How do you limit what the agent CAN do?
- Do you require approval for high-risk operations?
- How do you audit what happened after the fact?<p>Curious what patterns have worked.