最新

我与一些在金融科技、开发工具和生产力领域构建人工智能代理的创始人进行了交流，几乎没有一个代理具备真正的安全层。他们的代理可以读取电子邮件、调用API、执行代码，并写入数据库，基本上没有其他的保护措施，除了“我们信任大型语言模型（LLM）”。 因此，我构建了AgentArmor：一个开源框架，它为任何代理架构提供8个独立的安全层，每个层都针对代理数据流中的不同攻击面。 这8个层次包括： - L1 – 数据摄取：提示注入 + 越狱检测（20多种模式，DAN，提取尝试，Unicode隐写术） - L2 – 存储：静态AES-256-GCM加密 + 向量数据库的BLAKE3完整性 - L3 – 上下文：指令与数据分离（类似于参数化SQL，但用于LLM上下文）、金丝雀令牌、提示强化 - L4 – 规划：操作风险评分（读取=1 → 删除=7 → 执行=8 → 管理=10）、链深度限制、大规模操作检测 - L5 – 执行：网络出口控制、每个操作的速率限制、带条件规则的人类审批门 - L6 – 输出：通过Microsoft Presidio进行个人身份信息（PII）去标识化 + 正则表达式回退 - L7 – 代理间：HMAC-SHA256互认证、信任评分、委托深度限制、时间戳绑定重放防止 - L8 – 身份：代理本地身份、即时权限、短期凭证 我对2025年12月规范中的所有10个OWASP ASI（代理安全完整性）风险进行了测试。红队套件已包含在代码库中。 可以作为以下几种方式使用：（a）一个Python库，您可以在工具调用周围进行封装，（b）一个FastAPI代理服务器，用于框架无关的部署，或（c）一个用于在CI中扫描提示的命令行工具。 已集成的内容包括：LangChain、OpenAI Agents SDK、MCP服务器。 我与本地Ollama代理（qwen2:7b）进行了实时测试——您可以看到它在L8（权限检查）阻止了一个`database.delete`，在L6对文件内容进行了PII去标识化，并在L1之前杀死了一个提示注入，使其未能到达模型。 GitHub: [https://github.com/Agastya910/agentarmor](https://github.com/Agastya910/agentarmor) PyPI: pip install agentarmor-core 非常希望能收到反馈，尤其是来自那些实际构建生产代理并遇到我未曾考虑的安全问题的人。 标签：安全、Python、LLM、人工智能、代理

大多数关于PowerSchool事件的讨论将其描述为一个支持账户的泄露。 如果我们查看系统内部的操作链，情况大致如下： 入口：被泄露的支持凭证 执行：通过PowerSource支持门户进行维护远程支持操作 记录系统：学生信息系统（SIS）数据库 该支持账户并未直接访问客户数据。 相反，操作是通过PowerSource支持界面执行的，这可能会对客户数据库触发操作。 实际上，支持门户充当了对生产数据库进行操作的执行机制。 这使得该事件更侧重于支持界面中嵌入的执行权限，而不是直接的数据库访问。