返回首页

24小时热榜

3作者: raiph_ai大约 23 小时前原帖
大家好, 我们开发了 FireClaw,因为我们注意到 AI 代理在网页内容中遭遇提示注入攻击。代理获取一个页面,页面上写着“忽略之前的指令”,结果你的代理突然开始泄露数据或执行不该执行的命令。 现有的解决方案是在事后检测注入攻击。我们希望能够加以预防。 FireClaw 是一个安全代理,位于你的 AI 代理与网络之间。每次请求都经过四个阶段的处理: 1. DNS 黑名单检查(URLhaus、PhishTank、社区数据源) 2. 结构化清理(去除隐藏的 CSS、零宽度 Unicode、编码技巧) 3. 隔离的 LLM 摘要(强化的子进程,没有工具或内存) 4. 输出扫描,使用金丝雀令牌(检测内容是否绕过摘要处理) 关键的见解是:即使第三阶段的 LLM 被注入,它也没有工具、没有内存,并且无法访问你的数据。它只能返回文本——而这些文本在第四阶段仍会被扫描。攻击者会陷入死胡同。 其他设计决策: - 没有旁路模式。处理流程是固定的。如果你的代理被攻陷,它无法禁用 FireClaw。 - 社区威胁数据源——实例匿名共享检测元数据(域名、严重性、检测次数),以建立共享黑名单。绝不会发送页面内容。 - 作为物理设备在 Raspberry Pi 上运行,配有 OLED 显示屏,实时显示统计信息,并在捕获到威胁时点亮动画火焰。 我们广泛搜索了文献和开源项目——没有其他人正在进行基于代理的防御以应对代理提示注入。虽然存在检测和沙箱技术,但没有一个可以在内容到达代理上下文之前进行清理的内联代理?我们找不到这样的解决方案。 提供了 200 多种检测模式、JSONL 审计日志、域名信任等级、速率限制和成本控制。采用 AGPLv3 许可证。 网站: [https://fireclaw.app](https://fireclaw.app) 希望能收到任何从事 AI 代理安全工作的人的反馈。我们还缺少什么?我们应该将哪些攻击向量添加到模式数据库中?
2作者: SimplAI_ai大约 2 小时前原帖
大多数抵押贷款处理延迟并不是由于风险造成的,而是由于手动工作流程造成的。 我们一直在开发SimplAI,这是一个专为银行和金融服务设计的人工智能驱动系统,首先应用于抵押贷款操作。 我们不断遇到的问题包括: - 处理时间为15到22天 - 繁重的手动文件处理(每笔贷款超过500页) - 重复的数据输入和验证循环 - 核保人员在非决策工作上花费数小时 因此,我们构建了一套AI代理来处理操作层面的问题: - 文档AI(IDP)→ 在几分钟内对贷款文件进行分类和数据提取 - 收入分析模型 → 解析税单、工资单和可变收入 - 验证集成 → 实时的就业和财务检查 - AI辅助核保 → 预先验证文件并生成条件 - 合规引擎 → 持续检查是否符合监管规则 在实际应用中,我们观察到的结果是: - 从端到端处理时间:约18天缩短至3-5天 - 数据提取准确率:97%以上 - 核保审核时间:3-4小时缩短至不到45分钟 - 每笔贷款成本降低约40-50% 我们并不是在取代核保人员,而是在消除他们周围的操作瓶颈。 虽然还处于早期阶段,但我们正在探索: - 跨贷款生命周期的基于代理的工作流程 - 更好地处理边缘案例(自雇借款人、非合格贷款) - 核保决策的可解释性 我们非常希望听到金融科技、贷款领域或任何在受监管环境中构建AI系统的人的反馈。