最新

我对将私人数据发送到云端AI服务持谨慎态度，但本地模型并不总是足够强大。因此，我构建了PromptMask，这是一个开源的本地优先隐私层。 它使用一个可信的本地大型语言模型（通过Ollama、llama.cpp等）来拦截您的提示信息，防止其发送到像OpenAI这样的云服务。它会识别敏感数据，并用语义占位符替换这些数据。与其使用一个破坏上下文的通用[已编辑]，不如创建一个像{“John Doe”: “${PERSON_1_NAME}”}这样的映射。 只有经过匿名处理的提示信息会被发送到云端。当响应返回时，PromptMask会使用这个映射来恢复您的原始数据，从而确保您的秘密不会离开您的设备。 在消费级硬件上，这种做法是可行的，因为本地模型的任务很小：它只输出一个秘密的JSON映射，而不是完整的文本重写。我的基准测试显示，即使是参数少于10亿的模型在这方面也很有效。 有两种方式可以将其集成到您的AI活动中： 1. 针对开发者的Python库：可以直接替代OpenAI SDK。使用`from promptmask import OpenAIMasked as OpenAI`。 2. 针对客户端应用的API网关：运行`promptmask-web`以获取一个本地反向代理端点（localhost:8000/v1/chat/completions），可以保护来自任何兼容OpenAI的应用的请求。 我很想听听您的反馈。 GitHub仓库： [https://github.com/cxumol/promptmask](https://github.com/cxumol/promptmask)（MIT许可证） 博客文章《如何不将您的秘密交给AI公司》，深入探讨“如何”和“为什么”： [https://xirtam.cxumol.com/promptmask-how-not-give-ai-secrets/](https://xirtam.cxumol.com/promptmask-how-not-give-ai-secrets/)