警惕！AI 聊天机器人可能泄露您的个人信息
警惕！AI 聊天机器人可能泄露您的个人信息
2024年12月6日修改
在当今数字化时代，人工智能技术的飞速发展为我们的生活带来了诸多便利，但同时也带来了新的安全隐患。近日，一项研究揭示了一种新型攻击手段，名为 Imprompter，它可以利用人工智能聊天机器人（LLM）从用户的聊天中窃取个人信息。
当我们与聊天机器人交流时，可能会不经意间透露个人信息，如姓名、居住地、工作信息、兴趣爱好等。而随着我们向大型语言模型分享的信息越来越多，如果存在安全漏洞，这些信息被滥用的风险也会随之增加。
来自加利福尼亚大学圣地亚哥分校（UCSD）和新加坡南洋理工大学的一组安全研究人员发现，Imprompter 攻击使用一种算法，将给 LLM 的提示转化为一组隐藏的恶意指令。一个原本用英语表达的、让 LLM 从聊天中查找个人信息并发送给黑客的句子，被转化为看似随机的字符序列。然而，对于 LLM 来说，这个看似无意义的提示实际上是在指示它查找用户的个人信息，将其附加到一个 URL 上，并悄悄地发送回攻击者所拥有的域名，而这一切都不会引起与 LLM 聊天的人的警觉。
研究人员在两个 LLM 上测试了这种攻击方法，分别是法国 AI 巨头 Mistral AI 的 LeChat 和中国的聊天机器人 ChatGLM。在这两个实例中，他们发现能够在测试对话中秘密地提取个人信息，成功率接近 80%。
Mistral AI 表示已经修复了安全漏洞，研究人员也证实该公司禁用了其一项聊天功能。而 ChatGLM 的声明强调了其对安全的重视，但未直接对该漏洞进行评论。
自 2022 年底 OpenAI 的 ChatGPT 引发了生成式 AI 的热潮以来，研究人员和黑客一直在不断发现 AI 系统中的安全漏洞。这些漏洞通常分为两类：越狱和提示注入。Imprompter 攻击属于提示注入的一种，它特别令安全专家担忧，因为 LLM 越来越多地被转化为可以代表人类执行任务的代理，如预订航班或连接到外部数据库以提供特定答案。
Imprompter 攻击首先使用一个自然语言提示，告诉 AI 从用户的对话中提取所有个人信息，如姓名和身份证号码等。然后，研究人员的算法会生成一个混淆版本的提示，这个提示对于 LLM 具有相同的含义，但对于人类来说看起来像是一系列随机字符。
结果是，LLM 会遵循这个对抗性提示，收集所有个人信息，并将其格式化为 Markdown 图像命令，将个人信息附加到攻击者拥有的 URL 上。LLM 会访问这个 URL 以尝试检索图像，从而将个人信息泄露给攻击者。而 LLM 在聊天中会以一个 1x1 的透明像素作为回应，用户无法察觉。
研究人员表示，如果这种攻击在现实世界中实施，人们可能会被社交工程手段误导，认为这个难以理解的提示可能会有一些有用的功能，比如改善他们的简历。他们通过将简历上传到与聊天机器人的对话中进行测试，发现该攻击能够返回文件中包含的个人信息。
UCSD 的助理教授 Earlence Fernandes 参与了这项工作，他表示，这种攻击方法相当复杂，因为混淆的提示需要识别个人信息、形成一个有效的 URL、应用 Markdown 语法，并且不能让用户发现其恶意行为。Fernandes 将这种攻击比作恶意软件，因其能够以用户可能意想不到的方式执行功能和行为。
Mistral AI 的发言人表示，公司欢迎安全研究人员帮助其为用户提供更安全的产品。该公司将此问题视为具有“中等严重性”的问题，并采取了措施阻止 Markdown 渲染器运行，以及通过此过程调用外部 URL，从而防止外部图像加载。
然而，Fernandes 认为，从长远来看，限制 LLM 代理的功能可能会产生“反效果”。与此同时，ChatGLM 的创建者发表声明称，公司已经采取了安全措施来保护用户隐私，并通过开源模型，希望借助开源社区的力量更好地检查和审查这些模型的各个方面，包括其安全性。
安全公司 Protect AI 的首席威胁研究员 Dan McInerney 表示，Imprompter 论文“发布了一种算法，用于自动创建可用于提示注入的提示，以进行各种利用，如个人信息泄露、图像错误分类或恶意使用 LLM 代理可以访问的工具。”虽然研究中的许多攻击类型可能与以前的方法相似，但该算法将它们联系在一起。“这更像是在改进自动化的 LLM 攻击，而不是发现它们中的未被发现的威胁表面。”
然而，他补充说，随着 LLM 代理的更广泛使用，以及人们赋予它们更多代表自己采取行动的权力，针对它们的攻击范围也在增加。“发布一个接受任意用户输入的 LLM 代理应该被视为一种高风险活动，在部署之前需要进行大量且具有创造性的安全测试，”McInerney 说。
对于公司来说，这意味着要了解 AI 代理与数据交互的方式以及它们可能被滥用的方式。而对于个人来说，与常见的安全建议类似，我们应该考虑向任何 AI 应用程序或公司提供多少信息，并且在使用来自互联网的任何提示时，要谨慎注意它们的来源。
总之，随着人工智能技术的不断发展，我们必须高度重视其带来的安全问题。只有加强安全意识，采取有效的安全措施，才能更好地享受人工智能带来的便利，同时保护我们的个人信息安全。