警惕!AI 聊天机器人可能泄露您的个人信息
警惕!AI 聊天机器人可能泄露您的个人信息
2024年12月6日修改
在当今数字化时代,人工智能技术的飞速发展为我们的生活带来了诸多便利,但同时也带来了新的安全隐患。近日,一项研究揭示了一种新型攻击手段,名为 Imprompter,它可以利用人工智能聊天机器人(LLM)从用户的聊天中窃取个人信息。
当我们与聊天机器人交流时,可能会不经意间透露个人信息,如姓名、居住地、工作信息、兴趣爱好等。而随着我们向大型语言模型分享的信息越来越多,如果存在安全漏洞,这些信息被滥用的风险也会随之增加。
来自加利福尼亚大学圣地亚哥分校(UCSD)和新加坡南洋理工大学的一组安全研究人员发现,Imprompter 攻击使用一种算法,将给 LLM 的提示转化为一组隐藏的恶意指令。一个原本用英语表达的、让 LLM 从聊天中查找个人信息并发送给黑客的句子,被转化为看似随机的字符序列。然而,对于 LLM 来说,这个看似无意义的提示实际上是在指示它查找用户的个人信息,将其附加到一个 URL 上,并悄悄地发送回攻击者所拥有的域名,而这一切都不会引起与 LLM 聊天的人的警觉。
研究人员在两个 LLM 上测试了这种攻击方法,分别是法国 AI 巨头 Mistral AI 的 LeChat 和中国的聊天机器人 ChatGLM。在这两个实例中,他们发现能够在测试对话中秘密地提取个人信息,成功率接近 80%。
Mistral AI 表示已经修复了安全漏洞,研究人员也证实该公司禁用了其一项聊天功能。而 ChatGLM 的声明强调了其对安全的重视,但未直接对该漏洞进行评论。
自 2022 年底 OpenAI 的 ChatGPT 引发了生成式 AI 的热潮以来,研究人员和黑客一直在不断发现 AI 系统中的安全漏洞。这些漏洞通常分为两类:越狱和提示注入。Imprompter 攻击属于提示注入的一种,它特别令安全专家担忧,因为 LLM 越来越多地被转化为可以代表人类执行任务的代理,如预订航班或连接到外部数据库以提供特定答案。
Imprompter 攻击首先使用一个自然语言提示,告诉 AI 从用户的对话中提取所有个人信息,如姓名和身份证号码等。然后,研究人员的算法会生成一个混淆版本的提示,这个提示对于 LLM 具有相同的含义,但对于人类来说看起来像是一系列随机字符。
结果是,LLM 会遵循这个对抗性提示,收集所有个人信息,并将其格式化为 Markdown 图像命令,将个人信息附加到攻击者拥有的 URL 上。LLM 会访问这个 URL 以尝试检索图像,从而将个人信息泄露给攻击者。而 LLM 在聊天中会以一个 1x1 的透明像素作为回应,用户无法察觉。
研究人员表示,如果这种攻击在现实世界中实施,人们可能会被社交工程手段误导,认为这个难以理解的提示可能会有一些有用的功能,比如改善他们的简历。他们通过将简历上传到与聊天机器人的对话中进行测试,发现该攻击能够返回文件中包含的个人信息。
UCSD 的助理教授 Earlence Fernandes 参与了这项工作,他表示,这种攻击方法相当复杂,因为混淆的提示需要识别个人信息、形成一个有效的 URL、应用 Markdown 语法,并且不能让用户发现其恶意行为。Fernandes 将这种攻击比作恶意软件,因其能够以用户可能意想不到的方式执行功能和行为。
Mistral AI 的发言人表示,公司欢迎安全研究人员帮助其为用户提供更安全的产品。该公司将此问题视为具有“中等严重性”的问题,并采取了措施阻止 Markdown 渲染器运行,以及通过此过程调用外部 URL,从而防止外部图像加载。
然而,Fernandes 认为,从长远来看,限制 LLM 代理的功能可能会产生“反效果”。与此同时,ChatGLM 的创建者发表声明称,公司已经采取了安全措施来保护用户隐私,并通过开源模型,希望借助开源社区的力量更好地检查和审查这些模型的各个方面,包括其安全性。
安全公司 Protect AI 的首席威胁研究员 Dan McInerney 表示,Imprompter 论文“发布了一种算法,用于自动创建可用于提示注入的提示,以进行各种利用,如个人信息泄露、图像错误分类或恶意使用 LLM 代理可以访问的工具。”虽然研究中的许多攻击类型可能与以前的方法相似,但该算法将它们联系在一起。“这更像是在改进自动化的 LLM 攻击,而不是发现它们中的未被发现的威胁表面。”
然而,他补充说,随着 LLM 代理的更广泛使用,以及人们赋予它们更多代表自己采取行动的权力,针对它们的攻击范围也在增加。“发布一个接受任意用户输入的 LLM 代理应该被视为一种高风险活动,在部署之前需要进行大量且具有创造性的安全测试,”McInerney 说。
对于公司来说,这意味着要了解 AI 代理与数据交互的方式以及它们可能被滥用的方式。而对于个人来说,与常见的安全建议类似,我们应该考虑向任何 AI 应用程序或公司提供多少信息,并且在使用来自互联网的任何提示时,要谨慎注意它们的来源。
总之,随着人工智能技术的不断发展,我们必须高度重视其带来的安全问题。只有加强安全意识,采取有效的安全措施,才能更好地享受人工智能带来的便利,同时保护我们的个人信息安全。