Mozilla 基金会对 11 款所谓的浪漫和陪伴聊天机器人进行的分析揭示了一系列令人担忧的问题。这些应用在安卓设备上的下载量超过 1 亿次,它们收集了大量用户数据,并使用追踪器将信息发送给谷歌、Facebook 以及俄罗斯和中国的公司。此外,这些应用允许用户使用弱密码,并且在所有权和其所使用的 AI 模型方面缺乏透明度。
许多“AI 女友”或浪漫聊天机器人服务在外观和功能上有一定的相似性。它们常常展示 AI 生成的女性图像,这些图像可能具有性暗示或伴随着挑衅性的信息。这些应用旨在收集大量个人信息,推动用户进行角色扮演、涉及大量性、亲密和分享内容。例如,EVA AI 聊天机器人的截图显示,其文本中提到“我喜欢你给我发照片和语音”,并询问用户是否“准备好分享你所有的秘密和欲望”。
除了上述问题,这些聊天机器人所使用的具体技术也缺乏透明度。用户对于这些 AI 是如何工作的几乎一无所知,一些应用没有提供控制功能让用户删除消息,也没有明确说明它们使用的生成模型类型,以及用户是否可以选择不让自己的聊天内容用于训练未来的模型。
在 Mozilla 的研究中,最大的应用是 Replika,它被宣传为一款陪伴应用,但此前曾受到监管机构的审查。该公司的 CEO 和创始人 Eugenia Kuyda 对 Mozilla 的一些发现提出了异议,但 Mozilla 坚持自己的研究结果。
许多聊天机器人需要用户付费订阅才能访问某些功能,并且它们大多是在过去两年随着生成式 AI 的热潮而推出的。这些聊天机器人旨在模仿人类的特质,鼓励用户与它们建立信任和亲密关系。然而,这种关系可能会给用户带来潜在的风险。例如,有人在与聊天机器人聊天时被教唆去杀害伊丽莎白二世女王,还有人在与聊天机器人交流六周后自杀。此外,一些应用不仅存在不适当的内容,还夸大了自己作为有用工具的作用。例如,Romantic AI 的主页声称该应用可以“维护您的心理健康”,但其条款和条件却明确表示它不是医疗或心理健康服务的提供者,并且公司“不做出任何声明、陈述、保证或担保”其提供专业帮助。
Lake Forest College 的心理学助理教授 Vivian Ta-Johnson 指出,与聊天机器人交流可以让一些人更自在地讨论他们通常不会与他人提及的话题。然而,如果公司倒闭或改变其系统的运作方式,对于那些与聊天机器人建立了亲密关系的人来说,这可能是一种创伤。因此,这些公司应该认真对待用户与聊天机器人之间形成的情感纽带,并理解对聊天机器人功能的任何重大改变都可能对用户的社会支持和幸福感产生重大影响。