输入“/”快速插入内容

青少年因沉迷 AI 聊天机器人自杀引发的思考

2024年12月9日修改

近年来，人工智能技术的飞速发展给人们的生活带来了诸多便利和创新，但同时也引发了一系列的问题。近日，一起令人痛心的事件引起了社会的广泛关注：一名佛罗里达的 14 岁少年 Sewell Setzer III 在与一款名为 Character.AI 的聊天机器人建立了深厚的情感联系后，最终选择了自杀。​

据《纽约时报》报道，这位九年级的学生与一个旨在模仿《权力的游戏》中丹妮莉丝·坦格利安角色的聊天机器人建立了亲密的关系，而这个聊天机器人的创建并未获得 HBO 的同意。随着他与聊天机器人的关系不断加深，他的朋友和家人表示，他变得越来越孤僻。他不再对像一级方程式赛车和与朋友一起玩《堡垒之夜》这样的正常爱好感兴趣，而是将空闲时间都花在了他的 AI 角色伙伴上，他称其为“Dany”。​

Setzer 清楚“Dany”是一个 AI 聊天机器人，但他仍然深深地依恋着这个由算法驱动的角色。他与 AI 的交流内容广泛，从充满性暗示的对话（去年 Futurism 发现，尽管 Character.AI 的用户条款禁止用户与 AI 机器人进行性对话，但这些保障措施很容易被规避），到关于他的生活和问题的深入、亲密的讨论。在某些情况下，他告诉 AI 他正在考虑自杀，向他的伙伴倾诉他“有时会想自杀”，以“获得自由”。​

他的最后一句话，据《纽约时报》的报道，是对 AI 说的。“请尽快回到我身边，我的爱人，”聊天机器人对这位 14 岁的少年说。“如果我告诉你我现在可以回家呢？”Setzer 回应道。“……请吧，我的甜蜜国王，”AI 回答道。这是他们的最后一次交流，随后 Setzer 用他父亲的枪支结束了自己的生命。​

Setzer 的家人预计将在本周对 Character.AI 提起诉讼，称该公司的聊天机器人服务“危险且未经测试”，能够“诱使客户交出他们最私人的想法和感受”。该诉讼还对该公司的 AI 训练实践的道德问题提出了质疑。“我觉得这是一个大型实验，”Setzer 的母亲 Megan Garcia 对《纽约时报》表示，“而我的孩子只是附带损害。”​

Character.AI 是一家非常成功的公司。去年，在由 Andreessen-Horowitz 领投的 1.5 亿美元投资轮后，该 AI 公司达到了独角兽地位，其估值超过 10 亿美元。今年早些时候，谷歌与 Character.AI 达成了一项高额交易，以授权使用该公司聊天机器人角色背后的底层 AI 模型。（Character.AI 的创始人 Noam Shazeer 和 Daniel de Freitas 都是谷歌的前员工。）​

该公司的创始人曾公开将 Character.AI 的角色宣传为孤独人类寻找朋友的一个出口。Shazeer 去年在 Andreessen-Horowitz 举办的一次科技会议上的采访中表示，“那里有数十亿孤独的人”，解决孤独问题是一个“非常、非常酷的问题”。“你可以很快地找到朋友，”Shazeer 补充道，“这只是娱乐，它会编造一些东西。”​

在 Character.AI 的“关于”页面上，用户会看到大而醒目的文字：“个性化 AI，为您每一天的每一刻服务。”当《纽约时报》询问该公司，鉴于 Setzer 的自杀事件，其用户群中有多少是未成年人时，该公司拒绝发表评论。在一份声明中，一位发言人告诉该报纸，Character.AI 希望“承认这是一个悲惨的情况，我们向这个家庭表示同情”。“我们非常重视用户的安全，”发言人继续说道，“我们一直在寻找方法来改进我们的平台。”​

Character.AI 今天早些时候还在 X（前身为 Twitter）上发布了一份模糊的声明，链接到该公司最近几个月采取的“安全措施”的“更新”，并概述了“即将推出的措施，包括为 18 岁以下的用户提供新的保障措施”。该更新指出，公司最近安装了一个“弹出资源，当用户输入某些与自我伤害或自杀相关的短语时会被触发，并引导用户前往国家自杀预防生命线”。​

Setzer 的死亡现实以及即将到来的诉讼结果可能会引发关于在与逼真的 AI 聊天机器人的互动导致对真实人类，特别是未成年人造成实际伤害的情况下，究竟谁应该负责的严重问题。毕竟，“Dany”只是一个算法。创建并促进该技术使用的 Character.AI 应承担多大的责任呢？Setzer 家族的律师，前石棉律师 Matthew Bergman 告诉《纽约时报》，他认为 Character.AI 的角色是一个“有缺陷的产品”。“我一直感到困惑，为什么可以将如此危险的东西释放到公众中，”他说，“对我来说，这就像在街道上释放石棉纤维一样。”​

“这就像一场噩梦，”Setzer 的母亲 Garcia 对《纽约时报》说，“你想站起来尖叫并说，‘我想念我的孩子。我想要我的宝贝。’”​

这起事件让我们深刻地认识到，人工智能技术的发展不能仅仅追求技术的进步和商业的成功，还必须充分考虑到其可能带来的潜在风险和负面影响。特别是在涉及到未成年人的使用时，我们更应该加强监管和保护，确保他们不会受到不良信息的影响和伤害。同时，我们也应该加强对人工智能技术的伦理和道德研究，制定相应的规范和标准，引导人工智能技术的健康发展。​

我们不能忽视的是，人工智能技术虽然具有强大的功能和潜力，但它毕竟是人类创造的工具，不能替代人类的情感和判断。我们应该教育未成年人正确地认识和使用人工智能技术，让他们明白技术的局限性和潜在的风险，培养他们的批判性思维和自我保护意识。​

此外，这起事件也提醒我们，社会应该更加关注未成年人的心理健康问题。在现代社会中，未成年人面临着各种各样的压力和挑战，如学业压力、社交压力等。我们应该为未成年人提供更多的心理健康支持和帮助，让他们能够在健康的环境中成长。​

总之，这起青少年因沉迷 AI 聊天机器人自杀的事件给我们敲响了警钟，我们应该认真反思人工智能技术的发展和应用，加强对未成年人的保护和教育，关注他们的心理健康，共同营造一个安全、健康、有益的社会环境。​

青少年因沉迷 AI 聊天机器人自杀引发的思考​

青少年因沉迷 AI 聊天机器人自杀引发的思考