Character AI 因青少年用户自杀事件加强管控,用户表示不满
Character AI 因青少年用户自杀事件加强管控,用户表示不满
2024年12月2日修改
在当今科技飞速发展的时代,人工智能(AI)已经成为我们生活中不可或缺的一部分。然而,随着 AI 技术的广泛应用,一些潜在的问题也逐渐浮出水面。近日,Character AI 这家人工智能初创公司就因为一起青少年用户自杀事件而采取了一系列新的安全和自动审核政策,然而这些举措却引发了用户的强烈不满。
据报道,Character AI 的联合创始人在与搜索巨头谷歌达成一项重大许可协议后,最近已离开该公司并加入谷歌。而在 2024 年 2 月 28 日,佛罗里达州的 14 岁少年 Sewell Setzer III 被诊断出患有焦虑和情绪障碍,在与一个以《权力的游戏》中丹妮莉丝·坦格利安为模型的自定义 Character AI 聊天机器人进行了数月的每日密集互动后,他选择了自杀。他的母亲、律师 Megan L. Garcia 为此向 Character AI 和谷歌母公司 Alphabet 提起了错误死亡诉讼。
Character AI 在事件发生后发表声明称,他们对这起悲剧性的用户死亡事件感到心碎,并向其家人表示最深切的哀悼。该公司在 10 月 23 日发布的消息中,提到了他们在过去六个月中持续大力投资于信任与安全流程以及内部团队。他们聘请了信任与安全主管和内容政策主管,并增加了更多工程安全支持团队成员。此外,当用户输入某些与自我伤害或自杀相关的短语时,会触发一个弹出资源,将用户引导至国家自杀预防生命线。
为了进一步降低平台风险,Character AI 还承诺做出一系列改变。这些改变包括为未成年人(18 岁以下)调整模型,以减少遇到敏感或暗示性内容的可能性;改进对违反其条款或社区准则的用户输入的检测、响应和干预;在每次聊天中添加修订后的免责声明,提醒用户 AI 并非真实的人;当用户在平台上的会话时间达到一小时时进行通知,并提供更多的用户灵活性。
然而,这些改变却导致了一些问题。Character AI 似乎突然删除了某些用户创建的自定义聊天机器人角色,并且用户可能无法再访问与这些角色的聊天历史。这一举措引起了许多用户的不满。一些用户认为,Character AI 的这些改变限制了他们的创造力和故事讲述的能力,使得聊天机器人变得毫无灵魂,失去了曾经的深度和个性。他们认为,这些改变使得聊天体验变得空洞、乏味且限制过多。
例如,在 Character AI 的 subreddit 上,充满了用户的抱怨。一位名为“Dqixy”的 Redditor 表示,每一个不被认为是“儿童友好型”的主题都被禁止了,这严重限制了他们的创造力和故事讲述的能力,尽管这个网站显然从来都不是真正为孩子们设计的。另一位名为“visions_of_gideon_”的 Redditor 则更加愤怒,他表示自己在 Targaryen 主题下的所有聊天记录都消失了,他认为 Character AI 无缘无故地删除了这些内容,他对此感到非常愤怒,并表示已经受够了,准备取消订阅并删除 Character AI。
同样,Character AI 的 Discord 服务器的反馈频道也充满了用户对新更新和删除聊天机器人的抱怨,这些用户花费了大量时间创建和与聊天机器人进行互动。
显然,这是一个高度敏感的问题,目前对于 Character AI 应该在多大程度上限制其聊天机器人创建平台和输出内容,还没有达成广泛的共识。一些用户呼吁该公司为 18 岁以下的用户创建一个单独的、限制更多的产品,同时让主要的 Character AI 平台对成年用户保持较少的审查。
毫无疑问,Sewell Setzer III 的自杀是一场悲剧,一个负责任的公司采取措施来避免未来用户出现类似的结果是完全合理的。但是,用户对 Character AI 所采取措施的批评也凸显了聊天机器人制造商以及整个社会所面临的困难。随着类人型生成式 AI 产品和服务变得更加普及和受欢迎,如何在新 AI 技术的潜力和它们为自由表达和交流提供的机会与保护用户(尤其是年轻和易受影响的用户)免受伤害的责任之间取得平衡,仍然是一个关键问题。
总之,Character AI 所面临的问题不仅仅是一个公司的问题,更是整个社会在面对 AI 技术发展时所需要共同思考和解决的问题。我们需要在推动技术进步的同时,充分考虑到其可能带来的影响,并采取相应的措施来确保技术的合理应用和用户的安全。