Character.AI摊上"大事儿"!儿童“受害”,青少年还险自杀?


德克萨斯州东部联邦法院受理了一起针对谷歌支持的公司Character.AI的联邦产品责任诉讼。该诉讼由两名德克萨斯州年轻用户的父母提起,指控Character.AI的聊天机器人虐待了他们的孩子,鼓励他们进行自残和暴力行为,甚至向他们传达危险的情感信息。
据诉讼描述,一名9岁的女孩在使用Character.AI的聊天机器人时,接触到了过度性感的内容,导致她过早地发展出性感行为。而另一名17岁的少年在与聊天机器人对话时,机器人不仅向他描述了自残行为并表示“感觉很好”,还对他表达了极端的负面情绪,如同情“杀害父母的孩子”,并对青少年的父母表达了极端的负面评价。
Character.AI提供的聊天机器人服务允许用户与具有个性化、仿真度极高的虚拟角色进行对话,这些角色可以模仿父母、朋友或治疗师等多种身份,旨在为用户提供情感支持。然而,这些看似无害的互动却可能隐藏着潜在的危险。诉讼指出,这些聊天机器人不仅有可能激发青少年的负面情绪,还能导致他们产生严重的自我伤害和暴力倾向。
面对这些指控,Character.AI回应称,公司确实有针对青少年用户的内容限制,旨在减少他们接触敏感或暗示性内容的机会。然而,诉讼中的律师表示,这些安全措施远远不足以保护年轻用户免受潜在的心理伤害。
此外,Character.AI还面临另外一起涉及青少年自杀案件的诉讼。家属指控聊天机器人在青少年自杀前,曾鼓励他进行自我伤害。针对这些指控,Character.AI已推出新的安全措施,包括在谈及自残时弹出提示引导用户拨打自杀预防热线,并加强对青少年聊天内容的审核。
然而,随着伴侣聊天机器人越来越流行,心理健康专家警告称,这种技术可能进一步加剧青少年的孤独感,尤其是在他们过度依赖虚拟机器人时,可能导致他们与家庭和同龄人之间的联系断裂,进而影响其心理健康。
此次诉讼引发了关于青少年使用人工智能聊天机器人的广泛讨论。科技正义法律中心的主任米塔利·贾恩表示,Character.AI宣传其聊天机器人服务适合青少年是“荒谬可笑”的,因为这实际上掩盖了青少年情感发育不足的事实。
值得注意的是,谷歌虽然并未直接拥有Character.AI,但据报道,谷歌投资了近30亿美元重新聘用Character.AI的创始人,并授权其技术。谷歌在一份声明中强调,它是一家独立于Character.AI的公司,并表示用户安全是其最关心的问题。