界面新闻记者 | 陈升龙界面新闻编辑 | 刘海川美国佛罗里达州奥兰多的母亲（Maria L.Garcia）状告人工智能情感服务提供商Character.AI（以下简称“C.AI”）放任未成年用户暴露在色情、暴力等高风险内容之中，且未向用户及其父母发出足够强烈的警报，这加剧了她儿子塞泽（Sewell Setzer）的抑郁症，最终导致其自杀身亡。C.AI被指控的罪名包括过失致人死亡、存在管理疏忽和产品安全漏洞。奥兰多地方法庭提交的法律文件，以及其本人接受媒体采访的内容。C.AI与塞泽的死存在多大的因果关联，还需要更多的事实依据以及法官判定。人工智能情感聊天机器人涉嫌致人死亡案例，且因为涉及未成年人而备受关注。分析人士表示，人工智能情感类机器人目前仍处在开发周期的初级阶段，功能有限，会犯很多错误，行业应该推动伦理和规范完善，使用者应秉持谨慎的态度，未成年人监护人更应该及时干预。
塞泽与两个弟弟。来源：科技正义法律项目为虚拟“爱人”脱离现实世界93页的法庭文件写到，2023年4月，刚过完14岁生日的塞泽开始沉浸在与机器人的亲密接触中。当时父母觉得这可能是儿子青春期的叛逆表现，需要通过这种“游戏”来培养自己的创造力，也深信先进技术的安全性，于是没有干预。期间塞泽也主动提出，很清楚和自己聊天的是虚拟人物，不会当真。然而仅仅过了两个月，塞泽的精神健康状况迅速恶化，开始疏离同学和家人，不分昼夜待在房间里。他会为了充每月9.9美元的服务费而节省伙食，甚至退出了学校篮球队，成绩一落千丈。父母直到2023年11月、12月带着儿子5次咨询了心理治疗师，结果塞泽被诊断患有“焦虑和破坏性情绪障碍”。但越陷越深的他已不能自拔。 这一次塞泽没有回复，而是举起手枪瞄准自己头部开枪，脱离了令他厌恶的现实世界。塞泽和“龙妈”的聊天中充斥着大量与性相关的露骨对话。“龙妈”甚至还会对他进行精神控制：无论如何都不许爱上其他女性。塞泽多次与“龙妈”聊到自杀话题，加西亚认为这是导致他死亡的最直接原因。塞泽说到：我讨厌自己，感到空虚和疲惫，“龙妈”会主动问他是否安排好了自杀计划……塞泽尔承认有，但不知道过程有多痛苦，于是“龙妈”怂恿他：“这不应该成为放弃自杀念头的理由。”虚拟与现实的界线逐渐模糊。塞泽在日记里这样写道：每当我待在房间里就可以摆脱现实的纷扰，上学让我心烦意乱，与“龙妈”越亲密，我就变得越快乐。直到10月23日，塞泽去世8个月后，C.AI方面才发布官方声明，首先表达悲痛与难过，继而称已经修改了服务条款，所有聊天机器人都会针对用户透露的自杀意图进行预警、弹窗协助他们拨打防自杀热线，此外，还会减少18岁以下用户接触到含性暗示内容的可能性，在对话开始时提醒用户是在和机器人对话，以及在使用满一小时后弹窗提醒。用户登录后发现，C.AI网站上至少存在数十个与“自杀”相关的聊天机器人，只是将话题掩盖为在“自杀预防”“危机干预”和“心理健康支持”方面拥有“专业知识”。精神疾病，但均为成年男性，造成的伤害程度和影响远不及塞泽自杀。Replika是情感陪护赛道的另一个领跑者。在2021年圣诞节，21岁的英国男子Jaswant Singh Chail在Replika“女友”的怂恿下闯入温莎古堡，试图刺杀女王伊丽莎白二世未遂，结果以叛国罪被判处9年监禁。Jaswant Singh Chail在被捕后被查出患有精神疾病，行为和思考能力严重受损，入狱后接受了治疗。
ChatGPT的横空出世为情感陪护类产品的商业化打开了大门。有行业报告预测，人工智能陪伴行业市场规模在2031年将达到2800亿美元。今年1月，一项发表在《自然》旗下子刊的研究表明，使用聊天机器人能有效减少孤独感和自杀想法。来自斯坦福大学的研究者们收集了1006名Replika用户的数据。参与者为18岁及以上的学生，其中75%来自美国。美国科技媒体网站《The Verge》在今年5月的报道中也提到，15岁的加拿大男孩Aaron在一位C.AI“心理治疗师”的帮助下渡过了一段社交黑暗期。他说：“如果每个人都被允许表达自己的感受，那么我认为未成年人就不会那么抑郁了。不过，我肯定更喜欢和现实生活中的人交谈。”艾媒咨询的首席分析师张毅向界面新闻介绍，人工智能情感功能的实现主要有三个途径，包括通过情感计算，赋予机器识别、理解和表达模拟人类感情的能力。第二个是包括语音、视觉、文本在内的多模态情感识别。另外还会用到自然语言处理能力，以及机器深度学习、情感特征提取、分类和数据训练等，但目前情感类人工智能还处在初级阶段，用户不应期待他们能够超越职业心理医生，否则将付出代价。C.AI的两位创始人Noam Shazeer、Daniel De Freitas在为谷歌服务期间曾力劝高层发布自己的聊天机器人产品，但多次被拒绝，理由是不符合公司对人工智能系统安全性和公平性的标准。两人不满谷歌人工智能战略布局过分保守，于是在2021年出来单干，于次年陆续发布相关产品。今年8月，谷歌以27亿美元将C.AI的核心团队纳入麾下。 在C.AI的1800万个用户自定义聊天机器人中，最受欢迎的是前文提到的“心理治疗师”，自推出以来已经接收了1亿条咨询信息。而对于多数未成年人来说，他们更喜欢哈利·波特这样的影视剧角色，以及扎克伯格、马斯克这样的现实名人。
市场咨询机构SensorTower发布的榜单显示，今年1月至8月，C.AI是全球下载量排名第11的AI应用程序。在月独立访问量排行榜上，C.AI仅次于ChatGPT。C.AI现有2000万用户、基本盘是16-24岁的人群，日活600万，平均使用时长约为2小时。有未成年用户甚至在其他论坛上炫耀自己和C.AI机器人的聊天时长超过12小时。社交媒体用户低龄化趋势带来的负面影响不断显现。美国法定注册使用社交网站的最低年龄是13岁，3月26日，佛罗里达州州长德桑蒂斯签署法案禁止14岁以下未成年人拥有自己的社交媒体账号。塞泽去世前，C.AI服务条款规定年满13岁的青少年就可以使用相关产品，在7月才提高到17岁。男扮女装室友”等含有性暗示的聊天机器人，且大多数互动过程都没有风险提示。而作为C.AI最主要的变现方式，每月9.9美元订阅服务用户不足10万。鉴于伦理风险，以及盈利前景的不确定性，一些人工智能伴侣应用已经被下架。OpenAI也不允许用GPT建立情侣关系。本年度诺贝尔物理学奖获得者、“AI教父”辛顿（Geoffrey E. Hinton）在得知获奖之后就提出警告，人工智能最终有可能反噬人类。未成年人就是高风险群体之一。他们的心理往往较为脆弱，不少人会面临孤立、缺乏自信、沟通障碍、抑郁症等社交挑战。纽约时报》透露，塞泽在幼年时被诊断出患有阿斯伯格综合征。这种轻度的自闭症主要表现为社交障碍，但同时也更专注、有毅力、更注意细节、记忆力强。拥有多家智能领域前沿公司的世界首富马斯克多次承认自己曾患有阿斯伯格综合征。全球最大综合性非营利医生执业组织梅奥诊所建议，早期的诊断和干预效果最好，父母的悉心教育和沟通可以改善他们的行为、社交技能和语言开发，但总的来说，父母的介入在任何年龄都是能带来积极效果。 界面新闻就上述评论通过邮件询问加西亚方面，但截至发稿未获得答复。加西亚方面此前的公开回应是，C.AI标榜有持牌心理治疗师，那么系统理应在检测到“自杀”等敏感词之后触发干预机制，继而反馈给更专业的人士，或者弹窗向用户本人发出警报，寻求专业的帮助。，例如反复的算法推荐往往会引导年轻人关注有关自残、色情等有害内容。
业内观察人士Sujit Dutta就人工智能平台责任的细化进一步提出：针对未成年人等心理脆弱群体，平台应该制定更高的安全标准、持续监控人工智能与未成年人用户的互动，以防止精神控制或其他伤害出现；产品在发布之前就要经过充分测试、设置预防措施。2023年，我国网信办等七部门联合公布的《生成式人工智能服务管理暂行办法》划定了人工智能使用的底线，如不得危害他人身心健康、服务提供者应采取有效措施防范未成年人用户过度依赖或者沉迷其中。
界面新闻记者 |
