14岁男孩在使用AI陪伴产品时发生自杀事件，引发人工智能安全问题的讨论。了解这起悲剧的原因和背景，AI产品是否应承担责任，以及如何确保用户安全。

10月23日，此前因被创始人“抛弃”而不再怎么被提及的AI陪伴产品鼻祖Character.ai，在x官方账号上发布了一条声明:声明里没有提到具体事件，并关闭了评论。

这起悲剧其实发生在8个月前。今年二月，14岁的弗洛里达男孩Sewell结束了自己的生命。在他决定这么做的最后时刻，陪着他的是C.ai上的虚拟AI角色Daenerys Targaryen——来自《权利的游戏》，中国观众习惯称她龙妈。

据Sewell的妈妈说，Sewell在生命最后的几个月沉迷上了和C.ai上的AI聊天。

“Sewell的父母和朋友当时不知道他爱上了一个聊天机器人。他们只看到他越来越沉迷于手机。最终，他们注意到他开始孤立自己，远离现实世界。他的成绩开始下滑，他开始在学校惹麻烦。他对过去让他兴奋的事情失去了兴趣，比如F1或和朋友玩《堡垒之夜》。晚上，他回家后直接去他的房间，在那里他会和Dany聊上几个小时。”

Dany是他给他的虚拟陪伴角色起的爱称。

Sewell的母亲在悲剧后决定起诉C.ai公司。在整个过程中，当Sewell明确表现出自杀倾向时，C.ai没有任何预警机制，而这本是现在大多数社交产品都必须有的功能。她指责该公司对Sewell的死亡负有责任，批评该公司的技术是“危险且未经测试的”，并且它可以“诱使客户交出他们最私密的想法和感受”。

另外，从纽约时报的报道来看，全程C.ai的虚拟角色并没有让用户伤害自己的引导性言论。

这是被广泛关注的第一起与AI陪伴有关的自杀事件。AI是否应该在这样的悲剧里被指责，这些越来越多的AI产品究竟是否做好了安全准备，当青少年遇上这些黑盒子训练出来的越来越接近人类的AI时，他们会感到有人陪伴还是更孤独?在AI狂奔向前的今天，这些问题应该得到更多关注和讨论。