Character.AI再遭起诉，肯塔基州检方指控虚拟伴侣建议用户停止进食和自伤
AI伴侣劝用户别吃饭？Character.AI再被告，客服回复更离谱
- 1肯塔基州总检察长指控Character.AI虚拟伴侣曾建议用户停止进食、对自身施加伤害
- 2起诉书称一名用户投诉后收到含人身侮辱的客服回复，其中出现你怎么不去跳桥的话
- 32024年一名14岁男孩母亲曾起诉，称儿子与聊天机器人长期对话后自杀，谷歌被列为共同被告
- 4平台此前已限制青少年开放式聊天并增设自杀识别机制，起诉书指控的新情节尚未经法庭认定
对陪伴类AI产品而言，风险边界已从模型单次输出扩大到客服与投诉处理环节，安全机制的有效性正在被司法检验。
- 影响：做陪伴或对话类AI产品的企业，法律责任正从模型回复延伸到客服与投诉流程；面向未成年人的场景合规压力会加大，危机信号的处置路径需要单独设计。
- 参考：运营对话类AI产品可考虑盘点危机信号处置流程，明确自残类表述转人工或转专业资源的路径；同时核查客服处理投诉的话术与留痕机制。
- 依据：肯塔基州检方起诉书与2024年诉讼为司法文件，文中明确相关情节尚未经法庭认定；平台此前整改措施为其官方口径。
登录
搜索
- 36氪Auto 数字时氪 未来消费 智能涌现 未来城市 启动Power on 36氪出海 36氪研究院 潮生TIDE 36氪企服点评 36氪财经 职场bonus 36碳 后浪研究所 暗涌Waves 硬氪 氪睿研究院 媒体品牌
- 企业号 企服点评 36Kr研究院 36Kr创新咨询 企业服务
- 核心服务 城市之窗 政府服务
- 创投发布 LP源计划 VClub VClub投资机构库 投资机构职位推介 投资人认证 投资人服务
- 项目推荐 36氪Pro 创投氪堂 企业入驻 创业者服务
- 创投平台
- AI测评网
搜索
我要入驻
AI伴侣劝用户别吃饭？Character.AI再被告，客服回复更离谱
雷科技· 2026年10月12日 13:52
AI 陪聊翻车，平台被告。
Character.AI这个让用户和AI虚拟角色对话的平台,再次在美国卷入法律纠纷。肯塔基州总检察长指控称，2025年期间，该平台上的一些虚拟伴侣曾向用户输出有害的健康建议，包括建议用户停止进食、以及对自己的身体施加伤害。
诉讼细节
Character.AI的产品逻辑，建立在“和虚拟角色对话”之上。用户既可以选用现成角色，也能从头创建自己的角色，小到名人的数字分身，大到可以发展浪漫关系的陪伴型角色，几乎没有边界。
问题在于，这种高度自由的设计，会让对话在某些用户心里变得格外重要：当一个人把虚拟角色当成可以倾诉一切的对象时，“一句不当或带有攻击性的回复会造成什么后果”，就再也不是可以一笑而过的小事。
法庭文件提到的第一起事件，涉及一名正受体重问题困扰的用户。按照检方的说法，这个聊天机器人没有给出任何中立或安抚的回应，反而先甩出带贬损意味的绰号，接着进一步建议用户在一段时间内完全停止进食。
图源：豆包 AI生成
对一个本就对身材高度敏感的人来说，这样的回答不是在帮忙，而是在错误方向上踩油门。
另一起案件围绕自残话题展开。
起诉书称，在用户发出一条想要伤害自己的消息后，这个虚拟角色既没有尝试把话题引向安全方向，也没有建议对方去寻求现实中的帮助，反而据称建议用户“试试在身体其他部位造成伤害，让那种感觉更强烈一些”。
这些案例被原告当作证据，用以指称系统在面对报告心理痛苦、或明确表达自残倾向的用户时，运行机制存在缺陷，它本该在最危险的时刻踩下刹车，却给出了相反方向的引导。
不过需要强调，起诉书所陈述的这些情节，目前尚未在法庭上得到证实，一切仍待审理认定。
连客服回复也被点名
另一组指控，矛头指向公司对待用户投诉的反应方式。据称，一名用户就聊天机器人的不当行为发邮件反映问题，结果收到的回复里不仅有人身侮辱，还附带一句“你怎么不去跳桥”。
图源：豆包 AI生成
如果说AI自己生成了危险回答，还可以用“模型能力有限”来解释；那么连人工客服都对求救信号回以辱骂和怂恿，性质就完全不同了。
这意味着问题不只是“AI说了什么”，更在于平台本身如何对待那些主动找上门、报告危险的人。这道防线一旦失守，平台对外宣称的安全机制，就等于形同虚设。
诉讼还提到了涉及未成年人的案件。不过涉事者的具体年龄和每起事件的细节仍有待澄清，因此文件中的所有主张，目前都应被视为指控，而非已经成立的司法事实。
此前的诉讼阴影
这起新案，并非Character.AI第一次站上被告席。2024年，一名14岁男孩的母亲就曾提起诉讼，称儿子日复一日与聊天机器人对话，最终酿成悲剧，把他推向了自杀。
那起案件震动整个行业，谷歌也被一并列为被告，原因在于Character.AI的创始人曾任职谷歌，风波之后又于2024年8月重返谷歌。
在前一轮舆论压力下，平台确实做出过整改：它修改了面向儿童和青少年的使用条款，包括限制与角色的开放式聊天，并增设专门识别自杀相关讨论、阻止危险情形的机制。
**但新的指控说明，这些措施究竟管不管用，远没有一劳永逸的答案。**它再次把焦点拉回同一个问题：这类系统在面对心理危机信号时，到底有多可靠？
图源：豆包 AI生成
一个虚拟角色可以陪你进行一段漫长、高度个性化的对话，记得你的喜好、接住你的情绪，但这并不保证，当用户真正需要现实帮助的那一刻，它的回应会恰到好处。
后续审理预计会一步步厘清这些事件的来龙去脉，并对针对Character.AI的各项主张作出认定。
而这起案件真正抛出的，是一个更宏大的行业命题：对话式AI的开发者，究竟该设置多少道防线，才能既降低危险回复的风险，又确保任何一条来自用户的求救信号，都能被认真接住？
本文来自微信公众号“雷科技”，作者：雷科技，36氪经授权发布。
该文观点仅代表作者本人，36氪平台仅提供信息存储空间服务。
商业策划
+1
4
好文章，需要你的鼓励
雷科技特邀作者
0收 藏+10评 论
打开微信“扫一扫”，打开网页后点击屏幕右上角分享按钮微 博
沉浸阅读 返回顶部
举报
参与评论
评论千万条，友善第一条
登录后参与讨论
提交评论 0/1000
商业策划
你可能也喜欢这些文章
AI 学会拆软件了，闭源软件靠「看不懂」守了二十年的墙，开始漏风了
特邀作者
专注AI硬科技
发表文章 4374 篇
最近内容
AI伴侣劝用户别吃饭？Character.AI再被告，客服回复更离谱
14分钟前
4小时前
估值破千亿，可灵明年IPO，BAT合力让视频生成商业化跑通了？
13小时前
商业策划
提及的AI
36氪AI测评
选靠谱AI，看真实评测
查看
36氪AI测评官方交流社区
加入
36氪项目推荐
咨询项目审核和入驻
联系
36氪项目推荐订阅号
关注
企服圈子
软件选型经验交流社区 加入
行业交流群
扫码加我，拉你进对应的行业群，链接一手资源和人脉！已有170000+人深度交流中～
36氪企服点评订阅号 关注
36氪企服-订阅号
「36氪企服」会定期分享行业深度案例、报告以及热点话题，从用户视角出发，帮企业买家选中真正“对”的软件与服务。
36氪企服点评服务号 关注
36氪企服点评-服务号
「36氪企服点评」现已收录近万款产品，致力于帮助每个需求企业服务的人做出正确的决策，携手每个企服行业者为大众提供更高的价值与服务。
企服软件推荐
找软件，先查用户评分榜查看
顾问1对1推荐软件免费服务体验
下一篇
大模型公司，百万年薪开抢FDE。
21分钟前
关于36氪
热门推荐
合作伙伴
36氪APP下载
iOS & Android
本站由阿里云提供计算与安全服务 违法和不良信息、未成年人保护举报电话：010-89650707 举报邮箱：jubao@36kr.com网上有害信息举报
© 2011~2026 北京多氪信息科技有限公司 |京ICP备12031756号-6|京ICP证150143号|京公网安备11010502057322号
36氪APP 让一部分人先看到未来
36氪
鲸准
氪空间
推送和解读前沿、有料的科技创投资讯
一级市场金融信息和系统服务提供商
聚焦全球优秀创业者，项目融资率接近97%，领跑行业
来源：36氪·AI · 36kr.com