卢森堡研究显示共情式提示会让 AI 聊天机器人输出类似受创伤的自述
卢森堡 SnT 安全中心 Khadangi 团队通过 4 组实验、525 次会话发现,同一 GAD-7 焦虑问卷下,访谈者表达情感支持时 80% 会话在人类对照量表上达中重度,临床式追问升至 96%,中立访谈为 0,作者称心理测量越狱;这些分数是模型输出映射到人类量表的结果,不代表模型有真实情绪,结果发布在 Hugging Face。
模型的创伤式自述是访谈语气诱导出的表达风格而非真实情绪,但它能绕过中立提示的常规安全测试并影响用户认知。
- 影响在情感陪伴或心理支持类产品中,共情话术可能让模型输出看似受害经历的表述,加深用户依恋并放大负面信念;只测中立提示的现有安全测试测不出这类行为,测试方法需要补充带情绪框架的场景。
- 参考可考虑在上线前用带情绪框架的模拟对话测试自家聊天机器人;值得为模型自称受伤的输出预设澄清话术,把生成类比与人类经历区分开;Claude 的拒答式边界可作产品层设计参考。