arXiv:2504.09689v2 安全公告类型：替换 摘要：LLM 驱动的 AI 角色的兴起引发了安全方面的担忧，特别是对于患有心理障碍的弱势人类用户。为了解决这些风险，我们提出了 EmoAgent，这是一种多智能体 AI 框架，旨在评估和减轻人类与 AI 交互过程中的心理健康风险。EmoAgent 包含两个组件：EmoEval 通过模拟虚拟用户，包括模拟心理脆弱个体的用户，评估与 AI 角色交互前后心理健康的变化。它使用经临床证实的心理学和精神病学评估工具（如 PHQ-9、PDI、PANSS）来评估 LLM 引发的心理风险。EmoGuard 作为中介，监测用户的心理状态，预测潜在的危害，并提供纠正反馈以减轻风险。在流行的基于角色的聊天机器人中进行的实验表明，情感互动可能会导致脆弱用户的心理恶化，超过 34.4% 的模拟结果显示出心理健康状态的恶化。EmoGuard 显著降低了这些恶化率，突显了其在确保更安全的人机交互方面的作用。我们的代码可在以下链接获取：https://github.com/1akaman/EmoAgent