arXiv:2504.09689v3 安全公告类型: 替换 摘要：以大规模语言模型 (LLM) 为驱动力的AI角色的兴起引发了安全方面的担忧，尤其是对于那些患有心理障碍的易受伤害的人类用户。为应对这些风险，我们提出了EmoAgent，这是一种多智能体AI框架，旨在评估和减轻人类与AI交互过程中的心理健康风险。EmoAgent包括两个组成部分：EmoEval模拟虚拟用户，包括那些模拟心理健康脆弱个体的用户，以评估在与AI角色交互前后的情绪变化。它使用临床证明的心理学和精神病学评估工具（PHQ-9、PDI、PANSS）来评估由LLM引起的心理健康风险。EmoGuard作为中介，监控用户的情绪状态，预测潜在的危害，并提供矫正反馈以减轻风险。在流行的基于角色的聊天机器人中进行的实验表明，情感参与的对话可能会导致易受伤害用户的心理恶化，在超过34.4%的模拟中，心理状态有所恶化。EmoGuard显著降低了这些恶化率，突显了其在确保更安全的AI-人交互方面的作用。我们的代码可以在以下链接找到：https://github.com/1akaman/EmoAgent