arXiv:2504.09689v1 宣布类型: 新 摘要: LLM 驱动的AI角色的兴起引发了安全方面的 concerns，特别是对于患有心理疾病的心理脆弱人类用户。为了解决这些风险，我们提出了EmoAgent，这是一种多智能体AI框架，旨在评估和减轻人类与AI互动中的心理健康风险。EmoAgent 包含两个组件：EmoEval模拟虚拟用户，包括模拟心理脆弱个体的用户，以评估与AI角色互动前后的心理健康变化。它使用临床验证的心理和精神科评估工具（PHQ-9、PDI、PANSS）来评估由LLM引发的心理风险。EmoGuard 作为中间人，监测用户的心理健康状况，预测潜在的危害，并提供纠正反馈以减轻风险。在流行的基于角色的聊天机器人中进行的实验显示，情感上吸引人的对话可能导致心理脆弱用户的心理恶化，在超过34.4%的模拟中观察到心理健康状况恶化。EmoGuard 显著降低了这些恶化率，突显了其在确保更安全的人机互动方面的角色。我们的代码可从以下链接获取：https://github.com/1akaman/EmoAgent