LLM2D
FAIIR:朝着为青年心理健康服务提供构建对话式AI代理助理
FAIIR: Building Toward A Conversational AI Agent Assistant for Youth Mental Health Service Provision
作者: Stephen Obadinma, Alia Lachana, Maia Norman, Jocelyn Rankin, Joanna Yu, Xiaodan Zhu, Darren Mastropaolo, Deval Pandya, Roxana Sultan, Elham Dolatabadi
发布日期: 2/13/2025
arXiv ID: oai:arXiv.org:2405.18553v4

摘要

arXiv:2405.18553v4 声明类型:替换 摘要:世界各国的医疗保健系统和心理健康机构面临着日益增长的对青少年心理健康服务的需求,同时又面临着资源有限的挑战。在这里,我们关注前线危机支持领域,其中危机响应者(CRs)参与青少年心理健康支持的对话,并为每个对话分配一个议题标签。在这项研究中,我们开发了FAIIR(前线助手:问题识别与推荐),这是一种先进的工具,利用了一种综合的领域适应和微调变换器模型,这些模型是在包含780,000个对话的大规模对话数据集上训练的。主要目标是减轻CRs的认知负担,提高问题识别的准确性,并简化会话后的行政任务。我们对FAIIR进行了回顾性和前瞻性对话的评估,强调了循环中的人类参与设计,其中包括积极的CR参与以改进模型、建立共识并进行全面评估。我们的结果显示,FAIIR在回顾性测试集上的平均AUC-ROC为94%,平均F1分数为64%,平均召回率为81%。我们还在静默测试阶段展示了FAIIR工具的稳健性和普遍适用性,所有性能指标的下降幅度不到2%。值得注意的是,CRs的回应与FAIIR的预测总体一致率为90.9%。此外,专家与FAIIR的一致性超过了他们对原始标签的一致性。总之,我们的研究结果表明,帮助识别相关问题有助于减轻CRs的负担,确保在需要立即化解情况时可以提供适当的资源,并进行有效的救援和强制报告。