LLM2D
基于大型语言模型的文本社区安全报告中情感支持传递的改进
Improving Emotional Support Delivery in Text-Based Community Safety Reporting Using Large Language Models
发布日期: 9/25/2024
arXiv ID: oai:arXiv.org:2409.15706v1

摘要

在事件报告期间,情绪支持是社区成员与警察调度员之间沟通的关键方面。然而,对于如何通过基于文本的系统提供情绪支持,尤其是在各种非紧急情况下,人们缺乏了解。在这项研究中,我们分析了两年的聊天记录,包括来自 130 家高等教育机构的 8,239 起事件中的 57,114 条消息。我们的实证研究发现,调度员提供的情绪支持存在显著差异,受事件类型、服务时间的影响,并且在多个组织中随着时间的推移,支持明显下降。为了提高情绪支持的一致性和质量,我们开发并实施了一个名为 dispatcherLLM 的微调大型语言模型 (LLM)。我们通过将 dispatcherLLM 生成的回复与人类调度员和其他现成模型使用真实聊天消息生成的回复进行比较来评估 dispatcherLLM。此外,我们进行了人工评估,以评估 dispatcherLLM 提供的支持的感知有效性。这项研究不仅为基于文本的调度系统中的情绪支持提供了新的实证理解,而且还证明了生成式人工智能在改善服务交付方面的巨大潜力。