LLM2D
修正、推理和识别:基于大型语言模型的情感识别方法,通过情感特定提示和自动语音识别错误修正
Revise, Reason, and Recognize: LLM-Based Emotion Recognition via Emotion-Specific Prompts and ASR Error Correction
发布日期: 9/25/2024
arXiv ID: oai:arXiv.org:2409.15551v1

摘要

利用提示工程进行语音情感标注和识别是近年来随着大型语言模型 (LLM) 的发展而兴起的,但其有效性和可靠性仍存在疑问。本文对此进行了系统研究,首先提出了包含声学、语言学和心理学情感特定知识的新型提示。随后,我们检验了基于 LLM 的提示对自动语音识别 (ASR) 转录的有效性,并将其与真实转录进行对比。此外,我们提出了一种“修正-推理-识别”提示管道,用于从带有 ASR 错误的口语中进行鲁棒的基于 LLM 的情感识别。此外,还进行了上下文感知学习、情境学习和指令微调实验,以检验 LLM 训练方案在该方向上的实用性。最后,我们研究了 LLM 对微小提示变化的敏感性。实验结果证明了情感特定提示、ASR 错误校正和 LLM 训练方案对基于 LLM 的情感识别的有效性。我们的研究旨在改进 LLM 在情感识别及相关领域的应用。