人工智能医疗决策的透明度对于建立人工智能与用户之间的信任至关重要。将推理能力融入大型语言模型 (LLM) 使其能够理解上下文中的情感，处理细微的语言，并推断未言明的情绪。在本研究中，我们针对语音和文本模式引入了新的任务——情感推理，以及我们提出的多模态多任务框架和数据集。情感推理是情感分析中的辅助任务，其中模型根据输入转录预测情感标签并生成其背后的理由。我们对人工转录和自动语音识别 (ASR) 转录进行的研究表明，情感推理通过提供与人类在语义上可比的质量的模型预测理由来帮助提高模型透明度，同时通过理由增强微调来提高模型性能（准确率和宏观 F1 分数均提高 1%）。此外，人类和 ASR 转录生成的理由的语义质量没有显着差异。所有代码、数据（英语翻译和越南语）和模型已在网上发布：https://github.com/leduckhai/MultiMed。