在医疗保健中，人工智能决策的透明度至关重要，因为错误会带来严重后果，这对于在情感分析任务中建立人工智能与用户之间的信任至关重要。将推理能力纳入大型语言模型 (LLM) 有助于其理解更广泛语境中的人类情感，处理细微和含糊的语言，并推断可能未明确表达的潜在情感。在这项工作中，我们针对语音和文本两种模态引入了一项新任务——情感推理，并提出了我们提出的多模态多任务框架和数据集。我们的研究表明，基于推理的训练增强了模型在人类转录和自动语音识别 (ASR) 设置下的情感分类性能。此外，我们发现生成的推理通常表现出与人类生成的推理不同的词汇，但保持相似的语义。所有代码、数据（英语翻译和越南语）和模型已在线发布：https://github.com/leduckhai/MultiMed。