情感识别在从医疗保健到人机交互的各个领域都具有重要意义。生理信号不受意志控制，因此可以提供可靠的信息，这与可以随意控制的语音和面部表情不同。它们反映了真实的情感反应，不受意识操纵，从而提高了情感识别系统的可信度。然而，使用深度学习模型的多模态情感识别仍然是一个相对未探索的领域。在本文中，我们介绍了一个具有层次学习结构的完全超复数网络，以完全捕获相关性。具体而言，在编码器级别，模型学习每个输入信号的不同通道之间的模内关系。然后，一个超复数融合模块学习不同模态嵌入之间的模间关系。主要的新颖之处在于，通过赋予编码器参数化的超复数卷积 (PHC) 来利用模内关系，这些卷积得益于超复数代数，可以捕获单一模态内的通道间交互。相反，融合模块包含参数化的超复数乘法 (PHM)，可以模拟模间相关性。所提出的架构在 MAHNOB-HCI 数据集上超越了最先进的情感识别模型，特别是在从脑电图 (EEG) 和外周生理信号中分类情绪效价和唤醒方面。本研究的代码可在 https://github.com/ispamm/MHyEEG 获取。