LLM2D
MIA-Mind:基于MindSpore的多维度交互注意力机制
MIA-Mind: A Multidimensional Interactive Attention Mechanism Based on MindSpore
作者: Zhenkai Qin, Jiaquan Liang, Qiao Fang
发布日期: 4/29/2025
arXiv ID: oai:arXiv.org:2504.19080v1

摘要

arXiv:2504.19080v1 类型: cross 摘要: 注意机制通过选择性聚焦增强了特征表示,显著提升了深度学习的效果。然而,现有方法往往分别建模通道重要性和空间显著性,忽视了它们的内在关联性,从而限制了其有效性。为了解决这一限制,我们提出了一种基于MindSpore框架的轻量级和模块化的多维互动注意力机制MIA-Mind。MIA-Mind通过统一的交叉注意力融合策略联合建模空间和通道特征,能够在最小的计算开销下实现细粒度的特征重新校准。我们在三个代表性数据集上进行了广泛的实验:在CIFAR-10上,MIA-Mind的准确率为82.9%;在ISBI2012上,其准确率为78.7%;在CIC-IDS2017上,其准确率为91.9%。这些结果验证了MIA-Mind在异构任务中的多样适用性、轻量级设计和泛化能力。未来的工作将探索将MIA-Mind扩展到大规模数据集、开发自适应注意力融合策略,并进行分布式部署,以进一步增强其可扩展性和鲁棒性。