arXiv:2504.12330v1 宣告类型：交叉 摘要：尽管检索增强生成（RAG）通过外部知识增强了大型语言模型（LLMs），但传统的单一代理RAG在解决复杂查询时仍从根本上受限于跨异构数据生态系统的协调推理需求。我们提出了HM-RAG，这是一种新颖的分层多代理多模态RAG框架，开创了在结构化、非结构化和图基数据中动态知识合成方面的协作智能。该框架由三层架构组成，包含专门的代理：分解代理，通过语义感知的查询重写和基于模式的语境扩充，将复杂查询分解为上下文相干的子任务；多源检索代理，使用可插拔模块在向量、图和基于Web的数据库中进行并行的、模态特定的检索；以及决策代理，使用一致性投票整合多源答案，并通过专家模型精炼解决检索结果中的不一致性。该架构通过结合文本、图关系和Web提取的证据，实现了全面的查询理解，相比基线RAG系统在ScienceQA和CrisisMMD基准上提高了答案准确率12.95%和问题分类准确率3.56%。值得注意的是，HM-RAG在两个数据集的零样本设置中均建立了最先进的结果。其模块化架构确保了新数据模态的无缝集成，同时保持严格的数据治理，标志着在RAG系统中解决多模态推理和知识合成关键挑战方面取得了显著进展。代码可在https://github.com/ocean-luna/HMRAG获取。