arXiv:2503.22941v1 通报类型: 新 摘要：近年来，大型语言模型（LLMs）的发展导致了自然语言处理（NLP）和计算机视觉领域多模态LLMs（MLLMs）的出现。尽管这些模型允许集成视觉和语言理解，但它们也带来了内部处理不透明和生成幻觉和虚假信息的挑战。因此，需要一种方法来澄清MLLMs中的知识位置。 在这项研究中，我们提出了一种方法，使用基于Transformer的MLLM MiniGPT-4来识别与特定知识相关的神经元。具体来说，我们通过两个阶段提取知识神经元：通过补全进行的激活差异筛选和通过GradCAM进行的梯度筛选。在使用MS COCO 2017数据集进行图像字幕生成任务、BLEU、ROUGE和BERTScore的定量评估以及通过激活热图进行的定性评估中，我们发现我们的方法能够实现比现有方法更高的知识定位精度。 本研究促进了对MLLM中知识的可视化和解释，并展示了未来知识编辑和控制的潜力。