LLM2D
从像素到文字:通过交互式自然语言处理利用人脸识别中的可解释性
From Pixels to Words: Leveraging Explainability in Face Recognition through Interactive Natural Language Processing
发布日期: 9/25/2024
arXiv ID: oai:arXiv.org:2409.16089v1

摘要

随着深度学习的发展,人脸识别(FR)技术取得了显著进步,在多个应用中实现了高精度。然而,这些系统的缺乏可解释性引发了对其问责制、公平性和可靠性的担忧。在本研究中,我们提出了一种交互式框架,通过结合模型无关的可解释人工智能(XAI)和自然语言处理(NLP)技术来增强FR模型的可解释性。该框架能够通过交互式聊天机器人准确地回答用户的各种问题。特别是,我们提出的方法生成的解释以自然语言文本和可视化表示的形式呈现,例如,可以描述不同的面部区域如何影响两个面部之间的相似性度量。这是通过自动分析人脸图像输出的显著性热图和BERT问答模型来实现的,为用户提供了一个界面,方便他们全面了解FR决策。该方法是交互式的,允许用户根据自己的背景知识提出问题以获取更精确的信息。更重要的是,与之前的研究相比,我们的解决方案不会降低人脸识别性能。我们通过不同的实验验证了该方法的有效性,突出了其在使FR系统更具可解释性和用户友好性方面的潜力,尤其是在决策透明度至关重要的敏感应用中。