LLM2D
在深度学习中推理不一致性和如何减轻它们
Reasoning Inconsistencies and How to Mitigate Them in Deep Learning
作者: Erik Arakelyan
发布日期: 4/4/2025
arXiv ID: oai:arXiv.org:2504.02577v1

摘要

arXiv:2504.02577v1 通知类型: 新 摘要:最近在深度学习模型和方法方面的进步在各种任务和模态中取得了显著的进步。然而,虽然模型的整体能力显示出有希望的增长,但我们对其内部推理过程的理解仍然有限,特别是在系统性不一致或错误模式方面,特别是在逻辑推理或推断错误方面。这些不一致性可能表现为相互矛盾的结果、无法泛化到类似任务或在特定上下文中出现错误结论。即使检测和量化这种推理差异也具有挑战性,因为这些差异可能源自不透明的内部程序、训练数据中的偏差和不平衡,或者任务本身固有的复杂性。在没有有效的方法来检测、量化和缓解这些错误的情况下,存在部署有偏差、可利用或逻辑上不可靠的模型的风险。本文旨在通过提出新的方法来解决这些问题,这些方法可以让深度学习模型在知识图谱、自然语言和图像上进行推理。本文提出了两种技术,用于检测和量化源自自然语言和图像处理模型不透明内部程序的预测不一致性。为了缓解由训练数据偏差引起的不一致性,本文介绍了一种数据效率较高的采样方法,以提高公平性和性能,并提出了一种在资源匮乏场景中生成合成数据集的方法。最后,本文提出了两种技术来优化模型以适应复杂的推理任务。这些方法在提高模型性能的同时,还允许在推断期间更忠实地实现和解释推理。至关重要的是,本文提供了一个全面的框架,以提高深度学习模型在各种任务和模态上的稳健性、公平性和解释性。