LLM2D
基于规则导向回归检测训练数据中的 unwanted 错误模式的统计测试
Statistically Testing Training Data for Unwanted Error Patterns using Rule-Oriented Regression
作者: Stefan Rass, Martin Dallinger
发布日期: 3/25/2025
arXiv ID: oai:arXiv.org:2503.18497v1

摘要

arXiv:2503.18497v1 类型: cross 摘要:训练人工智能模型的数据只能与该数据的质量一样好。训练数据中存在的偏差传递到机器学习模型的输出是一个已记录和理解的现象,但防止这些不良影响的机制的开发还相对较少。在数据收集过程中使用意识到偏差的采样等确保数据干净的努力,在数据收集实体也训练AI的情况下最有效。当数据已经可用时,我们如何找出数据是否已被操纵,即“中毒”,从而使不希望的行为被训练进机器学习模型中?这是一项与仅仅提高拟合精度或效率不同基础的根本挑战,我们提出了一种方法来测试训练数据中的缺陷,为后续机器学习模型(任何类型)的训练建立可靠的基础事实。不同于利用从数据中生成的模糊规则来近似数据这一已广泛研究的问题,我们的方法依赖于在看到被测试数据之前对规则的先验定义。因此,所提出的方法还可以发现隐藏的错误模式,这些模式也可能产生重大影响。我们的方法扩展了传统统计测试的能力,允许“测试条件”是用于描述数据中模式的任意布尔条件,我们希望确定其是否存在。该方法将模糊推理纳入回归模型,从而结合了模糊逻辑的可解释性和统计性质以及回归的诊断能力,最终也适用于“小数据集”,因此不需要像深度学习方法那样依赖大量数据集。我们提供了一个开源实现来进行演示和实验。