arXiv:2502.04419v2 类型: 交叉 摘要：通过大型语言模型（LLMs）本身生成合成数据集已成为提高LLM性能的一种有前途的方法。然而，LLMs 固有地反映其训练数据中存在的偏差，导致一个关键挑战：当这些模型生成用于训练的合成数据时，它们可能会传播和放大其固有的偏差，这会显著影响下游任务中模型的公平性和稳健性——我们称这种现象为偏差继承。本文介绍了首次系统性地研究、分析和缓解偏差继承的方法。我们通过使用原始数据和LLM增强数据的组合数据集微调LLMs，其中偏差比例代表增强数据的比例，来研究这个问题。通过在10项分类和生成任务中进行系统的实验，我们分析了在不同偏差比例下6种不同类型偏差的表现。我们的结果揭示了偏差继承对下游任务的影响是复杂多样的，影响分类任务和生成任务的方式不同。然后，我们的分析确定了三个关键的对齐偏差因素：价值对齐偏差、群组数据对齐偏差和数据分布对齐偏差。基于这些见解，我们提出了三种缓解策略：基于令牌、基于掩码和基于损失的方法。实验表明，这些策略在各种任务和偏差上表现不同，表明完全缓解偏差继承存在重大挑战。我们希望这项工作能为LLM数据增强的研究提供有价值的见解。