arXiv:2505.07870v1 交叉类型：公告 摘要：大型语言模型（LLMs）正越来越多地被应用于各种应用中，引发了对其输出中的公平性和潜在偏差的关键担忧。本文探讨了在元形变测试中优先考虑元形变关系（MRs）作为一种策略，以有效检测LLMs中的公平性问题。考虑到可能的测试用例数量呈指数增长，彻底测试是不切实际的；因此，基于其在检测公平性违规方面的有效性来优先考虑MRs至关重要。我们采用基于句子多样性的方法来计算和排名MRs，以优化故障检测。实验结果表明，与随机优先考虑相比，我们的提出的优先考虑方法可以提高22%的故障检测率，与基于距离的优先考虑相比，可以提高12%的故障检测率，同时减少首次失败所需时间15%和8%。此外，我们的方法在有效性上与基于故障的优先考虑相差不到5%，但在计算成本方面显著降低与故障标签相关的成本。这些结果验证了基于多样性的MR优先考虑在提高LLMs公平性测试的有效性方面的有效性。