LLM2D
测量正确的东西:在AI影响评估中验证指标
Measuring the right thing: justifying metrics in AI impact assessments
作者: Stefan Buijsman, Herman Veluwenkamp
发布日期: 4/8/2025
arXiv ID: oai:arXiv.org:2504.05007v1

摘要

arXiv:2504.05007v1 Announce Type: cross 摘要:AI影响评估仅如其所使用的测量指标一样好。因此,在这类评估中我们能够合理说明我们选择的指标非常关键,特别是在难以量化的伦理和社会价值方面。我们提出了一种两步方法以确保指标能够得到充分的动机说明。首先,需要明确概念(例如罗尔斯正义或团结中的正义),然后可以根据该概念来选择指标。这两个步骤都需要独立的说明,因为概念可以根据其如何适合公平等功能来评判。我们认为概念工程为此步骤提供了有用的工具。其次,指标需要根据概念来选择。我们通过检查竞争的公平度量指标来说明这一过程,展示了概念所提供的额外内容如何帮助我们为特定指标的选择提供正当理由。因此,我们主张影响评估不仅需要清晰说明其指标,也需要说明那些促使这些指标的概念。