arXiv:2409.07510v4 宣告类型: 替换 摘要: 数据缺失是科学界长期关注的实际挑战。在这篇论文中，我们提出了Shades-of-NULL，一个负责任的数据缺失值插补评估套件。我们的工作有两个创新之处：(i) 我们 modelling 现实且社会相关性高的缺失值场景，不仅超越了 Rubin 的经典完全随机缺失 (MCAR)、随机缺失 (MAR) 和非随机缺失 (MNAR) 设置，还包括了多机制缺失 (当数据中同时存在不同缺失模式时) 和机制转变 (当训练和测试之间缺失机制发生变化时)；(ii) 我们基于插补质量和公平性以及插補后训练和测试模型的预测性能、公平性和稳定性，全面评估插补器。我们使用Shades-of-NULL进行了一项大规模实证研究，涉及29,736个实验管道，并发现虽然不存在适用于所有缺失类型的最佳插补方法，但在缺失场景的组合、插补器选择以及预测模型结构的基础上，预测性能、公平性和稳定性之间会产生有趣的权衡。我们公开发布了Shades-of-NULL，以便研究人员能够在合理且社会意义上具有重要意义的场景中，使用广泛的标准严格评估数据缺失值插补方法。