LLM2D
合成表格数据的基准测试:一个多维度评估框架
Benchmarking Synthetic Tabular Data: A Multi-Dimensional Evaluation Framework
作者: Andrey Sidorenko, Michael Platzer, Mario Scriminaci, Paul Tiwald
发布日期: 4/3/2025
arXiv ID: oai:arXiv.org:2504.01908v1

摘要

arXiv:2504.01908v1 交叉类型: 摘要:评估合成数据的质量仍然是确保数据驱动研究中隐私和效用的关键挑战。在这项工作中,我们提出了一种评估框架,该框架量度合成数据如何准确复制原始分布属性的同时确保隐私。提出的途径采用了一种基于保留样本的基准策略,通过低维和高维分布比较、基于嵌入的相似性度量以及最近邻距离度量,实现定量评估。该框架支持各种数据类型和结构,包括序列和上下文信息,并通过一组标准化指标使质量诊断具有可解释性。这些贡献旨在支持合成数据生成技术基准测试中的可重复性和方法论一致性。该框架的代码可在 https://github.com/mostly-ai/mostlyai-qa 获取。