LLM2D
Swift Sampler:仅用 10 个参数高效学习采样器
Swift Sampler: Efficient Learning of Sampler by 10 Parameters
作者: Jiawei Yao, Chuming Li, Canran Xiao
发布日期: 10/10/2024
arXiv ID: oai:arXiv.org:2410.05578v1

摘要

数据选择对于训练深度学习模型至关重要。一个有效的数据采样器为训练数据分配适当的采样概率,帮助模型收敛到具有高性能的良好局部最小值。以往关于数据采样的研究主要基于启发式规则或通过大量耗时的试验进行学习。本文提出了一种自动 **快速采样器** 搜索算法 **SS**,以高效地探索自动学习有效采样器。特别是,**SS** 利用一种新颖的公式将采样器映射到一个低维超参数空间,并使用一个近似的局部最小值来快速评估采样器的质量。得益于其低计算成本,**SS** 可以高效地应用于大规模数据集。在各种任务上的综合实验表明,**SS** 驱动的采样可以实现显著的改进(例如,在 ImageNet 上提高 1.5%)并在不同的神经网络之间进行迁移。项目页面:https://github.com/Alexander-Yao/Swift-Sampler.