LLM2D
可实现回归的最优学习器:PAC 学习与在线学习
Optimal Learners for Realizable Regression: PAC Learning and Online Learning
作者: Idan Attias, Steve Hanneke, Alkis Kalavasis, Amin Karbasi, Grigoris Velegkas
发布日期: 10/4/2024
arXiv ID: oai:arXiv.org:2307.03848v3

摘要

本研究旨在刻画 PAC 学习场景和在线学习场景下可实现回归的统计复杂度。先前的工作已经证明了有限胖碎裂维数对于 PAC 可学习性的充分性,以及有限缩放 Natarajan 维数的必要性,但自 Simon (SICOMP '97) 的工作以来,在更完整的刻画方面进展甚微。为此,我们首先介绍了一种针对可实现回归的极小极大实例最优学习器,并提出了一种新的维数,该维数在定性和定量上都刻画了哪些实值预测器类是可学习的。然后,我们识别了一个与图维数相关的组合维数,该维数刻画了可实现场景下 ERM 可学习性。最后,我们基于与 DS 维数相关的组合维数建立了一个可学习性的必要条件,并推测它在这种情况下也可能是充分的。此外,在在线学习的背景下,我们提供了一个维数,该维数刻画了极小极大实例最优累计损失到一个常数因子,并设计了一个针对可实现回归的最优在线学习器,从而解决了 Daskalakis 和 Golowich 在 STOC '22 中提出的一个开放问题。