摘要
本研究旨在刻画 PAC 学习场景和在线学习场景下可实现回归的统计复杂度。先前的工作已经证明了有限胖碎裂维数对于 PAC 可学习性的充分性,以及有限缩放 Natarajan 维数的必要性,但自 Simon (SICOMP '97) 的工作以来,在更完整的刻画方面进展甚微。为此,我们首先介绍了一种针对可实现回归的极小极大实例最优学习器,并提出了一种新的维数,该维数在定性和定量上都刻画了哪些实值预测器类是可学习的。然后,我们识别了一个与图维数相关的组合维数,该维数刻画了可实现场景下 ERM 可学习性。最后,我们基于与 DS 维数相关的组合维数建立了一个可学习性的必要条件,并推测它在这种情况下也可能是充分的。此外,在在线学习的背景下,我们提供了一个维数,该维数刻画了极小极大实例最优累计损失到一个常数因子,并设计了一个针对可实现回归的最优在线学习器,从而解决了 Daskalakis 和 Golowich 在 STOC '22 中提出的一个开放问题。