LLM2D
梯度下降中优化ROC曲线下面积的有效线搜索方法
Efficient line search for optimizing Area Under the ROC Curve in gradient descent
作者: Jadon Fowler, Toby Dylan Hocking
发布日期: 10/14/2024
arXiv ID: oai:arXiv.org:2410.08635v1

摘要

接收者操作特征 (ROC) 曲线在二元分类和变化点检测中非常有用,但难以用于学习,因为曲线下面积 (AUC) 是分段常数(梯度几乎处处为零)。最近,有人提出使用假阳性率和假阴性率的最小值下面积 (AUM) 作为 AUC 的可微替代方案。本文研究了 AUM/AUC 的分段线性/常数性质,并针对优化线性模型时梯度下降的每一步(线搜索),提出了新的高效路径跟踪算法,用于选择最佳学习率。值得注意的是,我们提出的线搜索算法具有与恒定步长梯度下降相同的对数线性渐近时间复杂度,但它计算了 AUM/AUC 作为步长函数的完整表示。在我们对二元分类问题的实证研究中,我们验证了我们提出的算法是快速且精确的;在变化点检测问题中,我们表明该算法与网格搜索一样准确,但速度更快。