LLM2D
在多类设置中学会帮助
Learning to Help in Multi-Class Settings
作者: Yu Wu, Yansong Li, Zeyu Dong, Nitya Sathyavageeswaran, Anand D. Sarwate
发布日期: 4/18/2025
arXiv ID: oai:arXiv.org:2501.13810v2

摘要

arXiv:2501.13810v2 宣布类型: 替换交叉 摘要:在资源受限设备上部署复杂的机器学习模型具有挑战性,因为受限于计算能力、内存和模型重新训练的能力。为了解决这些限制,可以通过在本地模型中增加服务器端模型来建立一个混合系统,其中拒识器(rejection model)选择性地推迟样本的处理,并将这些样本发送到服务器进行处理。混合系统可以在利用计算资源的同时,尽量减少服务器使用相关的开销。最近提出的 Learning to Help (L2H) 模型在固定本地(客户端)模型的条件下训练服务器模型,与 Training to Defer (L2D) 框架不同,后者训练客户端以适应固定(专家)服务器。在 L2D 和 L2H 中,训练包括在客户端学习一个拒识器(rejection model),以确定何时查询服务器。在本文中,我们将 L2H 模型从二元分类扩展至多分类问题,并在服务器访问受限的多种实际场景中演示其适用性,这些限制可能由成本、可用性或政策引起。我们推导出一个可微、凸且与 L2H 模型对应的 0-1 损失的 Bayes 规则一致的阶段切换代理损失函数。实验结果表明,我们提出的方法为资源受限环境下的多分类问题提供了一个有效且实用的解决方案。