摘要
针对移动应用(如自动驾驶和增强现实)在不断变化的环境中提供无缝用户体验,在设备上适应持续的、不可预测的领域变化至关重要。测试时自适应 (TTA) 通过在预测之前立即使用未标记的实时数据调整模型参数,成为一种很有前景的解决方案。然而,TTA 独特的正向-反向-再正向管道显着增加了与标准推理相比的延迟,从而削弱了时间敏感的移动应用程序的响应能力。本文提出了 AdaShadow,这是一种响应式测试时自适应框架,用于通过选择性更新适应性关键层来适应非平稳的移动数据分布和资源动态。虽然这种策略在通用的设备上训练中得到认可,但 TTA 的无监督和在线上下文在估计层重要性和延迟,以及调度最佳层更新计划方面提出了独特的挑战。AdaShadow 通过一种无反向传播评估器来快速识别关键层,一种基于单元的运行时预测器来考虑延迟估计中的资源动态,以及一种在线调度器来快速进行层更新计划,来应对这些挑战。此外,AdaShadow 还整合了一种内存 I/O 意识计算重用方案,以进一步减少再正向过程中的延迟。结果表明,AdaShadow 在持续变化的情况下实现了最佳的准确性-延迟平衡。在低内存和能量成本下,Adashadow 比最先进的 TTA 方法快 2 倍到 3.5 倍(毫秒级),同时保持了相当的准确性,并且比具有类似延迟的有效监督方法提高了 14.8% 到 25.4% 的准确性。