摘要
在极端资源受限的设备上直接训练机器学习和深度学习模型是微型机器学习领域的下一个挑战。该领域的相关文献非常有限,因为大多数解决方案只关注设备上推理或通过在线学习进行模型自适应,而将训练留给外部云服务。一个有趣的技术视角是利用联邦学习 (FL),它允许多个设备以分布式方式协同训练共享模型。然而,最先进的 FL 算法的主要缺点是它们不适合在小型设备上运行。本文首次在文献中介绍了 TIFeD,这是一种基于 Tiny 整数的联邦学习算法,它采用直接反馈校准 (DFA),完全使用纯整数算术实现,并专门设计用于在内存、计算和能源方面资源有限的设备上运行。除了传统的全网络运行模式(其中 FL 设置中的每个设备都在其自己的本地数据上训练整个神经网络),我们提出了一种创新的单层 TIFeD 实现,它使每个设备能够仅训练神经网络模型的一部分,并为在多个设备之间分配学习过程开辟了一条新途径。实验结果表明了该方案的可行性和有效性。提出的 TIFeD 算法及其全网络和单层实现已作为公共存储库提供给科学界。