摘要
arXiv:2504.07540v2 宣告类型: replace-cross
摘要: 我们提出了一种称为梯度优化证明 (PoGO) 的设计,用于区块链共识,矿工生成可验证的大规模机器学习模型训练证据。在此基础上,我们将量化的梯度(4 位精度)纳入其中,以减少存储和计算需求,同时仍然保持验证者能够检查模型损失是否真正降低的能力。此外,我们还利用完整的 32 位模型上的默克尔证明来处理大规模参数集,并通过最少的链上数据启用随机叶节点检查。我们使用 GPT-3(1750 亿参数)作为参考示例,并提到了较小但高性能的模型(例如,Gemma~3,具有 270 亿参数)。我们提供了一项经验成本分析,显示验证比训练便宜得多,部分原因是量化和采样。我们还讨论了在引入有意义的训练步骤时需要更长的区块时间(可能为数小时)、使用专用 GPU 硬件时的权衡以及二进制差异如何逐步优化更新。最后,我们注意到微调可以通过类似方式进行处理,只需更改数据集和采样的方式,但保留总体验证流程。我们的协议允许验证者发出正面或负面的证实;这些在最终确定时会被聚合,以确认更新或制裁矿工。