LLM2D
PoGO:通过量化梯度下降和Merkle证明实现的可扩展有用工作证明
PoGO: A Scalable Proof of Useful Work via Quantized Gradient Descent and Merkle Proofs
作者: Jos\'e I. Orlicki
发布日期: 4/11/2025
arXiv ID: oai:arXiv.org:2504.07540v1

摘要

arXiv:2504.07540v1 共识类型: cross 摘要:我们提出了一种名为\emph{梯度优化证明}(PoGO)的设计,用于区块链共识,其中矿工生成大规模机器学习模型训练的可验证证据。在之前工作的基础上,我们引入了\emph{量化梯度}(4位精度)以减少存储和计算需求,同时仍然保持验证者能够检查模型损失已成功降低的能力。此外,我们使用具有全32位模型的Merkle证明来处理大型参数集,并允许具有最少链上数据的随机叶节点检查。我们使用GPT-3(1750亿参数)作为参考示例,并提及较小但高性能的模型(例如具有270亿参数的\emph{Gemma~3})。我们提供了经验成本分析,显示验证的成本比训练显著低,部分归因于量化和采样。我们还讨论了在引入有意义的训练步骤时延长区块时间(可能是数小时)的必要性,使用专用GPU硬件时的权衡取舍,以及如何逐步优化更新。最后,我们指出微调可以以类似的方式处理,仅需更改数据集和采样的方式,但保持整体验证流程不变。我们的协议允许验证者发出\emph{正向}或\emph{负向}证明;这些在最终化时被聚合,以确认更新或处罚矿工。