LLM2D
熵、集中度和学习:统计力学入门
Entropy, concentration, and learning: a statistical mechanics primer
作者: Akshay Balsubramani
发布日期: 9/30/2024
arXiv ID: oai:arXiv.org:2409.18630v1

摘要

通过损失最小化训练的人工智能模型已经取得了显著成功,其基础是信息论和统计物理学等领域的原理。本文从第一性原理的样本集中行为入手,通过统计力学的视角探索这些已建立的联系,这些行为是 AI 和机器学习的基础。我们对统计力学建模的开发突出了指数族、统计量、物理量和信息论的关键作用。