LLM2D
Home
Arxiv
返回列表
熵、集中度和学习:统计力学入门
Entropy, concentration, and learning: a statistical mechanics primer
作者:
Akshay Balsubramani
发布日期:
9/30/2024
arXiv ID:
oai:arXiv.org:2409.18630v1
摘要
通过损失最小化训练的人工智能模型已经取得了显著成功,其基础是信息论和统计物理学等领域的原理。本文从第一性原理的样本集中行为入手,通过统计力学的视角探索这些已建立的联系,这些行为是 AI 和机器学习的基础。我们对统计力学建模的开发突出了指数族、统计量、物理量和信息论的关键作用。
查看原文
下载 PDF