摘要
机器学习研究的空前速度带来了令人难以置信的进步,但也带来了巨大的挑战。目前,该领域缺乏坚实的理论基础,许多重要成就源于难以在原则上证明的随意设计选择,其有效性往往无法解释。研究债务正在增加,许多论文被发现无法复制。
本论文是对试图从范畴论角度研究机器学习的一些最新工作的综述。范畴论是抽象数学的一个分支,已在许多领域(包括数学领域内外)找到了成功的应用。作为数学和科学的通用语言,范畴论或许能够为机器学习领域提供一个统一的结构。这可以解决上述一些问题。
在这项工作中,我们主要关注范畴论在深度学习中的应用。具体来说,我们讨论了使用范畴光学来建模基于梯度的学习,使用范畴代数和积分变换来将经典计算机科学与神经网络联系起来,使用函子来连接不同的抽象层并保留结构,最后,使用字符串图来提供神经网络架构的详细表示。