摘要
arXiv:2503.18958v1 声明类型: 新
摘要: 近年来,深度学习取得了迅速进展,使我们更接近通用人工智能(AGI)的实现。概率建模是这些进展的关键,为捕捉数据分布提供了基础框架。然而,随着AI应用规模和复杂性的增长,传统概率建模面临着越来越大的挑战,如高维参数空间、异构数据源以及不断演变的实际需求,常常使得经典方法缺乏足够的灵活性。
本文提出了一种新的概念——概率工程,将深度学习中已经学习到的概率分布视为工程产物。我们不仅适配或推断分布,还积极修改和强化这些分布,以更好地满足现代AI多样性且不断变化的需求。具体而言,概率工程引入了新型技术和约束条件,以改进现有概率分布,提高其鲁棒性、效率、适应性或可靠性。
我们通过一系列应用展示了这一范式,涵盖了贝叶斯深度学习、边缘AI(包括联邦学习和知识蒸馏)以及生成AI(如扩散模型中的图文生成以及大规模语言模型中的高质量文本生成)。这些案例研究展示了如何将原本被视为静态对象的概率分布工程化,以满足大规模、数据密集且可信的AI系统的需求。通过系统地扩展和加强概率建模的作用,概率工程为当今快速发展的AI时代提供了更稳健、适应性强、高效且可信的深度学习解决方案。