LLM2D
扩展连续潜在变量模型为概率积分电路
Scaling Continuous Latent Variable Models as Probabilistic Integral Circuits
作者: Gennaro Gala, Cassio de Campos, Antonio Vergari, Erik Quaeghebeur
发布日期: 2/6/2025
arXiv ID: oai:arXiv.org:2406.06494v2

摘要

arXiv:2406.06494v2 宣告类型: 替换-交叉 摘要: 概率积分电路(PICs) recently被引入作为具有表征生成模型关键成分的概率模型:连续潜在变量(LVs)。PICs是符号计算图,定义了一类层次函数的连续LV模型,这些函数可以通过求和、乘法或在某些LVs上进行积分。如果可以对LVs进行解析积分,PICs是可以计算的;否则,可以通过编码递归数值积分过程的可计算概率电路(QPCs),近似计算它们。 到目前为止,只探索了树形结构的PICs,通过数值积分训练它们需要在大规模处理中进行内存密集型处理。在这篇论文中,我们解决了这些问题,并提出了:(i) 一种构建DAG形PICs的流水线,基于任意变量分解,(ii) 使用张量化电路架构训练PICs的程序,和(iii) 神经函数共享技术,以实现可扩展的训练。在广泛实验中,我们展示了函数共享的有效性,并展示了QPCs在传统PCs上的优越性。