LLM2D
离散时间主动推断的持续学习能力及实际应用展示
Demonstrating the Continual Learning Capabilities and Practical Application of Discrete-Time Active Inference
作者: Rithvik Prakki
发布日期: 10/2/2024
arXiv ID: oai:arXiv.org:2410.00240v1

摘要

主动推理是一种用于理解代理(生物或人工)如何与其环境交互的数学框架,它使持续的适应和决策成为可能。它结合了贝叶斯推理和自由能最小化来建模不确定和动态环境中的感知、行动和学习。与强化学习不同,主动推理通过最小化预期自由能来无缝地整合探索和利用。在本文中,我们提出了一个用于在离散时间环境中运行的代理的持续学习框架,该框架以主动推理为基础。我们推导出变分自由能和预期自由能的数学公式,并将它们应用于自学习研究代理的设计。该代理根据新数据更新其信念并调整其行动,无需人工干预。通过在不断变化的环境中进行实验,我们证明了该代理能够高效地重新学习和改进其模型,使其适用于金融和医疗保健等复杂领域。本文最后讨论了所提出的框架如何推广到其他系统,将主动推理定位为一种灵活的自适应 AI 方法。