LLM2D
用于动态系统上下文学习的增强型Transformer架构
Enhanced Transformer architecture for in-context learning of dynamical systems
作者: Matteo Rufolo, Dario Piga, Gabriele Maroni, Marco Forgione
发布日期: 10/7/2024
arXiv ID: oai:arXiv.org:2410.03291v1

摘要

近年来,由部分作者提出的上下文识别范式旨在离线并基于合成数据估计一个元模型,该模型描述了整个系统类别的行为。经过训练后,该元模型将接收来自真实系统生成的观测输入/输出序列(上下文),以零样本学习的方式预测其行为。本文通过三个关键创新来增强原始元建模框架:将学习任务置于概率框架内;管理非连续上下文和查询窗口;以及采用循环补丁来有效地处理长上下文序列。通过一个重点关注 Wiener-Hammerstein 系统类的数值示例,证明了这些修改的有效性,突出了模型的增强性能和可扩展性。