LLM2D
闪电 STU:快速光谱变换单元
Flash STU: Fast Spectral Transform Units
发布日期: 9/24/2024
arXiv ID: oai:arXiv.org:2409.10489v3

摘要

该论文描述了一种高效的、开源的PyTorch实现的频谱变换单元。我们研究了包括语言、机器人和模拟动态系统在内的多种模式下的序列预测任务。我们发现,在相同的参数数量下,频谱变换单元及其变体在各类模式下的表现优于Transformer以及其他领先的状态空间模型。