LLM2D
Home
Arxiv
返回列表
闪电 STU:快速光谱变换单元
Flash STU: Fast Spectral Transform Units
发布日期:
9/24/2024
arXiv ID:
oai:arXiv.org:2409.10489v3
摘要
该论文描述了一种高效的、开源的PyTorch实现的频谱变换单元。我们研究了包括语言、机器人和模拟动态系统在内的多种模式下的序列预测任务。我们发现,在相同的参数数量下,频谱变换单元及其变体在各类模式下的表现优于Transformer以及其他领先的状态空间模型。
查看原文
下载 PDF