LLM2D
无维度限制的变压器:STP在AI中的应用
On Dimension-Free Transformer: An Application of STP to AI
作者: Daizhan Cheng
发布日期: 4/22/2025
arXiv ID: oai:arXiv.org:2504.14514v1

摘要

arXiv:2504.14514v1 类型: 交叉 摘要: 首次描述了变压器中每一部分的矩阵表达式。基于矩阵的半张量积(STP)重考虑了超向量,并通过投影构建了超向量的线性变换。得到了其性质和计算公式。利用基于投影的超向量变换(PBTH),通过验证变压器中的每一项线性变换并用合适的PBTH替换,提出了维度无关变压器(DFT)的框架,这使得输入和输出可以具有任意维度。利用所有条目均衡的信息,DFT在处理信号方面必须更高效。