银行交易流（BTF）是多种银行活动（如营销、信用风险或银行欺诈）中发现的顺序数据。它是一种由三种模态组成的多模态数据：日期、数值和文字。在本工作中，我们提出了一种将自注意力机制应用于BTF处理的方法。我们利用大量BTF以自监督的方式训练了两种通用模型：一种基于RNN的模型和一种基于Transformer的模型。我们提出了一种特定的分词方法，以便能够处理BTF。评估了这两个模型在两个银行下游任务上的性能：交易分类任务和信用风险任务。结果表明，微调这两个预训练模型能够在两个任务上都比现有技术方法表现更好。