多模态关键信息提取（KIE）模型在半结构化文档上的研究已经非常广泛。然而，它们在非结构化文档上的研究是一个新兴的研究课题。本文提出了一种方法，通过引入BiLSTM-CRF层，将多模态变压器（即之前在半结构化文档上探索的ViBERTgrid）适应于非结构化金融文档。所提出的ViBERTgrid BiLSTM-CRF模型在金融领域非结构化文档的命名实体识别性能上显示出显著的改进（高达2个百分点），同时在半结构化文档的KIE性能上保持不变。作为额外的贡献，我们公开发布了SROIE数据集的token级注释，以铺平其在多模态序列标注模型中的使用道路。