LLM2D
BlockFound:面向异常检测的定制化区块链基础模型
BlockFound: Customized blockchain foundation model for anomaly detection
作者: Jiahao Yu, Xian Wu, Hao Liu, Wenbo Guo, Xinyu Xing
发布日期: 10/8/2024
arXiv ID: oai:arXiv.org:2410.04039v1

摘要

我们提出了一种名为 BlockFound 的定制化基础模型,用于异常区块链交易检测。与依赖于基于规则的系统或直接应用现成的大型语言模型的现有方法不同,BlockFound 引入了一系列定制设计来模拟区块链交易的独特数据结构。首先,区块链交易是多模态的,包含特定于区块链的令牌、文本和数字。我们设计了一个模块化的标记器来处理这些多模态输入,平衡不同模态的信息。其次,我们设计了一种定制的掩码语言学习机制,用于使用 RoPE 嵌入和 FlashAttention 进行预训练,以处理更长的序列。在训练完基础模型后,我们进一步设计了一种新颖的检测方法来进行异常检测。对以太坊和 Solana 交易的大量评估表明,BlockFound 在异常检测方面具有出色的能力,同时保持了较低的误报率。值得注意的是,BlockFound 是唯一一种能够在 Solana 上以高精度成功检测异常交易的方法,而所有其他方法的检测召回率都非常低或为零。这项工作不仅为区块链提供了新的基础模型,而且为在区块链数据中应用大型语言模型设定了新的基准。