LLM2D
基于自监督预训练和定制微调的Transformer智能车道渲染异常检测
Intelligent Anomaly Detection for Lane Rendering Using Transformer with Self-Supervised Pre-Training and Customized Fine-Tuning
作者: Yongqi Dong, Xingmin Lu, Ruohan Li, Wei Song, Bart van Arem, Haneen Farah
发布日期: 11/26/2024
arXiv ID: oai:arXiv.org:2312.04398v3

摘要

基于数字地图的导航服务蓬勃发展,为驾驶员带来了极大的便利。然而,车道渲染地图图像中异常的存在偶尔会带来潜在的危险,因为这些异常可能会误导驾驶员,从而导致不安全的驾驶状况。为了准确有效地检测这些异常,本文将车道渲染图像异常检测转化为一个分类问题,并提出一个由四个阶段组成的流程:数据预处理、使用掩码图像建模 (MiM) 方法进行的自监督预训练、使用带标签平滑的交叉熵损失进行的定制微调以及后处理。该流程利用最先进的深度学习技术,特别是 Transformer 模型来解决这个问题。各种实验验证了该流程的有效性。结果表明,该流程在车道渲染图像异常检测方面表现出优越的性能,值得注意的是,使用 MiM 进行的自监督预训练可以大大提高检测精度,同时显著减少总训练时间。例如,使用均匀掩码作为自监督预训练的 Swin Transformer (Swin-Trans-UM) 达到了 94.77% 的精度和 0.9743 的曲线下面积 (AUC) 分数,而未进行预训练的纯 Swin Transformer (Swin-Trans) 精度为 94.01%,AUC 为 0.9498。微调轮数从原来的 280 轮大幅减少到 41 轮。总之,该流程结合了使用 MiM 的自监督预训练和其他先进的深度学习技术,成为提高数字导航系统中车道渲染图像异常检测的准确性和效率的强大解决方案。