LLM2D
基于事件模板和关键参数的无监督日志异常检测方法TPLogAD
TPLogAD: Unsupervised Log Anomaly Detection Based on Event Templates and Key Parameters
作者: Jiawei Lu, Chengrong Wu
发布日期: 11/26/2024
arXiv ID: oai:arXiv.org:2411.15250v1

摘要

日志系统是记录Web服务系统运行状态和事件的重要机制,而日志异常检测是检测问题的一种有效方法。然而,人工日志异常检测效率低下、容易出错且不切实际。现有的日志异常检测方法要么使用事件模板的索引,要么将模板的固定字符串部分嵌入为句子来形成向量,要么使用时间参数进行序列分析。然而,日志条目通常包含这些方法无法完全表示的特征和语义信息,导致漏报和误报。本文提出了一种通用的无监督的非结构化日志分析方法TPLogAD,该方法基于事件模板和关键参数进行异常检测。TPLogAD中包含的itemplate2vec和para2vec是两种高效易实现的日志语义表示方法,分别用于检测事件模板和参数中的异常,这在以往的工作中尚未实现。此外,TPLogAD可以避免日志多样性和动态性对异常检测的干扰。我们在四个公共日志数据集上的实验表明,TPLogAD优于现有的日志异常检测方法。