arXiv:2409.01909v2 宣布类型: 替换-交叉 摘要：日志在提供系统监控和故障排除所需的关键信息方面发挥着重要作用。最近，随着预训练语言模型（PLMs）和大规模语言模型（LLMs）在自然语言处理（NLP）领域的成功，即使是在资源有限的情况下，较小的PLMs（如BERT）和LLMs（如GPT-4）已成为当前主流的日志分析方法。尽管LLMs具备显著的能力，但它们的高昂成本和低效推理限制了充分发挥LLMs潜力进行日志分析。相比之下，即使在计算资源有限的情况下，较小的PLMs也可以通过微调适应特定任务，使其更具实用性。然而，较小的PLMs由于其有限的专家知识，在全面理解日志方面面临挑战。为了解决缺乏专家知识的问题并增强较小PLMs的日志理解能力，本文提出了一种新颖且实用的知识增强框架，称为LUK，该框架能够自动从LLMs中获取专家知识，然后利用这些专家知识增强较小PLMs以进行日志分析。LUK可以充分利用两种类型模型的优势。具体而言，我们基于具有不同角色的LLMs设计了一种多专家合作框架，以获取专家知识。此外，我们提出了两种新型预训练任务，以利用专家知识增强日志预训练。LUK在不同日志分析任务上取得了当前最佳结果，并且广泛的实验表明，可以从LLMs中更有效地利用专家知识来理解日志。我们的源代码和详细的实验数据可在 https://github.com/LeaperOvO/LUK获取。