LLM2D
基于大语言模型的公众舆情事件热度预测研究
Research on Predicting Public Opinion Event Heat Levels Based on Large Language Models
作者: Yi Ren, Tianyi Zhang, Weibin Li, DuoMu Zhou, Chenhao Qin, FangCheng Dong
发布日期: 9/30/2024
arXiv ID: oai:arXiv.org:2409.18548v1

摘要

近年来,随着大型语言模型的快速发展,GPT-4o 等多个模型展现出非凡的能力,在各种语言任务中超越了人类的表现。因此,许多研究人员开始探索它们在舆情分析领域的潜在应用。本研究提出了一种基于大型语言模型的舆情事件热度预测方法。首先,我们对 2022 年 7 月至 2023 年 12 月收集的 62,836 条中文热点事件数据进行了预处理和分类。然后,基于每个事件的在线传播热度指数,我们使用 MiniBatchKMeans 算法自动对事件进行聚类,并将它们分为四个热度等级(从低热度到极高热度)。接下来,我们从每个热度等级中随机选取 250 个事件,共计 1,000 个事件,用于构建评估数据集。在评估过程中,我们使用各种大型语言模型评估它们在两种情况下预测事件热度等级的准确性:无参考案例和有相似案例参考。结果表明,GPT-4o 和 DeepseekV2 在后一种情况下表现最佳,预测准确率分别达到 41.4% 和 41.5%。虽然总体预测准确率仍然相对较低,但值得注意的是,对于低热度(一级)事件,这两个模型的预测准确率分别达到 73.6% 和 70.4%。此外,预测准确率从一级到四级呈下降趋势,这与实际数据集中不同热度等级之间数据分布不均匀有关。这表明,随着更强大的数据集的出现,基于大型语言模型的舆情事件热度预测将在未来具有重要的研究潜力。