摘要
随着自杀念头的增多,早期检测和干预显得尤为重要。社交媒体平台是用户分享个人经历和寻求帮助的场所,可以用来识别有风险的个人。然而,每天大量的帖子使得人工审核变得不切实际。本文探讨了利用大型语言模型 (LLMs) 自动检测文本型社交媒体帖子中的自杀内容。我们提出了一种通过提示 LLMs 为未标记数据生成伪标签的新方法,并结合传统的分类微调技术来提高标签准确性。为了构建强大的自杀检测模型,我们开发了一种集成方法,包括使用 Qwen2-72B-Instruct 进行提示,以及使用 Llama3-8B、Llama3.1-8B 和 Gemma2-9B 等微调模型。我们在 IEEE 大数据 2024 大数据竞赛的社交媒体自杀意念检测挑战赛数据集上评估了我们的方法。此外,我们进行了全面的分析,以评估不同模型和微调策略对检测性能的影响。实验结果表明,集成模型显著提高了检测准确率,与单个模型相比提高了 5 个百分点。它在公共测试集上实现了 0.770 的加权 F1 分数,在私有测试集上实现了 0.731 的加权 F1 分数,为识别社交媒体中的自杀内容提供了一种有前景的解决方案。我们的分析表明,LLMs 的选择会影响提示性能,更大的模型能够提供更高的准确率。我们的代码和检查点已在 https://github.com/khanhvynguyen/Suicide_Detection_LLMs 公开发布。