摘要
arXiv:2502.07352v1 声明类型: cross
摘要:本文提出了一种框架,利用大规模语言模型(LLMs)自动评估科学文献中动态演变的主题分类体系。在数字图书馆系统中,主题建模在高效组织和检索学术内容、引导研究者通过复杂的知识领域方面扮演着关键角色。随着研究领域的增多和变化,传统的以人为中心和静态的评估方法难以保持相关性。所提出的方法借助LLMs测量关键的质量维度,如连贯性、重复性、多样性和主题文档匹配,而不需要对专家注释者或狭窄的统计指标的大量依赖。定制化提示语引导LLM评估,确保在各种数据集和建模技术下的一致性和可解释性评估。基准语料库上的实验表明该方法的稳健性、可扩展性和适应性,强调其作为传统评估策略更为全面和动态的替代方案的价值。