arXiv:2502.07352v1 声明类型: cross 摘要：本文提出了一种框架，利用大规模语言模型（LLMs）自动评估科学文献中动态演变的主题分类体系。在数字图书馆系统中，主题建模在高效组织和检索学术内容、引导研究者通过复杂的知识领域方面扮演着关键角色。随着研究领域的增多和变化，传统的以人为中心和静态的评估方法难以保持相关性。所提出的方法借助LLMs测量关键的质量维度，如连贯性、重复性、多样性和主题文档匹配，而不需要对专家注释者或狭窄的统计指标的大量依赖。定制化提示语引导LLM评估，确保在各种数据集和建模技术下的一致性和可解释性评估。基准语料库上的实验表明该方法的稳健性、可扩展性和适应性，强调其作为传统评估策略更为全面和动态的替代方案的价值。