LLM2D
实验室中的AI驱动研究助理:通过与LLMs的迭代合作进行文本分析的实用指南
An AI-Powered Research Assistant in the Lab: A Practical Guide for Text Analysis Through Iterative Collaboration with LLMs
作者: Gino Carmona-D\'iaz, William Jim\'enez-Leal, Mar\'ia Alejandra Grisales, Chandra Sripada, Santiago Amaya, Michael Inzlicht, Juan Pablo Berm\'udez
发布日期: 5/16/2025
arXiv ID: oai:arXiv.org:2505.09724v1

摘要

arXiv:2505.09724v1 宣布类型: 横跨领域 摘要:分析开放生成的回答、标题或社交媒体帖子等文本是一种耗时且劳动密集型的过程,极易受到偏见的影响。大规模语言模型(LLMs)是进行文本分析的有前景的工具,可以使用预定义的(自上而下)或数据驱动的(自下而上)分类法,而不牺牲质量。在这里,我们提供了一步步的教程,通过研究者和LLMs的迭代和协作过程,高效地开发、测试和应用分析非结构化数据的分类法。以参与者提供的个人目标为例,我们展示了如何编写提示来审查数据集,并生成生活领域的分类法,如何通过提示和直接修改来评估和完善分类法,如何测试分类法并评估编码者间的一致性,以及如何将分类法应用于整个数据集,并实现高编码者一致性分类。我们讨论了使用LLMs进行文本分析的可能性和局限性。