LLM2D
使用大型语言模型自动生成人格情境判断测验项目
Automatic Item Generation for Personality Situational Judgment Tests with Large Language Models
作者: Chang-Jin Li, Jiyuan Zhang, Yun Tang, Jian Li
发布日期: 4/16/2025
arXiv ID: oai:arXiv.org:2412.12144v2

摘要

arXiv:2412.12144v2 通告类型: replace-cross 摘要:人格评估,特别是通过情境判断测试(SJT),是心理学研究、人才选拔和教育评估中的重要工具。本研究探讨了一流大型语言模型(LLM)GPT-4在中国语境下自动生成人格情境判断测试(PSJT)的可能性。传统SJT的开发劳动密集且容易产生偏差,而GPT-4提供了可扩展且高效的替代方案。开展了两项研究:研究1评估了提示设计和温度设置对内容效度的影响,发现优化后的提示在温度设置为1.0的情况下生成了创造性和准确的项目。研究2评估了GPT-4生成的PSJT的心理测量特性,结果显示这些测试表现出令人满意的可靠性和有效性,超过了手动开发的测试在测量五大人格特质方面的表现。本研究突显了GPT-4在开发高质量PSJT方面的效果,提供了一种可扩展且创新的心理测量测试开发方法。这些发现扩大了自动项目生成的可能性,并在心理学中展示了LLMs的应用前景,为资源受限环境下测试开发流程的简化提供了实际意义。