LLM2D
利用大型语言模型合成产品期望数据集
Utilizing Large Language Models to Synthesize Product Desirability Datasets
作者: John D. Hastings, Sherri Weitl-Harms, Joseph Doty, Zachary J. Myers, Warren Thompson
发布日期: 11/25/2024
arXiv ID: oai:arXiv.org:2411.13485v2

摘要

本研究探索了利用大型语言模型 (LLM) 生成用于产品期望工具包 (PDT) 测试的合成数据集,这是评估用户情绪和产品体验的关键组成部分。利用 gpt-4o-mini(一种更经济高效的替代大型商业 LLM 的方案),我们分别使用三种方法——词+评论、评论+词和供应词——合成了 1000 条产品评论。生成的这些数据集在情绪一致性、文本多样性和数据生成成本方面进行了评估。结果表明,所有方法的情绪一致性都很高,皮尔逊相关系数介于 0.93 到 0.97 之间。“供应词”方法展现出最高的 PDT 术语多样性和覆盖率,尽管其生成成本有所增加。尽管存在轻微的正面情绪偏差,但在测试数据有限的情况下,LLM 生成的合成数据具有显著优势,包括可扩展性、成本节约和数据集生成的灵活性。