arXiv:2409.01466v2 宣布类型: 替换-交叉 摘要：大规模语言模型（LLMs）在政治学中的文本分类方面展现出巨大的潜力，但其有效性往往依赖于高质量的提示和范例。为了解决这一问题，我们介绍了一种三阶段框架，该框架通过自动提示优化、动态范例选择以及共识机制来增强LLM的性能。我们的方法使用任务特定的范例自动细化提示，消除猜测性的尝试和错误调整，并生成与人类定义的标准对齐的结构化提示。在第二阶段，我们动态选择最相关的范例，确保每个查询的上下文适配指导。最后，我们的共识机制模拟了单一任务多名人类编码员的角色，通过结合LLM的输出实现高可靠性和一致性，同时减少成本。无论是在情感分析、立场检测还是竞选广告语气分类等任务中，我们的方法都可以提高分类精度，而无需对特定任务的模型进行重新训练或对提示进行大量的手动调整。本框架不仅提升了准确性和可解释性及透明度，还提供了针对政治学应用的成本效益、可扩展的解决方案。GitHub 上提供了开源的 Python 包（PoliPrompt）。