LLM2D
对齐CoT:通过母语演示提示大型语言模型
AlignedCoT: Prompting Large Language Models via Native-Speaking Demonstrations
作者: Zhicheng Yang, Yinya Huang, Jing Xiong, Liang Feng, Xiaodan Liang, Yiwei Wang, Jing Tang
发布日期: 10/8/2024
arXiv ID: oai:arXiv.org:2311.13538v5

摘要

大型语言模型的提示,例如使用上下文演示,是一种主流技术,用于调用大型语言模型来执行高性能和可靠的复杂推理(例如,数学推理,常识推理),并且具有进一步促进人机协作科学发现的潜力。然而,当前的大型语言模型在提示词语和风格上很敏感且难以捉摸。在大型语言模型理解和人类编写的提示之间存在着看不见的差距。本文介绍了一种名为 Alignedcot 的与大型语言模型相协调的提示技术,该技术包括在上下文学习中进行熟练的“母语式”沟通。具体来说,它通过逐步探测、细化和格式化大型语言模型的思维链,在零样本场景中实现了始终如一且正确的逐步提示,从而在保持提示质量的同时,摆脱了手工制作的少量样本演示。我们在数学推理和常识推理方面进行了实验。我们发现,使用 Alignedcot 的大型语言模型的表现明显优于使用人工制作的演示的大型语言模型。我们进一步将 Alignedcot 应用于 GSM8K 训练集的重写,生成一个名为 GSM8K-Align 的数据集。我们观察到它对检索增强生成的好处。代码和数据可以在 https://github.com/yangzhch6/AlignedCoT 找到。