尽管大型语言模型（LLMs）最近取得了进展，但它们在需要多步思考和结合多种技能的复杂推理问题上的表现仍然有限。为了解决这个问题，我们提出了一种名为 HDFlow 的新框架，用于使用 LLMs 进行复杂推理，该框架以自适应的方式结合了快速和慢速思维模式。我们的方法包含两个关键组成部分：1) 一种用于缓慢、深思熟虑的推理的新方法，称为动态工作流，它可以自动将复杂问题分解成更易于管理的子任务，并动态设计一个工作流来组装专门的 LLM 或符号推理工具来解决子任务；2) 混合思维，一个根据问题复杂性动态结合快速和慢速思维的通用框架。最后，我们提出了一种易于扩展的方法，用于自动合成一个包含 27K 个具有挑战性的推理问题的复杂推理大规模数据集，以及一种混合思维调整方法，该方法在该数据集上训练更小的 LLM 以将快速/慢速混合推理策略内化。在四个推理基准数据集上的实验表明，我们使用动态工作流的慢速思维显著优于思维链，而混合思维在提供计算效率和性能之间的有效平衡的同时，实现了最高的准确率。使用我们的混合思维方法进行微调也显著提高了开源语言模型的复杂推理能力。结果展示了慢速思维、动态工作流和混合思维在扩展使用 LLMs 解决复杂问题的领域方面的潜力。\footnote{代码和数据将在 \url{https://github.com/wenlinyao/HDFlow} 上发布。}