借助丰富的预训练知识和高级通用能力，大型语言模型（LLMs）在多任务学习、样本效率和高级任务规划等方面为增强强化学习（RL）提供了有前景的途径。在这篇综述中，我们对现有的LLM增强RL文献进行了全面回顾，并总结了其相对于传统RL方法的特点，旨在明确研究范围和未来研究方向。利用经典的代理-环境交互范式，我们提出了一种结构化的分类法，以系统地分类LLMs在RL中的功能，包括四个角色：信息处理器、奖励设计者、决策者和生成器。对于每个角色，我们总结了方法，分析了缓解的具体RL挑战，并提供了未来方向的见解。最后，我们讨论了每个角色的比较分析、潜在应用、前景机会和LLM增强RL的挑战。通过提出这一分类法，我们旨在为研究人员提供一个框架，以有效利用LLMs在RL领域，可能加速RL在复杂应用如机器人、自动驾驶和能源系统中的应用。