arXiv:2504.03328v1 类型：交叉 摘要：策略优化算法在许多领域中都至关重要，但也因其与马尔可夫决策过程相关的复杂计算以及折现和平均奖励设置的多样性而难以理解和实现。本文提出了一种统一框架，利用广义遍历性和扰动分析来阐明和增强这些算法的应用。广义遍历性理论解释了随机过程的稳态行为，有助于理解折现和平均奖励。扰动分析深入探讨了策略优化算法的基本原则。我们使用这种框架来识别常见的实现错误，并展示了正确的做法。通过线性二次调节器问题的案例研究，我们说明了算法设计中的微小变化如何影响实现结果。我们的目的是使策略优化算法更加易于访问，并减少其实用中的误用。