本文研究了深度强化学习 (DRL) 在电子游戏中的语义聚类特性，加深了我们对 DRL 内部动态的理解，并提高了其可解释性。在这种情况下，语义聚类指的是神经网络内部根据语义相似性对视频输入进行分组的固有能力。为了实现这一点，我们提出了一种新颖的 DRL 架构，该架构集成了一个语义聚类模块，该模块兼具特征降维和在线聚类功能。该模块无缝集成到 DRL 训练流程中，解决了之前基于 t-SNE 的分析方法中观察到的不稳定性问题，并消除了对语义分析进行大量手动标注的必要性。通过实验，我们验证了所提出的模块的有效性和 DRL 在电子游戏中的语义聚类特性。此外，基于这些特性，我们引入了新的分析方法来帮助理解策略的层次结构和特征空间内的语义分布。