本文探讨了深度强化学习（DRL）在电子游戏中的语义聚类特性，深化了我们对DRL内部机制的理解，并提升了其可解释性。在此背景下，语义聚类是指神经网络内部根据语义相似性对视频输入进行分组的内在能力。为此，我们提出了一种新颖的DRL架构，该架构集成了一个语义聚类模块，该模块兼具特征降维和在线聚类功能。该模块无缝地集成到DRL训练流程中，解决了之前基于t-SNE的分析方法中观察到的不稳定性问题，并消除了对语义分析进行大量人工标注的必要性。通过实验，我们验证了所提模块的有效性和DRL在电子游戏中的语义聚类特性。此外，基于这些特性，我们引入了新的分析方法，以帮助理解策略的层次结构和特征空间中的语义分布。