在竞技游戏领域，3D第一人称射击（FPS）游戏已经获得了巨大的普及，促使人们开发游戏AI系统来增强游戏体验。然而，在实际场景中部署游戏AI仍然存在挑战，特别是在大型复杂FPS游戏中。本文重点研究了游戏AI在腾讯游戏开发的在线多人竞技3D FPS游戏《Arena Breakout》中的实际部署。我们提出了一种名为“私人军事公司代理”（PMCA）的新型游戏AI系统，该系统可以在大型游戏地图中互动，与玩家进行战斗，同时利用周围地形提供的战术优势。 为了解决现代3D FPS游戏中导航和战斗的挑战，我们引入了一种将导航网格（Navmesh）和射击规则与深度强化学习（NSRL）相结合的方法。Navmesh的整合增强了代理的全局导航能力，而基于规则的方法控制射击行为，以确保可控性。NSRL采用DRL模型来预测何时启用导航网格，从而为游戏AI带来多种行为。还采用了针对类人行为的定制奖励，使PMCA的行为与人类玩家的行为保持一致。