在高风险人工智能系统中，解释是人们对其产生信心的关键。然而，基于机器学习的系统（占目前几乎所有人工智能）无法解释，因为它们通常是黑盒子。可解释人工智能 (XAI) 运动通过重新定义“解释”来解决这个问题。以人为本的可解释人工智能 (HCXAI) 运动识别了用户的解释需求，但由于其对机器学习的承诺，无法满足这些需求。为了实现现实世界中从事关键领域的人员所需的解释类型，我们必须重新思考如何处理人工智能。我们描述了一种开发认知代理的混合方法，该方法使用基于知识的基础设施，并在适用时补充通过机器学习获得的数据。这些代理将作为人类的助手，人类将对人机团队的决策和行动承担最终责任。我们使用演示系统的“内部面板”来说明此类代理的解释潜力，在该系统中，模拟机器人的团队协作完成人类分配的搜索任务。