在高风险的人工智能系统中，可解释性是人们对其信任的关键。然而，几乎所有当前人工智能系统都基于机器学习，它们通常是黑盒，无法解释。可解释人工智能 (XAI) 运动通过重新定义“解释”来解决这个问题。以人为中心的可解释人工智能 (HCXAI) 运动确定了用户的解释需求，但由于其对机器学习的承诺，无法满足这些需求。为了实现实际人员在关键领域运营所需的解释类型，我们必须重新思考如何处理人工智能。我们描述了一种开发认知代理的混合方法，该方法使用基于知识的基础设施，并在适用时辅以通过机器学习获得的数据。这些代理将作为人类的助手，人类将对人机团队的决策和行动承担最终责任。我们使用演示系统的内部面板来说明此类代理的解释潜力，在该系统中，模拟机器人团队协同完成人类分配的搜索任务。