确保模型的可解释性和鲁棒性对于深度视觉系统的可靠部署至关重要。当前评估鲁棒性的方法依赖于收集和标注大量的测试集。虽然这是一种常见的做法，但该过程劳动密集且成本高昂，并且不能保证对感兴趣属性的充分覆盖。最近，模型诊断框架应运而生，利用用户输入（例如，文本）来评估模型的脆弱性。然而，鉴于特定用户的领域知识，这种对人类的依赖可能会引入偏差和局限性。本文提出了一种无监督模型诊断 (UMO) 方法，该方法利用生成模型来生成语义反事实解释，而无需任何用户指导。给定一个可微分的计算机视觉模型（即目标模型），UMO 在生成潜空间中优化最反事实的方向。我们的方法识别并可视化语义变化，然后将这些变化与来自广泛文本来源（例如字典或语言模型）的属性进行匹配。我们在多个视觉任务（例如，分类、分割、关键点检测）上验证了该框架。大量的实验表明，我们对语义方向的无监督发现可以正确地突出显示虚假关联，并在没有任何人工干预的情况下可视化目标模型的故障模式。