预训练语言模型 (PLMs) 通过自监督学习在各种任务中展现出良好的准确性和泛化能力，但其庞大的规模导致了高推理延迟。早期退出 (EE) 策略通过允许样本从连接到中间层的分类器中退出来解决这个问题，但它们不能很好地泛化，因为退出分类器可能对域变化敏感。为了解决这个问题，我们提出了 EE 框架中的无监督域适应 (DADEE)，该框架利用知识蒸馏进行多级适应。DADEE 在每一层使用基于 GAN 的对抗性适应来实现域不变表示，从而减少了所有层中源域和目标域之间的域差距。附加的退出不仅加快了推理速度，而且通过减少灾难性遗忘和模式崩溃来增强域适应，使其更适合现实世界场景。在情感分析、蕴含分类和自然语言推理等任务上的实验表明，DADEE 在域转移场景下始终优于早期退出方法以及各种域适应方法。匿名源代码可在 https://github.com/Div290/DAdEE 获取。