多任务学习最近成为对复杂场景进行全面理解的一种很有前景的解决方案。多任务模型不仅内存效率高，而且如果设计得当，还可以促进任务间互补信号的交换。在这项工作中，我们联合处理二维语义分割和三个与几何相关的任务：密集深度估计、表面法线估计和边缘估计，展示了它们在室内和室外数据集上的优势。我们提出了一种新颖的多任务学习架构，该架构利用通过相关性引导注意力和自注意力进行的成对跨任务交换来增强所有任务的整体表示学习。我们在三个多任务设置中进行了大量的实验，展示了我们的方法与合成和真实世界基准测试中具有竞争力的基线相比的优势。此外，我们将我们的方法扩展到新颖的多任务无监督域适应设置。我们的代码可在https://github.com/cv-rits/DenseMTL 获取。