医学图像分割是计算机视觉中一项至关重要的任务，它能够自动勾勒出解剖结构和病理特征，从而辅助临床医生进行诊断、治疗计划制定和疾病监测。值得注意的是，采用移位窗口自注意机制的Transformer模型已经展现出优异的性能。然而，它们对局部窗口注意的依赖限制了局部和全局上下文信息的融合，而这对于微小肿瘤和微型器官的分割至关重要。为了解决这一限制，我们提出了自适应语义分割网络（ASSNet），这是一种能够有效整合局部和全局特征以实现精确医学图像分割的Transformer架构。ASSNet包含一个基于Transformer的U型编码器-解码器网络。编码器利用五个分辨率的移位窗口自注意力机制提取多尺度特征，然后通过跳跃连接将这些特征传播到解码器。我们在编码器中引入了一个增强型多层感知器，以在特征提取过程中明确地建模长程依赖关系。考虑到传统对称编码器-解码器设计的局限性，我们提出了一种自适应特征融合（AFF）解码器来补充我们的编码器。该解码器包含三个关键组件：长程依赖（LRD）块、多尺度特征融合（MFF）块和自适应语义中心（ASC）块。这些组件协同作用，有效地融合了解码器提取的多尺度特征，同时捕获长程依赖关系并细化目标边界。在包括多器官、肝肿瘤和膀胱肿瘤分割在内的各种医学图像分割任务上的综合实验表明，ASSNet取得了最先进的结果。代码和模型可在以下网址获取：\url{https://github.com/lzeeorno/ASSNet}。