在复杂场景（如协调舞蹈表演、团队运动或动态动物群体）中进行多目标跟踪面临着独特的挑战。在这些情况下，物体经常以协调的模式移动、相互遮挡，并在其轨迹中表现出长期依赖性。然而，如何对轨迹片段内的长期依赖性、轨迹片段之间的相互依赖性以及相关的时序遮挡进行建模仍然是一个关键的开放性研究问题。为此，我们引入了 Samba，这是一种新颖的线性时间序列集模型，旨在通过同步用于对每个轨迹片段建模的多个选择性状态空间来联合处理多个轨迹片段。Samba 自回归地预测每个序列的未来轨迹查询，同时维护跨轨迹片段的同步长期记忆表示。通过将 Samba 集成到跟踪传播框架中，我们提出了 SambaMOTR，这是第一个有效解决上述问题的跟踪器，包括长期依赖性、轨迹片段之间的相互依赖性和时序遮挡。此外，我们还引入了一种处理不确定观测的有效技术（MaskObs）以及一种高效的训练方案，以将 SambaMOTR 扩展到更长的序列。通过对跟踪对象的长期依赖性和相互作用进行建模，SambaMOTR 隐式地学习通过遮挡准确地跟踪对象，而无需任何手工设计的启发式方法。我们的方法在 DanceTrack、BFT 和 SportsMOT 数据集上显著超越了先前最先进的水平。