利用深度学习技术进行鱼类追踪可以实现对疾病或饥饿导致的异常鱼类行为的早期检测，这对于工业化水产养殖具有重要意义。然而，水下反射以及鱼类本身的一些因素，例如高度相似性、刺激导致的快速游动以及相互遮挡，给鱼类多目标追踪带来了挑战。为了解决这些挑战，本文建立了一个复杂的多场景鲟鱼追踪数据集，并引入了 FMRFT 模型，这是一个实时端到端鱼类追踪解决方案。该模型整合了低视频内存消耗的 Mamba In Mamba (MIM) 架构，该架构有助于多帧时间记忆和特征提取，从而解决了跨帧追踪多条鱼的挑战。此外，FMRFT 模型结合了查询时间序列交叉 (QTSI) 模块，利用 RT-DETR 的卓越特征交互和先前帧处理能力，有效地管理了遮挡物体并减少了冗余追踪帧。这种组合显著提高了鱼类追踪的准确性和稳定性。在该数据集上进行训练和测试后，该模型实现了 90.3% 的 IDF1 分数和 94.3% 的 MOTA 准确率。实验结果表明，所提出的 FMRFT 模型有效地解决了鱼群中高度相似性和相互遮挡的挑战，能够在工厂化养殖环境中实现准确的追踪。