视觉目标跟踪极大地促进了无人机（UAV）的自主应用。然而，在面对长宽比变化和遮挡的复杂动态环境中，学习用于无人机跟踪的鲁棒目标表示尤其具有挑战性。这些挑战严重改变了目标的原始信息。为了解决上述问题，本文提出了一种用于无人机跟踪的全新渐进式表示学习框架，即 PRL-Track。具体而言，PRL-Track 分为粗略表示学习和精细表示学习。对于粗略表示学习，设计了两个依赖于外观和语义信息的创新调节器，以减轻外观干扰并捕获语义信息。此外，对于精细表示学习，开发了一种新的层次化建模生成器，以交织粗略目标表示。大量实验表明，所提出的 PRL-Track 在三个权威的无人机跟踪基准测试中取得了优异的性能。现实世界测试表明，所提出的 PRL-Track 在配备边缘智能摄像头的典型无人机平台上实现了每秒 42.6 帧的卓越跟踪性能。代码、模型和演示视频可在 \url{https://github.com/vision4robotics/PRL-Track} 获得。