LLM2D
WildLive:UAV上近乎实时的野生动植物追踪
WildLive: Near Real-time Visual Wildlife Tracking onboard UAVs
作者: Nguyen Ngoc Dat, Tom Richardson, Matthew Watson, Kilian Meier, Jenna Kline, Sid Reid, Guy Maalouf, Duncan Hine, Majid Mirmehdi, Tilo Burghardt
发布日期: 4/15/2025
arXiv ID: oai:arXiv.org:2504.10165v1

摘要

arXiv:2504.10165v1 交叉类型: cross 摘要:通过高分辨率视频处理直接在无人机上进行野生动物的实时追踪在现有文献中尚未得到广泛探索,大多数现有的解决方案依赖于将视频流传输到地面站以支持导航。然而,超视距自主动物响应飞行控制以及/或特定任务的个体和行为识别任务在一定程度上依赖于这种能力。为应对这一问题,我们介绍了WildLive——一种适用于无人航空车辆(UAV)上的实时动物检测与追踪框架,该框架可运行高分辨率图像并在17fps+精度下处理高清视频,在4K视频流上的精度为7fps+,适合在高空飞行期间运行,以最小化对动物的干扰。我们的系统针对Jetson Orin AGX嵌入式硬件进行了优化。该系统结合了稀疏光流追踪的高效性和任务特定的采样与设备优化的、已证明有效的YOLO驱动的对象检测和分割技术。本质上,计算资源集中于高不确定性的时间空间区域,从而显著提高无人机的处理速度,同时在无需特定领域精度损失的情况下保持高准确性。此外,我们还介绍了我们的WildLive数据集,该数据集包含来自肯尼亚奥尔佩杰塔保护区内采集的4K无人机视频的200,000多个注释动物实例,共计19,000多帧。所有帧包含ground truth边界框、分割掩码,以及个体追踪片段和轨迹。我们与当前对象跟踪方法(包括OC-SORT、ByteTrack和SORT)进行了比较。使用嵌入式硬件进行的多动物跟踪实验证实,可以在无人机上实现实时高分辨率野生动物追踪,同时保持所需的高度准确性,以满足未来导航和任务特定的动物中心自主操作需求。