arXiv:2409.12602v1 公告类型: 交叉 摘要: 农业，作为人类生存的基础，正面临前所未有的挑战。高效、人机协作和可持续的耕作方法的需求从未如此迫切。本研究的核心贡献在于利用主动视觉（AV）技术和零样本学习（ZSL）来提升机器人在水果采摘背景下感知和与农业环境互动的能力。在ROS 2中实现的AV管道集成了用于通过动态3D占用图进行3D环境重建的下一最佳视图（NBV）规划。我们的系统允许机器人手臂动态规划并移动到最具信息量的视点，探索环境，并使用通过ZSL模型生成的语义信息更新3D重建。仿真和真实世界的实验结果证明了我们的系统在复杂可见性条件下的有效性，优于传统的和静态预定义规划方法。所采用的ZSL分割模型，如YOLO World + EfficientViT SAM，表现出高速性能和精确的分割能力，能够在处理未知农业环境中的语义信息时保持灵活性，无需任何微调过程。