arXiv:2405.17537v4 公告类型: 修改 摘要: 量化生物多样性对于理解生态系统健康至关重要。虽然先前的工作独立地开发了机器学习模型用于 photographic 图像和 DNA 的分类，但在本工作中，我们提出了一种结合这两种方法的多模态方法，使用 CLIP 风格的对比学习将图像、条形码 DNA 和基于文本的分类标签表示统一映射到一个嵌入空间中。这使得在不需要针对特定任务进行微调的情况下，能够准确地分类已知和未知的昆虫物种，并首次利用对比学习将条形码 DNA 和图像数据融合在一起。我们的方法在零样本学习任务上比以前的单模态方法准确率高出 8% 以上，展示了其在生物多样性研究中的有效性。