摘要
无人机遥感技术已成为作物育种的关键技术,能够实现作物表型数据的髙通量、无损采集。然而,育种的多学科性质给知识挖掘带来了技术壁垒和效率挑战。因此,开发一种智能育种目标工具以挖掘跨领域多模态数据至关重要。本研究基于不同的预训练开源多模态大型语言模型(MLLM)(例如,Qwen-VL、InternVL、Deepseek-VL),利用监督微调(SFT)、检索增强生成(RAG)和来自人类反馈的强化学习(RLHF)技术将跨领域知识注入MLLM,从而构建多个用于小麦育种的多模态大型语言模型(WBLM)。利用本研究新创建的评估基准对上述WBLM进行了评估。结果表明,使用SFT、RAG和RLHF技术以及InternVL2-8B构建的WBLM具有领先的性能。然后,使用WBLM进行了后续实验。消融实验表明,SFT、RAG和RLHF技术的组合可以提高整体生成性能,增强生成质量,平衡生成答案的时效性和适应性,并减少幻觉和偏差。WBLM在同时使用跨领域数据(遥感、表型、天气、种质)进行小麦产量预测方面表现最佳,R²和RMSE分别为0.821和489.254 kg/ha。此外,WBLM可以为表型估计、环境胁迫评估、目标种质筛选、栽培技术推荐和种子价格查询任务生成专业的决策支持答案。