该研究框架分为三大部分,第一部分为多模态数据底座,针对样本数量多样性不足、标注成本高、单图像信息不完备的问题,采集温室实景数据,联合专家标注,融合图像、文本与环境知识,借助大语言模型完成结构化描述,产出温室蔬菜病害图像文本多模态大样本数据集。第二部分开展细粒度属性学习,解决图像文本跨模态属性关联难、同类病斑细粒度差异小的难题,对视觉与语言属性分解,实现属性级多模态融合,通过细粒度属性对比增强、属性记忆库搭配双损失机制,得到细粒度多模态属性对比学习病害检测网络。第三部分进行渐进式语义感知,改善图文直接匹配粗糙、目标偏置、词语和病害区域对位不准的缺陷,分单词级、句子级完成语义感知,搭建双向交互检测网络,输出渐进式语义感知多模态检测网络。之后基于自建数据集统一开展对比、消融与复杂背景测试,从识别精度、鲁棒性、跨模态关联效果、落地能力多维度完成验证,最终得到温室蔬菜病害多模态检测新方法用于病害防治。无论从事设施农业病害研究还是多模态图像算法开发的科研人员,都可以从中获取研究思路参考。
提示: 本内容由社区用户上传并分享。平台不对内容的真实性、合法性、知识产权归属及是否侵害第三方权利进行事前审核或保证。本内容可能包含受版权保护的图片、字体或其他第三方素材,使用前请自行确认授权范围。