本项目以融合多模态数据的蔬菜病害检测识别为研究主题，整体研究主线从现实挑战出发，依次梳理关键科学问题、搭建多模态数据基础、开展属性级跨模态学习、实现渐进语义映射，最终完成病害精准检测识别。项目首先梳理三项现实挑战：样本数据短缺、检测识别效果差、知识特征融合难，分析温室环境采集标注难、病斑特征辨识度低、图文特征对齐困难等现实痛点；继而提炼出三项关键科学问题，分别是多模态大样本数据集构建、目标特征提取与网络设计、多模态目标关联与映射。对应设置三项核心研究内容：开展图像文本多模态数据采集与处理，结合专家标注与大模型 LLM 辅助生成结构化诊断文本；采用 ResNet‑FPN 与 Bi‑LSTM 开展细粒度多模态属性对比学习检测，设置属性记忆库与双重损失函数；搭建渐进式语义感知多模态检测模块，完成单词级到句子级的语义感知，实现病斑定位识别。对应的创新输出分为三项目标：完成多模态数据集构建、实现细粒度特征表征、完成跨模态语义映射，以此突破数据不足、细粒度表征不足、跨模态映射不准的链式瓶颈，为温室蔬菜病害综合防治提供智能感知基础。无论从事设施农业病害识别方向的研究生还是多模态计算机视觉方向的研发人员，都可以从中得到研究思路启发。