本图是设施蔬菜病害多模态大模型的整体研究思路框图，核心思想是以预训练多模态大模型作为统一载体，逐层完成 “语义重塑 — 证据约束 — 条件稳健”。多源输入包含病害图像、症状文本以及领域知识与关系，送入模型主干；主干由视觉编码器、跨模态连接对齐模块、语言模型生成头三部分组成。整体设置三项关键科学问题，依次对应三层模型作用机制以及对应的研究内容与方法创新。第一是表征形成问题，探究预训练语义空间如何兼顾症状共享与病类判别；通过视觉症状表征、症状关系建模、参数高效适配，重塑领域语义空间；创新点为兼顾症状共享与病类区分的关系约束对齐方法。第二是诊断形成问题，研究如何让诊断生成真正依托视觉病斑证据，避免无依据输出；借助病斑区域 Token、跨模态连接器送入大语言模型完成诊断生成，实现所见即所得；创新提出视觉证据响应与背景扰动抑制协同约束的诊断学习方法。第三是环境泛化问题，研究环境改变时如何维持诊断表征稳定；利用跨环境诊断表征、症状可比判断、选择性一致性策略，区分应当稳定与允许变化的部分；创新基于症状可比条件驱动的选择性一致性学习方法。模型统一输出包含病斑定位、症状属性、病害类别、诊断解释以及跨环境稳健性；验证重点考察模型是否真正被领域知识约束改造，而不是简单做结果包装。无论农业 AI 方向研究生还是课题申报人员，都可以借助该框图梳理整体研究逻辑。