该图探讨了植物病害多模态模型中“监督关系”的设计,即病害图像应当与哪些文本靠近,对比了SCOLD与专家描述适配两条技术路线。SCOLD侧重构造软目标矩阵:将叶片图像与类别标注、症状描述结合,构建包含“同作物同病名(主要目标)”、“同作物不同病名/不同作物同病名(软权重)”的关系结构,以此训练图文编码器,使模型从单一硬配对转向带有作物与病名背景的对齐。专家描述适配则丰富类别监督来源:利用语言模型为细粒度类别生成形态、症状、生长等多条语义描述,在批次内进行类别级对比学习,并结合CLIP低秩适配(LoRA)微调领域参数。底部对照阅读指出:SCOLD明确修改目标矩阵,专家描述适配丰富类别监督来源;两者均需证明收益超出“仅增加更多文字或训练数据”的效果。该图逻辑清晰,揭示了图文对齐中监督信号的底层设计差异。
提示: 本内容由社区用户上传并分享。平台不对内容的真实性、合法性、知识产权归属及是否侵害第三方权利进行事前审核或保证。本内容可能包含受版权保护的图片、字体或其他第三方素材,使用前请自行确认授权范围。