该框图展示了一种名为DPHI的视觉语言模型架构,旨在解决“双提示如何让少量病叶形成可比较的类别表征”这一少样本植物病害识别难题。该模型基于CLIP构建,核心流程包含三个步骤:首先是“两类提示”,在视觉侧和文本侧分别提取可学习提示,并在编码器各层参与交互;其次是“类别引导的交互”,利用类别掩码,通过双向注意力机制交换信息,从而增强图像与文字的对应关系;最后是“原型与训练目标”,使用指数移动平均更新类别原型,用原型约束视觉表征,并联合多任务对比损失进行优化。图下方的实验结果表明,在陕西铜川实采的苹果病害数据集上,仅使用每类16张标注图像的少样本条件下,该模型依然取得了宏平均准确率92.11%和宏平均F1值92.20%的优异性能。整张图清晰地展示了少样本多模态模型从理论架构到实证效果的全过程,为植物病害识别提供了高效的AI解决方案。
提示: 本内容由社区用户上传并分享。平台不对内容的真实性、合法性、知识产权归属及是否侵害第三方权利进行事前审核或保证。本内容可能包含受版权保护的图片、字体或其他第三方素材,使用前请自行确认授权范围。