模板社区
病害模型训练新对照:自适应提示与多标签蒸馏
立即使用
5
0
0
举报
发布时间:2026年11月07日
病害模型训练新对照:自适应提示与多标签蒸馏
该对比图展示了2026年两篇关于病害模型训练的新工作,分别聚焦自适应提示与多标签蒸馏:A(BLAP:自适应多尺度视觉提示)输入病叶图像与诊断文本提示,视觉编码器与Q-Former骨干冻结,通过多尺度金字塔PFM(更新投影与融合权重)、LLM骨干结合LoRA(更新注意力低秩矩阵)以及APFM(视觉提示+交叉注意力+自适应门控)三条可训练路径进行交互,最后经LM Head输出诊断文本并计算自回归交叉熵,其创新点在于训练学习内容相关的视觉提示与多尺度交互,而非仅训练一组静态提示词;B(CA-CLIP:多标签知识蒸馏)采用教师-学生架构,冻结的CA-CLIP教师模型接收图像与类别症状提示,输出逐类Logits并形成软目标,MobileNetV3学生模型仅输入病叶图像并输出逐类Logits,学生目标为多标签监督与加权蒸馏损失(采用逐类Sigmoid与二元交叉熵),其创新在于将图文教师的知识迁移至轻量化多标签学生模型,且仅用于图像诊断,不压缩LLM整体文本能力。对照结论指出:BLAP改变生成模型中的可训练交互模块,侧重参数高效适配;CA-CLIP改变监督来源与部署模型,侧重多标签知识转移,两者的贡献不能用同一个准确率直接排序。
发布时间:2026年11月07日
发表评论
打开APP查看高清大图
病害模型训练新对照:自适应提示与多标签蒸馏
下载eddx文件
下载客户端
立即使用
社区模板帮助中心,
他的近期作品
查看更多>>