模板社区
更新视觉编码器框图
立即使用
3
0
0
举报
发布时间:2026年11月08日
更新视觉编码器框图
该框图图表对比了Qwen与LLaVA两种底座在原始状态、冻结视觉侧和视觉侧参与适配三种设置下,在作物识别、病害识别及知识问答三项任务上的表现。数据显示,当视觉侧参与适配时,Qwen的作物识别从28.4%跃升至97.4%,病害识别从5.0%提升至91.5%,但知识问答较冻结视觉侧(88.5分)下降了4.5分至84.0分。LLaVA表现出类似趋势:视觉侧适配使作物识别达到98.0%、病害识别达到91.8%,但知识问答从冻结状态的98.0分降至96.5分(下降1.5分)。图底重点总结了这一权衡:Qwen在病害识别上大幅提升25.4个百分点,代价是知识问答下降4.5分;LLaVA病害识别提升9.7个百分点,知识问答下降1.5分。总体而言,激活视觉编码器能显著提升细粒度图像分类性能,但会带来一定的通用知识问答能力衰退,这为多模态模型的微调策略提供了明确的实证依据。无论你是研究多模态对齐与微调的科研学者、探索视觉编码器更新策略的算法工程师,还是致力于平衡模型各项能力落地的开发者,都能从中获得关键的权衡启发。
发布时间:2026年11月08日
发表评论
打开APP查看高清大图
更新视觉编码器框图
下载eddx文件
下载客户端
立即使用
社区模板帮助中心,
他的近期作品
查看更多>>