该框图图表对比了Qwen与LLaVA两种底座在原始状态、冻结视觉侧和视觉侧参与适配三种设置下,在作物识别、病害识别及知识问答三项任务上的表现。数据显示,当视觉侧参与适配时,Qwen的作物识别从28.4%跃升至97.4%,病害识别从5.0%提升至91.5%,但知识问答较冻结视觉侧(88.5分)下降了4.5分至84.0分。LLaVA表现出类似趋势:视觉侧适配使作物识别达到98.0%、病害识别达到91.8%,但知识问答从冻结状态的98.0分降至96.5分(下降1.5分)。图底重点总结了这一权衡:Qwen在病害识别上大幅提升25.4个百分点,代价是知识问答下降4.5分;LLaVA病害识别提升9.7个百分点,知识问答下降1.5分。总体而言,激活视觉编码器能显著提升细粒度图像分类性能,但会带来一定的通用知识问答能力衰退,这为多模态模型的微调策略提供了明确的实证依据。无论你是研究多模态对齐与微调的科研学者、探索视觉编码器更新策略的算法工程师,还是致力于平衡模型各项能力落地的开发者,都能从中获得关键的权衡启发。
提示: 本内容由社区用户上传并分享。平台不对内容的真实性、合法性、知识产权归属及是否侵害第三方权利进行事前审核或保证。本内容可能包含受版权保护的图片、字体或其他第三方素材,使用前请自行确认授权范围。