基于原论文方法(Qwen2.5-VL-7B),解析了视觉与语言自注意力中的低秩适配(LoRA)机制。图中清晰呈现了数据流与参数更新链路:输入病叶图像后,首先进入视觉编码器(含自注意力层),提取出视觉表示并传递给语言模型(含自注意力层),最终生成诊断答案词元。在模型结构下方,分别为视觉编码器和语言模型配置了LoRA模块(公式为 ΔW = BA)。底部红色箭头展示了关键的更新机制:答案的自回归损失沿计算图反传,该梯度同时流向语言模型侧的LoRA模块和视觉编码器侧的LoRA模块,从而实现了在生成一个诊断答案的过程中,视觉侧与语言侧参数的协同更新。内容适合多模态大模型算法工程师、视觉语言模型(VLM)微调研究人员、智慧农业领域AI开发者以及关注参数高效微调(PEFT)技术的研究生阅读参考。
提示: 本内容由社区用户上传并分享。平台不对内容的真实性、合法性、知识产权归属及是否侵害第三方权利进行事前审核或保证。本内容可能包含受版权保护的图片、字体或其他第三方素材,使用前请自行确认授权范围。