图中描绘了完整的计算与梯度流转过程：首先，病叶图像输入视觉编码器，通过自注意力机制提取出视觉表示，随后传递给语言模型，语言模型同样利用自注意力机制处理，最终生成诊断答案的词元。其创新点在于，在视觉编码器和语言模型的自注意力模块中，分别嵌入了低秩适配（LoRA）结构（公式为ΔW = BA）。在生成答案后，模型计算答案的自回归损失（预测词元与真实词元的误差），并沿计算图进行反向传播。图中红色箭头清晰地显示，这条反向传播的梯度流同时回传至语言侧和视觉侧的LoRA模块，使得两侧的参数能够基于同一个生成任务的自回归损失进行联合优化。图注标明该方法出自《Plants》2026年的论文，聚焦于视觉与语言自注意力中的低秩适配。该机制打破了传统微调中梯度断层的问题，实现了全链路参数协同。无论你是研究多模态大模型微调机制与梯度的科研人员、探索参数高效微调落地的算法工程师，还是致力于将视觉语言模型应用于农业诊断的开发者，都能从中获得关于联合优化架构的直观启发。