该方法以DRA动态秩分配为启发,在多模态大模型(MLLM)中引入病斑证据与跨模态梯度冲突机制。图中分为三个核心部分:A(输入与证据监督):输入包含病害图像、区域框、症状描述及病种标签。通过热力图示意病斑定位与病理证据,并特别指出“现有数据未必具有专家级推理标注,需要补充”。B(MLLM骨干与新秩分配控制器):模型骨干包含视觉编码器、多模态投影与语言主干,三者均插入低秩适配。底部的“跨模态动态秩控制器”为拟设计方案,其分支重要度由“病斑Token贡献 × 诊断损失梯度”决定,并进行梯度协同(视觉/投影/语言参数更新方向),在总LoRA秩固定下,训练稳定后进行周期重分配。C(必要对照与技术问题):列出了论文需回答的问题(如是否优于固定秩/Ada/DRA、小病斑是否得到更多预算、增益能否覆盖开销),并设计了最小消融实验A0至A4(从固定秩到加入预算/稳定触发),要求对照相同基座和参数总量。
提示: 本内容由社区用户上传并分享。平台不对内容的真实性、合法性、知识产权归属及是否侵害第三方权利进行事前审核或保证。本内容可能包含受版权保护的图片、字体或其他第三方素材,使用前请自行确认授权范围。