本图为大模型基座如何发挥作用:从病斑 token 到参数更新,核心思路不是直接把分类结果送入大语言模型,而是将病斑视觉证据送入 LLM 隐空间,依靠多任务损失共同完成参数训练。整体流程分为输入证据构建、大模型内部计算结构、三阶段训练策略三大部分。Ⅰ 输入与证据构建,整合设施图像 I、病斑标注 R、症状语义 S、病害知识 K 以及场景条件 c 五类信息作为整套输入素材。Ⅱ 大模型内部计算结构分为两条分支:视觉证据通路通过视觉编码器完成图像编码、病斑定位分割,输出病斑区域 token;语义知识证据通路对症状做结构化处理并检索病害知识,整合形成证据上下文 E;之后经由跨模态连接器把病斑视觉 token 映射到语言隐空间;病斑证据、症状语义、检索知识共同送入 LLM 主干内部,以 LoRA/Adapter 作为主要可微调参数。模型同时输出病害后验、证据回指、症状解释以及不确定性评估;利用定位、对齐、诊断、证据、稳健性组成联合总损失反向传播更新各个模块参数。Ⅲ 设置三阶段递进训练策略:阶段 Ⅰ 证据表征,优先学习病斑特征与症状之间的对应关系;阶段 Ⅱ 证据推理,借助知识增强指令,增加证据一致性约束训练;阶段 Ⅲ 稳健泛化,引入域扰动,做多场景适配以及不确定性校准。文末附带参考文献。整套方案实现从病斑证据提取一直到模型参数迭代更新完整闭环。无论开展课题绘图、基金技术路线撰写的研究生与科研人员,都可以参考该内部机理设计思路。
提示: 本内容由社区用户上传并分享。平台不对内容的真实性、合法性、知识产权归属及是否侵害第三方权利进行事前审核或保证。本内容可能包含受版权保护的图片、字体或其他第三方素材,使用前请自行确认授权范围。