该训练流程分为三个核心部分：A 数据与基础模型：利用多源监督（工业缺陷图像与专业多轮文本），构建ViT主干、查询Transformer及预训练LLM，确定“视觉先训练→语言再训练”的顺序。B 阶段Ⅰ·视觉端LoRA优化：冻结视觉编码器ViT主干，仅训练LoRA，通过共享增强特征的非线性投影头，结合类别交叉熵与原型监督对比损失（L_CE与L_proto）进行双监督学习。C 阶段Ⅱ·跨模态对齐与语言微调：将视觉特征经查询Transformer和嵌入映射层输入语言模型，通过自回归语言建模损失（交叉熵）更新语言端LoRA，完成跨模态对齐。图中底部还以表格形式列出了各模块（视觉ViT、查询Transformer、视觉嵌入层、语言模型）的训练阶段与参数路径。图片底部特别强调了严格边界：该专利属于“工业多模态大模型两阶段训练的先例”，并建议研究者借鉴其视觉/语言阶段协同更新机制，在同等算力下进行消融验证。