流程图分为三个递进阶段:S1(ViTDeT主干预训练)输入大量未标注工业场景图像,利用Patch HOG特征重建被遮盖部分,训练后保留主干权重;S2(DINO检测头对比预训练)冻结S1主干,对同图执行两种随机增强生成视图A与视图B,利用伪框对应关系和两头输出对比损失来训练检测头;S3(少量标注端到端微调)组装S1主干与S2检测头的权重作为初始化,采用标注样本进行反向传播,同时更新两部分权重。D区特别指出了该技术作为病害MLLM训练原型的边界:可借鉴其“无标注预训练→对比预训练→少量标注微调”的阶段性权重传递;但不能直接将其通用阶段顺序或掩码HOG重建声称为自己的创新。若要改造成多模态大语言模型,必须新增真实图文监督与语言目标,并重新定义损失函数。
提示: 本内容由社区用户上传并分享。平台不对内容的真实性、合法性、知识产权归属及是否侵害第三方权利进行事前审核或保证。本内容可能包含受版权保护的图片、字体或其他第三方素材,使用前请自行确认授权范围。