该框图A区(S1视觉主干:掩码HOG预测)输入未标注图像裁剪为224×224,经8×8单元格提取梯度,生成14×14 HOG patch并随机遮掩60%。模型采用12层ViT主干与4层临时解码器,训练目标并非重建原始像素,而是利用被遮掩位置的MSE特征重建损失来预测HOG。训练完成后丢弃解码器,仅保留主干权重(θ_v)进入后续阶段。B区(S2双分支:伪框回归+特征一致性)冻结S1主干,对图像施加两种随机增强生成视图x1和x2。数据流分为两支:DINO头A(Student)进行伪框回归(位置/IoU)并输出特征;DINO头B(Teacher)通过EMA更新权重,与A进行特征对齐对比学习。该阶段输出检测头初始权重(θ_D)。C区(S1/S2训练信号与权重流向)以表格形式明确对比了两阶段。S1优化信号为HOG重建MSE,实际更新ViT与解码器,仅保留主干预训练权重,强调不应误读为图像像素重建;S2优化信号为伪框回归与特征对比,更新DINO头等,保留检测头权重,强调不应误读为主干全量更新。本图内容适合计算机视觉算法工程师、工业视觉检测研发人员、自监督学习与特征重建研究者,以及关注模型微调策略的研究生阅读参考。
提示: 本内容由社区用户上传并分享。平台不对内容的真实性、合法性、知识产权归属及是否侵害第三方权利进行事前审核或保证。本内容可能包含受版权保护的图片、字体或其他第三方素材,使用前请自行确认授权范围。