该流程D(数据与模型初始化)结合大量未标注图像(用于S1/S2自监督)与少量人工标注图像(用于S3微调),明确核心贡献是训练方法而非LLM问答。S1(掩码自编码:预训练ViTDeT视觉主干)将图像裁剪并提取HOG特征,随机遮掩60%后输入12层ViT主干,通过4层768维掩码解码器重建HOG特征(MSE损失),训练完成后丢弃解码器,仅保留主干权重传递给后续阶段。S2(伪框+双增强视图:预训练DINO检测头)冻结S1主干,对图像施加不同增强生成视图A和B,通过两个DINO检测头(A冻结、B使用EMA更新),结合MLP伪框回归损失与两分支特征对齐损失,训练出检测头初始权重。S3(少量标注数据:端到端联合微调)载入S1主干与S2检测头权重,输入带真实标注的数据,提取多尺度特征后输出定位与类别,利用监督误差进行全网络反向传播更新。内容适合计算机视觉算法工程师、工业视觉检测研发人员、自监督学习领域的研究者以及关注大模型微调策略的研究生阅读参考。
提示: 本内容由社区用户上传并分享。平台不对内容的真实性、合法性、知识产权归属及是否侵害第三方权利进行事前审核或保证。本内容可能包含受版权保护的图片、字体或其他第三方素材,使用前请自行确认授权范围。