这框图展示了跨领域创新研究《GenAU与Anomaly-LR:让局部缺陷成为训练监督》,探讨了工业缺陷(如早期小病斑)在视觉证据定位、生成解释和潜空间证据保存方面的机制。A部分(GenAU:语言Token驱动的缺陷分割):输入缺陷图像与指令,由视觉语言模型主干(图像编码、跨模态投影、语言解码器)处理。模型引入专用分割令牌([SEG_defect] / [SEG_normal]),通过分割查询与多尺度视觉特征,从语言隐藏状态查询像素信息,获得缺陷区域分割结果。其联合目标为“语言建模损失+分割损失”,创新点在于同一MLLM支持回答与像素级定位。B部分(Anomaly-LR:缺陷潜空间逐级细化):通过全局视觉理解形成整体异常语境并定位潜在异常,再进行视觉潜空间推理,逐层细化缺陷相关表征。流程包含特征token、证据token到定位token的转换。区域证据监督的训练含义在于最终答案不应抹去局部缺陷线索。其迁移假设是病斑局部证据应穿过视觉潜变量并影响诊断回答。底部注明两篇论文各自拥有区域证据技术,面向温室病害的训练改进需另行提出并验证。
提示: 本内容由社区用户上传并分享。平台不对内容的真实性、合法性、知识产权归属及是否侵害第三方权利进行事前审核或保证。本内容可能包含受版权保护的图片、字体或其他第三方素材,使用前请自行确认授权范围。