该框图主要分为三个部分:A训练主链路展示了从预训练多模态模型(视觉+问题+答案候选)出发,先经历离线强化训练(利用偏好样本进行低成本热启动),再进入在线强化精修(在线采样和相对优势更新),最后进行模型验证的完整流程;B双阶段作用机制与强基线解释了“先离线,再在线”的检验作用,离线阶段侧重偏好对齐,固定经验样本,不依赖实时大量采样,目标是加速收敛并稳定初始策略,在线阶段侧重策略探索,随模型更新生成新响应,目标是突破离线数据的性能天花板,同时设置了对照实验,比较了SFT(普通监督微调)、MPO(仅离线)、GSPO(仅在线)以及MPO→GSPO(离线→在线级联);C原文可核对的4B模型实例通过柱状图展示了相同响应数量附近“得分-GPU小时”的对比结果,数据显示MPO→GSPO级联方案在得分(72.2)上略高于仅在线GSPO(72.0),且远高于仅离线MPO(70.8),在算力成本(GPU-h)上,级联方案仅需68.3,显著低于仅在线GSPO的168.6,实现了性能与成本的更优平衡,底部注明结果仅为原文表3的一种设置,勿外推所有模型。
提示: 本内容由社区用户上传并分享。平台不对内容的真实性、合法性、知识产权归属及是否侵害第三方权利进行事前审核或保证。本内容可能包含受版权保护的图片、字体或其他第三方素材,使用前请自行确认授权范围。