该框图指出，核心方案是采用两阶段策略：将“离线强化训练”作为低成本的热启动，再衔接“在线强化训练”进行高成本精修，从而在同预算下提高表现。参数更新主链强调这并不是单纯地“训练两遍”，阶段I利用DPO/IPO约束分布外风险，阶段II通过GRPO/GSPO进行策略精修。在成本与得分实例中，对比了SFT、MPO、GRPO和GSPO算法，显示虽然GRPO和GSPO耗时更长，但得分相对更高（注：此为单独算法对照，非级联实测）。最后指出了未来的创新边界，要求不能仅将DPO到GRPO顺序连接，需新增由病斑定位质量和理由可靠性决定阶段切换的机制，并进行固定、能力驱动与随机切换的可比性验证。本图内容适合AI算法工程师、大模型强化学习研究者、自然语言处理/多模态领域的研究生以及关注AI算力成本优化的技术决策者阅读参考。