该图展示了医学多模态预印本论文MedM0的核心框架，围绕“跨模态对齐—多任务微调—可验证奖励”展开，旨在解决病灶区域证据的可靠性问题。内容分为三大板块：A 展示不同医疗模态（放射影像、眼底图像、病理显微）经异构视觉编码后，通过跨模态映射层实现视觉—文本连接，最终由医学语言主干生成报告与位置；B 提出三阶段训练配方：阶段1进行跨模态预训练以对齐语言语义，阶段2执行多任务指令微调（涵盖描述、问答、报告、检索、病灶框），阶段3引入可验证奖励强化（事实核验+病灶框GIoU），强调视觉定位与事实可靠性共同影响训练反馈；C 给出直接警示，指出不能仅合并定位奖与知识奖励，MedM0已做事实核验+框级空间奖励，新方案需具备病害特有、可核查的训练更新，并强调小病斑、相似病害与跨棚室数据，基线需对比普通GRPO或MedM0式组合奖励。该内容适用于从事医学多模态大模型、视觉-语言预训练及强化学习对齐研究的科研人员与硕博研究生。