该图展示了模型微调(Fine-tuning)体系中的参数与数据权衡图谱,核心观点为“改多少,是这门手艺的全部”。图中指出同一基座从提示微调到全量重训,中间隔着数量级的参数与数据差异。横轴呈现了四种微调范式:01 提示微调(可调参数<0.1%)、02 适配器与LoRA(约1%)、03 部分层解冻(约10%)和04 全量微调(100%)。上方虚线展示了“性价比拐点”的规律:随着可调参数比例增加,收益初期显著上升,但在参数达到10%(部分层解冻)后,若继续向右推进至全量微调,边际收益大幅递减,甚至变为成本负担。图中下方详细对比了各范式的适用场景(单任务/多任务/域迁移/一次微调)、所需标注数据(几百条/几千条/上万条/十万条以上)、典型方法及主要风险。底部的核心结论指出:选择微调档位只需看三件事——标注数据量、容忍的遗忘程度及推理端算力;三件若有两件不达标,就应往左退一档,这比在右端盲目堆算力更划算。
提示: 本内容由社区用户上传并分享。平台不对内容的真实性、合法性、知识产权归属及是否侵害第三方权利进行事前审核或保证。本内容可能包含受版权保护的图片、字体或其他第三方素材,使用前请自行确认授权范围。