该框图展示了研究图谱中的一项中文首发研究:“多路随机缩放向量如何改变微调参数?”该方法基于多路随机缩放向量进行大模型微调。图片分为两个主要部分。A(权重更新示意):原始模型权重保持冻结,模型通过多个并行的分支结构,将冻结矩阵输入低秩矩阵,再经过缩放向量处理。图中特别标注了“训练仅更新缩放向量”,说明其核心机制在于保持主干和低秩矩阵不变,仅训练极轻量的缩放向量参数(图中分支数量仅为示意)。B(原文如何验证):原文使用LLaMA-7B作为底座,在8个常识推理数据集上进行验证,比较对象包括LoRA、Adapter等,结果口径为比较各数据集上的平均准确率。资料来源为2025年2月13日的中国科技论文在线。
提示: 本内容由社区用户上传并分享。平台不对内容的真实性、合法性、知识产权归属及是否侵害第三方权利进行事前审核或保证。本内容可能包含受版权保护的图片、字体或其他第三方素材,使用前请自行确认授权范围。