模板社区
多路随机缩放向量如何改变微调参数
立即使用
0
0
0
举报
发布时间:2026年11月08日
多路随机缩放向量如何改变微调参数
该框图展示了研究图谱中的一项中文首发研究:“多路随机缩放向量如何改变微调参数?”该方法基于多路随机缩放向量进行大模型微调。图片分为两个主要部分。A(权重更新示意):原始模型权重保持冻结,模型通过多个并行的分支结构,将冻结矩阵输入低秩矩阵,再经过缩放向量处理。图中特别标注了“训练仅更新缩放向量”,说明其核心机制在于保持主干和低秩矩阵不变,仅训练极轻量的缩放向量参数(图中分支数量仅为示意)。B(原文如何验证):原文使用LLaMA-7B作为底座,在8个常识推理数据集上进行验证,比较对象包括LoRA、Adapter等,结果口径为比较各数据集上的平均准确率。资料来源为2025年2月13日的中国科技论文在线。
发布时间:2026年11月08日
发表评论
打开APP查看高清大图
多路随机缩放向量如何改变微调参数
下载eddx文件
下载客户端
立即使用
社区模板帮助中心,
他的近期作品
查看更多>>