模板社区
无泄漏梯度工具和数据调度流程
立即使用
5
0
0
举报
发布时间:2026年11月05日
无泄漏梯度工具和数据调度流程
三类梯度来源:真实训练批次给出类别均衡的真实样本及其真实梯度 g_real;合成候选给出经过质量筛选的候选对及其合成梯度 g_syn,i;仅用于训练的元数据集采用互不相交的真实元训练划分,给出元改进梯度 g_meta。三路梯度汇入梯度效用评分模块,且只在可训练适配器上计算:a_i 取合成梯度与真实梯度的余弦相似度,b_i 取合成梯度与元梯度的点积,q_i 由 αa_i 加 βb_i 加 γc_i 减 δr_i 加权得到,其中 c_i 为稀有类别覆盖度,r_i 为病理错误或梯度冲突,可选在小子集上做精确一步元校验。评分结果先经过安全门:拒绝标签与掩码不匹配、重复及泄漏样本,不确定样本转交专家评审。随后进入预算感知调度,权重 w_i 由 q_i 除以温度 τ 后 softmax 并乘以有效性门控得到,同时设置类别上限与真实合成比例约束。最后执行加权模型更新,总损失为真实损失加 α 倍合成损失,并周期性以低成本重新评分。
发布时间:2026年11月05日
发表评论
打开APP查看高清大图
无泄漏梯度工具和数据调度流程
下载eddx文件
下载客户端
立即使用
社区模板帮助中心,
他的近期作品
查看更多>>