该框图展示了大语言模型训练中一种名为“梯度低秩投影”的方法（原论文机制为DPI-GLRP）。其核心思想是改变反向传播过程，用少数方向来表示大矩阵的梯度，整体分为三个面板：A（原始梯度）：展示一次反向传播得到的完整高维梯度矩阵（G）；B（构造投影基）：通过动态计算，迭代寻找前r个主方向，构建低维投影基（图示为三个柱状向量），以代表梯度的核心方向；C（梯度投影）：将原始梯度矩阵投影到上述构造的基上，得到低维坐标（H），实现降维，其公式可表示为H = P^T G。图片底部指出该方法的训练瓶颈与创新：重复构造梯度子空间需要大量计算，且当特征值彼此接近时，普通计算迭代收敛较慢。为此，作者利用矩阵的秩一近似来构造多个方向，并动态调整迭代参数，从而有效降低了计算主方向的开销。该研究为高效训练大模型提供了参数优化的新视角。无论你是深耕深度学习底层优化的科研学者、探索大模型显存与算力优化的算法工程师，还是关注前沿反向传播算法的技术开发者，都能从中获得架构设计上的启发。