权重归一化：加速深度网络训练的简单重参数化方法

本文提出权重归一化（Weight Normalization），一种用于加速深度神经网络训练的简单重参数化方法。该方法将权重向量分解为方向向量和标量幅度，分别进行优化，从而改善优化条件，加快收敛速度。实验表明，在多种网络架构和任务上，权重归一化能显著提升训练速度，且实现简单，计算开销小。