深度神经网络的分布式训练概述：常用方法和技巧全面总结

独立研究者 Karanbir Chahal 和 Manraj Singh Grover 与 IBM 的研究者 Kuntal Dey 近日发布了一篇论文，对深度神经网络的分布式训练方法进行了全面系统的总结，其中涉及到训练算法、优化技巧和节点之间的通信方法等。机器之心摘取了论文主干内容进行介绍，更多有关数学推理过程和算法步骤的解读请参阅原论文。

论文地址：https://arxiv.org/abs/1810.11787

深度学习已经为人工智能领域带来了巨大的发展进步。但是，必须说明训练深度学习模型需要显著大量的计算。在一台具有一个现代 GPU 的单台机器上完成一次基于 ImageNet 等基准数据集的训练可能要耗费多达一周的时间，研究者已经观察到在多台机器上的分布式训练能极大减少训练时间。近期的研究已经通过使用 2048 个 GPU 的集群将 ImageNet 训练时间降低至了 4 分钟。这篇论文总结了各种用于分布式训练的算法和技术，并给出了用于现代分布式训练框架的当前最佳方法。更具体而言，我们探索了分布式随机梯度下降的同步和异步变体、各种 All Reduce 梯度聚合策略以及用于在集群上实现更高吞吐量和更低延迟的最佳实践，比如混合精度训练、大批量训练和梯度压缩。

1. 引言

(1) 背景和动机

数据正以前所未有的规模生成。大规模互联网公司每天都会生成数以 TB 计的数据，这些数据都需要得到有效的分析以提取出有意义的见解 [1]。新兴的深度学习是一种用于执行这种分析的强大工具，这些算法在视觉 [2]、语言 [3] 和智能推理 [4] 领域的复杂任务上创造着当前最佳。不幸的是，这些算法需要大量数据才能有效地完成训练，而这又会耗费大量时间。第一个在 ImageNet 分类任务上取得当前最佳结果的深度学习算法在单个 GPU 上训练足足耗费了一周时间。在如今的时代，这样的速度已经完全不行了，因为现在的模型训练所使用的数据甚至会让 ImageNet 数据集的规模都相形见绌。现在存在以横向方式延展深度学习训练的内在需求，同时还要保证能够维持单 GPU 模型那样的准确度。理想情况下，这种训练的速度应该随机器数量的增加而线性增大，同时还要能容错以及能在高延迟网络条件下收敛。

(2) 分布式训练概述

神经网络的分布式训练可以通过两种方式实现：数据并行化和模型并行化。数据并行化的目标是将数据集均等地分配到系统的各个节点(node)，其中每个节点都有该神经网络的一个副本及其本地的权重。每个节点都会处理该数据集的一个不同子集并更新其本地权重集。这些本地权重会在整个集群中共享，从而通过一个累积算法计算出一个新的全局权重集。这些全局权重又会被分配至所有节点，然后节点会在此基础上处理下一批数据。

模型并行化则是通过将该模型的架构切分到不同的节点上来实现训练的分布化。AlexNet [2] 是使用模型并行化的最早期模型之一，其方法是将网络分摊到 2 个 GPU 上以便模型能放入内存中。当模型架构过大以至于无法放入单台机器且该模型的某些部件可以并行化时，才能应用模型并行化。模型并行化可用在某些模型中，比如目标检测网络 [5]，这种模型的绘制边界框和类别预测部分是相互独立的。一般而言，大多数网络只可以分配到 2 个 GPU 上，这限制了可实现的可扩展数量，因此本论文主要关注的是数据并行化。

本论文大致分为六个章节，第一节将介绍已有的优化训练算法。第二节将关注用于连接网络各节点的通信策略。第三节会探索一些具体技术，比如大批量训练、梯度压缩以及用于在低功耗设备和低速网络条件下实现有效训练的混合精度训练。第四节则会消化之前章节的信息，并选择出用于不同设定的最优的训练算法和通信原语。最后两节分别是未来研究方向和总结。

2. 分布式训练框架的组件

(1) 分布式训练算法

一个常用于分布式设定中的训练的常用算法是随机梯度下降(SGD)，该算法将是我们进一步讨论中的核心点。需要指出一个重点，针对 SGD 提及的原则可以轻松地移植给其它常用的优化算法，比如 Adam [6]、RMSProp [7] 等等 [8]。分布式 SGD 可以大致分成两类变体：异步 SGD 和同步 SGD。

同步 SGD [9] 的目标是像分布式设置一样对算法进行复制，由此将网络中的节点紧密地耦合到一起。而异步 SGD [10] 则会通过降低节点之间的依赖程度而去除不同节点之间的耦合。尽管这种解耦能实现更大的并行化，但却不幸具有副作用，即稳定性和准确性要稍微差一些。人们已经提出了一些对异步 SGD 的修改方式，以期能缩小其与同步 SGD 的准确度差距。最近的研究趋势是扩展同步 SGD，更具体而言，即用大批量来训练网络已经得到了出色的结果。