神经架构搜索方法知多少

研究人员对机器学习和深度学习自动化兴趣的日益增长，促进了神经架构优化的自动化方法的发展。网络架构的选择至关重要，深度学习中的诸多进展也源于它的即时改进。但深度学习技术是计算密集型，而且应用深度学习需要较高的领域相关相关知识。因此，即便这一过程只有部分是自动化的，也有助于研究人员和从业人员更容易地使用深度学习。

这篇文章对现有方法做了统一和分类，并对比了不同的方法，还做了详细的分析。本文讨论了常见搜索空间以及基于强化学习原理和进化算法的常用架构优化算法，还有结合了代理模型和一次性(one-shot)模型的方法。

此外，本文还讨论了约束、多目标架构搜索、自动数据增强、优化器以及激活函数搜索等新的研究方向。

引言

在过去的两年中，机器学习领域一直在研究自动化搜索过程。可以这么说，Zoph 和 Le 的工作(2017)是这项研究工作开始的标志，他们的工作证明强化学习算法可以发现好的架构。此后不久，Real et al.(2017)表示，研究至今的神经进化方法(Floreano et al.，2008)也可以得到类似的结果。

但这两种搜索方法都要用 GPU 运行几千小时。因此，后续工作都试图降低这种计算负担。沿着这条思路，许多成功的算法都利用了重用已经学习好的模型参数的原则，其中最令人瞩目的是 Cai et al.(2018a)和 Pham et al.(2018)的工作。Cai et al.(2018a)提出可以从一个简单的架构开始搜索，通过功能保留的操作逐步增加搜索的宽度和深度。

现在更流行也更快的搜索方法是 Pham et al.(2018)提出的，他们构造了包含搜索空间中所有架构的过参数化架构。在算法的每一个时间步上，都会对这个大型架构中的一小部分进行采样和训练。训练完成后，抽样得到的架构可以共享训练权重，这样就可以将搜索的工作量减少到和训练单个架构差不多的水平。

搜索空间的设计构成了神经架构搜索的另一个重要组成部分。除了加快搜索过程外，这还会影响搜索的持续时间和搜索得到的解决方案的质量。在神经架构搜索的早期工作中，设计空间主要是为了搜索顺序架构的。但随着手工构建的分支架构已经在性能上超越了传统网络，因此刚发表不久后就提出了合适的搜索空间，并且这些空间已经成为了该领域的规范(Zoph et al.，2018)。

在这些工作取得进展的同时，研究人员拓宽了神经架构搜索的视野，希望神经架构搜索可以减少搜索时间，降低发现架构的泛化误差。可以同时处理多个目标函数的方法开始进入人们的视野。这方面值得注意的工作包括为了将模型部署在移动设备上，试着限制模型参数数量(Tan et al.，2018;Kim et al.，2017)或其他部分。此外，已经开发的架构搜索技术也已经扩展到深度学习其他相关组件的高级自动化上了。例如，激活函数的搜索(Ramachandran et al.，2018)以及合适的数据增强(Cubuk et al.，2018a)。

目前，以神经架构搜索的形式实现深度学习自动化是机器学习领域发展最快的方向之一。每周在 arXiv.org () 和主流会议刊物上都会出现一些有趣的工作，因此人们很容易迷失方向。

本文总结了现有方法。我们可以通过这样的总结辩证地审视不同的方法，并理解不同组件的好处，这些组件有助于神经架构搜索的设计与成功。在这一过程中，作者还试图消除一些常见的误解，并指出当前架构搜索趋势中的一些陷阱。作者还做了适当的实验补充自己的想法。

1. 神经架构搜索空间

神经架构搜索空间是神经架构一般定义的子空间。其运算空间是有限的，而且可以对架构施加一定的约束。本文接下来用搜索空间指代神经架构搜索方法的可行方案的集合。

2. 全局搜索空间

全局搜索空间中的实例(instances)在运算方面有很大的自由度。可以假设一个架构模板，它限制了架构定义中所允许的结构选择的自由。这个模板一般是用来修复网络图的某些方面的。

图 1 展示了模板约束搜索空间的架构样例。

图 1：全局搜索空间：(a)顺序搜索空间;(b)和跳跃(skips)相同;(c)架构模板，只有深蓝色运算之间的连接没有修复。

Tan et al.(2018)的另一项工作是找到可以部署在移动设备上的神经网络模型，该模型可以在准确性、推理时间以及参数数量等多个方面高效地执行。他们以此为目的设计了合适的搜索空间，该空间由具有层级表征的架构组成。

图 2

图 2：Tan et al.(2018)提出将架构分解成不同部分。每一部分 i 都有自己的模式(蓝色运算)，这一部分会重复 n_i 次并有 f_i 个过滤器。

3. 基于单元(cell-based)搜索空间