如何从零开始构建深度学习项目？这里有一份详细的教程

在学习了有关深度学习的理论课程之后，很多人都会有兴趣尝试构建一个属于自己的项目。本文将会从第一步开始，告诉你如何解决项目开发中会遇到的各类问题。

本文由六大部分组成，涵盖深度学习 ( DL ) 项目的整个过程。我们将使用一个自动漫画着色项目来说明深度学习的设计、程序调试和参数调整过程。

本文主题为「如何启动一个深度学习项目?」，分为以下六个部分：

第一部分：启动一个深度学习项目

第二部分：创建一个深度学习数据集

第三部分：设计深度模型

第四部分：可视化深度网络模型及度量指标

第五部分：深度学习网络中的调试

第六部分：改善深度学习模型性能及网络调参

第一部分：启动一个深度学习项目

1. 应该选择什么样的项目?

很多人工智能项目其实并没有那么严肃，做起来还很有趣。2017 年初，我着手启动了一个为日本漫画上色的项目，并作为我对生成对抗网络 ( GAN ) 研究的一部分。这个问题很难解决，但却很吸引人，尤其是对于我这种不会画画的人来说!在寻找项目时，不要局限于增量性改进，去做一款适销对路的产品，或者创建一种学习速度更快、质量更高的新模型。

2. 调试深度网络(DN)非常棘手

训练深度学习模型需要数百万次的迭代，因此查找 bug 的过程非常艰难，而且容易崩坏。因此我们要从简单的地方着手，循序渐进，例如模型的优化(如正则化)始终可以在代码调试完成后进行。此外，我们还需要经常可视化预测结果和模型度量标准，并且我们首先需要令模型跑起来，这样就有一个可以后退的基线。我们最好不要陷在一个很大的模型，并尝试将所有的模块都弄好。

3. 度量和学习

宏伟的项目计划可能带惨烈的失败。多数个人项目的第一个版本会持续两到四个月，这个时间非常短暂，因为研究、调试和实验都需要花费大量的时间。一般我们安排这些复杂的实验，使其通宵运行，到第二天清晨时，我们希望得到足够的信息来采取下一步行动。在早期阶段，这些实验不应超过 12 小时，这是一条良好的经验法则。为了做到这一点，我们将漫画上色项目范围缩小到单个动画人物的上色。此外，我们需要设计很多测试，因此借助它们分析模型在实验中的不足之处。一般这些测试不要计划得太远，我们需要快速度量、学习，并为下一步设计提供足够的反馈。

4. 研究与产品

当我们在 2017年春季开始讨论漫画上色项目时，Kevin Frans 有一个 Deepcolor 项目，用 GAN 为漫画添加色彩提示。

在确定目标时，你会花很大力气来确保项目完成后仍然具有意义。GAN 模型相当复杂，2017 年初还没达到嵌入产品所需的质量水准。然而，如果你把应用范围缩小到产品可以巧妙处理的程度，你就可以把质量提高到商用水准。为此，无论着手启动何种 DL 项目，都要把握好模型泛化、容量和准确性之间的平衡。

5. 成本

必须使用 GPU 来训练实际模型。它比 CPU 快 20 到 100 倍。价格最低的亚马逊 GPU p2.xlarge 站点实例要价 7.5 美元/天，而 8 核 GPU 的价格则高达 75 美元/天。在我们的漫画上色项目中，一些实验花费的时间就超过两天，因此平均每周花费至少需要 150 美元。至于更快的 AWS 实例，花费可能高达 1500 美元/周。我们可以购买独立计算机，而不是使用云计算。2018 年 2 月，搭载 Nvidia GeForce GTX 1080 Ti 的台式机售价约为 2200 美元。在训练精调的 VGG 模型时，它比 P2 实例大约要快 5 倍。

6. 时间线

我们将开发分为四个阶段，最后三个阶段在多次迭代中进行。

项目研究

模型设计

实现及调试

实验及调参

(1) 项目研究

我们会先对现有产品进行研究，以探索它们的弱点。许多 GAN 类型的解决方案使用空间颜色提示，图案有点不清晰，有时还会出现颜色混杂。我们为自己的项目设定了两个月的时间框架，其中有两个优先事项：生成不带提示的颜色及提高颜色保真度。我们的目标是：

在单个动画角色上为灰度漫画着色，且不使用空间颜色提示。

(2) 站在巨人的肩膀上

接下来，我们需要了解相关的研究和开源项目，许多人在开始实践之前至少要看几十篇论文和项目。例如，当我们深入研究 GAN 时，发现有十几个新的 GAN 模型: DRAGAN、cGAN、LSGAN 等，阅读研究论文可能会很痛苦，但非常有意义。