麻省理工科技评论：分析发现深度学习正在走向终点

麻省理工科技评论在1月25日发布的一篇文章中，分析了截至2018年11月18日，论文数据库中arXiv的16625份关于AI的论文。从分析结果看，“AI”概念的风靡，有三个典型时期：90年代末21世纪初机器学习兴起，2010年代初神经网络概念复辟，近几年强化学习概念卷土重来。

值得注意的是，arXiv的AI论文模块始于1993年，而“人工智能”的概念可以追溯到1950年，因此这一只能反馈近26年以来的AI研究。而且，arXiv每年收录的论文，也仅代表当时人工智能领域的一部分研究。不过，它仍然是观测AI行业研究趋势的最佳窗口。

我们接下来就来看一下，16625份论文提供了哪些信息。

起点：解救程序员

基于知识的系统，由人类将知识赋予计算机，而计算机承担知识的存储和管理功能，帮助人类解决问题。转变为机器学习后，计算机可以自主学习所有的人类知识。这是21世纪以来AI研究最大的转变。

在相关论文提及率最高的100个单词中，“逻辑”“约束”“规则”等基于知识系统的词语，自90年代以来出现率显著下降，而“数据”“网络”“性能”增长最为明显。

麻省理工科技评论称，这种变化的原因非常好理解。上世纪80年代，基于知识的系统广受欢迎，但各种各样的项目推进的同时，研究者遇到了一个问题：需要编写太多太多的规则，才能让计算机作出有效决策，这种成本太过高昂，研究者的动力也就随之减少。

机器学习实际上是解决这个问题的方案。机器学习让计算机从一系列数据中提取规则，把程序员从编码“逻辑”“规则”“约束”中解救了出来。

神经网络井喷

机器学习开始登上舞台，但是向深度学习的转变并没有马上出现。神经网络是深度学习的核心机制，但麻省理工科技评论对16625篇论文关键字检索的结果显示，研究者还尝试了各种其他“提取规则”的方法，包括贝叶斯网络、马尔可夫模型、进化算法和支持向量机（support vector machines，SVM）等。

上世纪90年代到21世纪初，这些方法都在相互竞争。一直到2012年，视觉识别领域一年一度的ImageNet竞赛中，多伦多大学的Geoffrey Hinton教授和两个学生（Ilya Sutskever 和Alex Krizhevsky）的AlexNet横空出世，把图像识别的Top-5错误率（给出的前N个答案中有一个是正确答案的概率）降低到了15.3%，比亚军的26.5%低了41%）。

为了构建识别成千上万图像的系统，该团队采用了卷积神经网络。为避免数据过度拟合，AlexNet采用的神经网络还使用了数据扩充（平移、翻转等），以及随机（概率为0.5）“删除”（dropout）一些神经元来减少工作量等。

Geoffrey Hinton教授当时强调，深度对最终的识别精度尤为重要。深度学习技术由此引起了广泛关注。它从图像识别领域逐渐扩展开来，神经网络概念也随之井喷。

强化学习兴起

在深度学习推广数年后，人工智能发生了迄今为止的最后一次重要转变，即强化学习的兴起。

机器学习算法可以分为三种：有监督的学习，无监督的学习，以及强化学习。

有监督的学习给机器提供已经标记过的数据，机器学习的那些行为都是正确的行为。例如，标记过的花卉数据集告诉正在学习的机器模型，哪些照片分别是玫瑰、雏菊和水仙。而在给出一张测试图像时，机器应该把它和学习的数据进行对比，判断那是玫瑰、雏菊还是水仙。

有监督的学习最适用于解决有参照背景的问题。例如物品分类，或是基于面积、位置和公交便利程度判断住宅价格。所以，它是是最常用的也是最实用的机器学习算法。