教机器遗忘或许比学习更重要：让AI健忘的三种方式

大数据文摘出品

编译：臻臻、Shan LIU、龙牧雪

大部分人不会喜欢遗忘的感觉。

回到家顺手把钥匙丢在一个角落就再也想不起来放在哪儿了，街角偶遇一个同事却怎么拍脑袋也叫不出他的名字……我们害怕遗忘，讨厌遗忘。

然而，生而为人，健忘其实是种关键能力。

对于人类而言，遗忘绝不仅仅是“想不起来”，而是一个帮助大脑吸收新信息并锻炼有效决策的积极过程。

现在，数据科学家们正在尝试应用神经科学原理来改进机器学习，并且坚信人类大脑能够解锁图灵完备的人工智能。

人脑为什么需要遗忘

我们的大脑被普遍认作为信息过滤器。先放入一大堆乱七八糟的数据，筛选有用的信息，然后清理任何不相关的细节，用以陈述故事或作出决策。清除没用的细节是为了给新数据腾出储存空间，类似在计算机上运行磁盘清理。

用神经生物学的术语来说，遗忘发生于神经元之间的突触连接减弱或者消失之时，同时随着新神经元的发育，他们又会重新连接海马回路，覆盖现有记忆。

对于人类来说，遗忘有两个好处：

通过减少过时信息对我们决策的影响来增强灵活性

防止过度拟合过去的特定事件和促进概括能力

为了有效地适应环境，人类需要有策略性遗忘的能力。

计算机也需要遗忘?

计算机的遗忘与人类的不同，这是人工智能面临的一大挑战。深度神经网络在完成机器学习任务方面非常成功，但它们的遗忘方式也与我们不一样。

举一个简单的例子，如果你教一个讲英语的孩子学习西班牙语，这个孩子会在学习过程中应用英语学习的技巧，比如名词、动词动态、句子建立方法等。同时他会忘记那些不相关的部分，比如口音、嘟囔、语调等。如此，这个孩子可以在策略性遗忘的同时逐渐学习和建立新的思维方式。

相比之下，如果你已经训练了一个神经网络去学习英语，那么它的参数则已经适应了英语问题的解法。此时你要教它学习西班牙语，它就会生成新的适应系统并覆盖以前为学习英语所获得的知识，删除所有内容并重新开始。这被称作“灾难性遗忘”，并被认为是“神经网络的一个根本局限”。

虽然这还是一个新领域，最近科学家们已经在探索克服这种限制的潜在理论，并取得了长足的进步。

三、3个方法教AI学会遗忘

1. 长短期记忆网络(LSTM)

LSTM是一种循环神经网络，它使用特定的学习机制来决定在任意一个节点哪些信息需要记住，哪些需要更新，哪些需要关注。

LSTM工作机制如何?一个简单的解释是拿电影来做类比：假设一个计算机正在尝试通过分析先前的场景来预测电影中接下来会发生的事。一个场景是一个女人拿着一把刀，计算机会猜测她是一个厨师还是凶手呢?另一个场景中，一个女人和一个男人在金色拱门下吃寿司：计算机会猜他们是在日本还是麦当劳呢?或者其实他们是在圣路易斯?

大拱门是美国圣路易斯的标志性建筑

LSTM通过以下3步提升神经网络：

(1) 遗忘/记忆

(2) 保存

当模型看到一张新图像，它需要了解这个图像是否有什么信息值得被使用和保存。如果一个女人在某个场景中路过广告牌，机器应该记住这个广告牌还是将其视作噪声数据忽略掉呢?

(3) 划重点

我们可能需要记住电影中的这个女人是个母亲这一信息点，因为我们稍后会看见她的孩子们，但是这个信息在她不出现的场景里可能并不重要，所以在那些场景里我们不需要重点关注。同样，并非所有存储在神经网络的长期记忆中的内容都是立即相关的，所以LSTM所做的就是在安全保存所有信息备用的同时，帮助决定哪一部分在哪一时刻被重点关注。

2. 弹性权重固化(EWC)