揭秘！机器人和你对话时在想什么？

为什么聊天机器人越来越普及?聊天机器人不仅可以节省时间，提升效率，还能一天24小时提供服务，更是可以减少误差。聊天机器人背后的问题原理是什么?效率如何提升?就是今天我们要了解的内容。本篇内容已被收录于ACL2019，希望对你有所帮助。

1.背景

在Chatbot整体解决方案中， 既有面向任务型的taskbot(诸如订机票、查天气等)， 也有更偏向知识问答的qabot，而在客服场景下，最基础的类型也是这类。如果从知识库的形式来区分qabot，可以有 基于「文档」的doc-qabot、基于「知识图谱」的kg-qabot、基于「问答对」的faq-qabot等。我们这里重点关注的是最后一种faq-qabot(也简称faqbot)， 这种形式的方案对用户而言易理解易维护，也是目前chatbot解决方案中不可缺的一部分。

faqbot就是将query匹配到一条「问答对」上，从技术的角度看，有两大类方法， 一是text classification， 二是text matching，它们各有适合的场景，前者适合咨询量大且比较稳定的faq，后者适合长尾或时常变化的faq。

店小蜜是我们提供给阿里平台商家的一套智能客服解决方案。在店小蜜中， 基于Faq的问答是个很基础的部分，我们在这个领域，在文本分类和文本匹配上进行了各方面的研究和实践， 在本篇中重点对文本匹配的基础模型进行介绍。

「文本匹配」是NLP方向的一个重要研究领域，有着悠久的历史，很多NLP任务都与此相关，比如 natual language inference、parahparase identification、answer selection等，都可以归结成「文本匹配」问题。

有很多人研究这个课题， 当前优秀的匹配模型有哪些?这些模型有什么异同?这些模型存在哪些问题?这些都是我们展开这个项目需要先分析和回答的问题。我们通过分析SNLI榜单上的模型，有几个结论：

优秀的匹配模型都可以归纳成embed-encode-interacte-aggregate-predict五个步骤， interact部分主要是做inter-sentence alignment;

在interact步骤中的对齐操作，设计会比较复杂;而且很多模型只有一次interact步骤;

也有些更深的模型结构，会做多次的inter-sentence alignment， 但因为较深的模型面临着梯度消失、难以训练的问题;

不管是参数量还是响应时间，支撑像店小蜜这样对实时性能要求比较高的场景，都不是很理想。

所以我们在设计的时候， 要求我们的模型在更少的参数量、更简洁的模型结构、更少的inference cost， 保证更容易训练、更适合部署到生产环境， 在这几个前提下， 我们也希望能借鉴深层网络的优势，让我们可以很方便地加深我们的网络层次， 让模型有更强的表达能力。

2.模型

我们通过对学术界提出的各种模型，诸如Decomposable Attention Model、CAFE、DIIN等， 归纳总结，一个匹配模型的整体框架基本上有Embedding Layer、Encoder Layer、Interaction Layer、Aggregation Layer和Prediction Layer五层， 只是每一层都有不同的设计，我们实现一种可插拔的匹配模型框架， 每层都有一些典型的实现。

为了增强我们模型框架的表达能力， 我们将Encoder+Interaction Layer打包成一个Block， 通过堆叠多个Block， 通过多次的inter-sentence alignment，可以让我们的模型更充分地理解两句文本之间的匹配关系。

我们基于这种框架，通过大量试验得到一个模型结构RE2， 可以在各类公开数据集、和我们自己的业务数据上都能得到最优的结果，如下图所示。

RE2包括有N个Block， 多个Block的参数完全独立。在每个Block内有一个encoder产出contextual representation， 然后将encoder的输入和输出拼在一起，做inter-sentence alignment，之后通过fusion得到Block的输出。第i个Block的输出，会通过Augmented Residual Connection的方式与这个Block的输入进行融合， 作为第i+1个Block的输入。

下面我们详细介绍每个部分：

2.1 Augmented Residual Connection