自然语言处理前沿论坛在京召开 学者专家共探机器之读、写、说、译

　　5月26日，由百度与中国计算机学会中文信息技术专委会、中国中文信息学会青工委联合举办的“2019自然语言处理前沿论坛”正式召开。本届论坛主题为“机器之‘读、写、说、译’—— 探寻NLP未来之路”。论坛围绕语义计算、自动问答、语言生成、人机对话及机器翻译五大议题，与学术界、工业界一线青年专家学者共同探讨NLP领域的最新技术进展、产业应用及发展趋势。

　　语义计算

　　语义计算方面，学者专家围绕词向量、稀疏化深度学习、表示学习等方向进行分享。

　　哈尔滨工业大学计算机科学与技术学院教授车万翔以“从‘静态’到‘动态’词向量”为题发表演讲。词向量的引入开启了深度学习应用于自然语言处理的时代。相比于静态词向量，动态词向量可以根据上下文，更好地处理一词多义现象，大幅提高自然语言处理多个任务的准确率。车万翔介绍了研究组基于动态词向量开展的相关工作，包括跨语言动态词向量[1]、few-shot learning、轻量级动态词向量模型等。关于未来的研究方向，车万翔认为可以挖掘更多的“伪数据”训练词向量模型，同时进一步降低模型的复杂度、提升模型速度。

　　北京大学信息科学技术学院研究员、长聘副教授孙栩的演讲主题为“Recent Studies on Sparse Deep Learning for Natural Language Processing”。 孙栩表示，当前深度学习多是密集型深度学习，需要更新所有神经元，这对能量消耗非常大。孙栩聚焦在稀疏化的深度学习NLP，提出一个简单有效的算法meProp[2]来简化训练及训练出的神经网络。在反向传递算法中，找出梯度中最重要的信息，仅用全梯度的一小部分子集来更新模型参数。实验表明，在多个任务上5%左右的稀疏化程度就可以达到很好的效果。此外，还提出了带记忆的meProp，具有更好的稳定性，达到更好的反向传递。在进一步的自然语言处理任务中，可以把模型裁剪为原来的1/10左右[3]，而保持效果基本不变。

　　复旦大学计算机科学技术学院副教授邱锡鹏主要介绍了NLP中的表示学习进展。目前全连接自注意力模型在自然语言处理领域取得广泛成功。模型层面，他分析和对比了CNN、RNN、Transformer的基本原理和优缺点，还介绍了如何设计模型，以更好地融合局部和非局部的语义矩阵关系。邱锡鹏介绍了研究组最新提出的star-transformer模型[4]，通过引入中间节点，大幅降低了模型复杂度。学习层面，通过预训练模型以及知识增强(比如ELMo、BERT、GPT、ERNIE等)提高模型泛化能力，在自然语言任务上获得了更好的性能。邱锡鹏认为，未来可以进一步探索如何更好地融合先验知识，构建更灵活、兼容性更强的预训练框架。

　　百度NLP主任研发架构师、语义计算技术负责人孙宇介绍了百度语义计算技术发展脉络及研发现状，并分享了该技术在百度各产品中的应用情况。据介绍，百度语义计算着力研究如何利用计算机对人类语言的语义进行表示、分析和计算，使机器具备语义理解能力。研发了包括语义表示ERNIE[5]、语义匹配SimNet、语义解析、多模态语义计算在内的多项领先语义技术。语义匹配方面，百度提出了一种基于增强学习的语义匹配框架，有效解决长文本匹配问题。在语义表示方面，今年3月，提出知识增强的语义表示模型 ERNIE，并发布了基于 PaddlePaddle 的开源代码与模型[6]。相较于BERT学习原始语言信号，ERNIE 直接对先验语义知识单元进行建模，增强了模型语义表示能力，在多项中文自然语言处理任务上取得最好的效果。

　　自动问答

　　中国科学院自动化研究所模式识别国家重点实验室副研究员刘康结合研究组近年的工作[7][8]，介绍了文本阅读理解的研究进展与挑战。刘康首先介绍了阅读理解的主要任务、基本原理和数据集。在研究进展方面，介绍了基于深度学习的阅读理解模型框架、注意力机制、基于上下文的编码模型，以及预训练模型等。同时，他强调，阅读理解面临一系列的挑战，如合理构建数据集、如何提升模型推理能力、如何更好地使用外部知识等。在未来工作方面，刘康认为阅读理解经过了数据驱动模型的阶段，现在学术界开始逐步研究如何利用知识图谱提升机器阅读理解效果。在未来，如何更好地表示和应用知识，是非常值得研究的，也有很长的路要走。