电商搜索算法技术的演进

2018年9月28日，阿里电商搜索事业部迎来了一场以“搜·荐未来”为主题的技术峰会。

搜索与推荐算法经过多年的发展，从最初简单的统计模型，机器学习到形成完整的离线在线与实时的深度学习与智能决策体系，每年都有新的算法突破，帮助搜索与推荐的体验与效果取得大幅提升，成为驱动电商商业创新与发展的新引擎。站在今天总结过去的算法演进，同时看未来电商搜索推荐算法的发展，期待从机器智能到结合人类智能做到真正地认知智能，实现搜索推荐新的交互新体验。

今天，我们邀请青峰老师，带你回顾搜索算法技术的发展之路。

一 、淘宝搜索的一些特点

淘宝有几十亿商品，挂靠在几千个叶子类目，上百个一级类目，十几个行业下面。如何能让用户找到符合意图的商品，是淘宝搜索需要解决的首要问题。

淘宝搜索从大的架构或流程上来说，与传统的搜索引擎有不少相似的地方。包括对数据的整理、分析、索引产生索引库，如何根据用户输入的关键词在索引倒排表中进行检索，完成商品与检索之间的相关度评价，对将要输出的结果进行排序，并实现某种用户相关性反馈机制等。

当然作为电商的商品搜索来说，它天然的商业属性带来的更多是自身独特的技术特点。

从数据更新角度来看，淘宝的数据变化和更新非常快。每天大量的新商品数据被上传到网站，一旦新商品被上传，这个商品就需要被搜索到。不像网页搜索，任何人可以发布新的网页，但是否被搜索引擎收录是另一回事。同时在淘宝每天有大量的商品不停地在做更新，包括商品标题描述的变化，商品价格的改变，商品图片的更新，商品的上下架等等，这些变化也需要实时的更新到搜索中，以便让用户及时找到更新后的商品信息。而在全网搜索中，很多网页是静态不变，网页之间的相互关系也变化缓慢，大量索引的更新没有类似淘宝搜索这种实时性的需求。

从搜索数据源来看，淘宝商品的图片在用户研究和购买过程中起到了很大作用，搜索的展现结果中有很大一部分被图片所占据。如何更有效地利用图片的信息，无论是根据图片来做检索，或是考虑图片的质量，图片与文本的相互关系等都是淘宝搜索需要考虑和处理的。

另外一个特点是全链路特性。搜索，比较以及购买都发生在淘宝站内，不像一般的全网搜索引擎，用户搜索完后就跳离到其它网站，搜索前和搜索后的用户行数据是很难拿到的。而在淘宝搜索，用户搜索完后，会点击其中一些商品，然后比较这些商品，和卖家进行沟通，然后下单购买，或者返回来继续搜索，搜索前，搜索中和搜索后的数据和信息非常丰富，有全链路的用户行为数据能帮助我们设计一个更好的搜索排序算法。

最后更重要的一点淘宝是一个生态系统。而搜索排序算法的设计不只是体现了搜索本身的技术追求，也包含了更多的商业诉求。在全网搜索中，一般的网页是不是被索引，被索引后是不是能展现，对网页的拥有者来说并不是一个事关生活的决定点。在淘宝上则完全不同，很多商家依赖于淘宝来解决民生就业问题，网店的流量以及成交关系到很多人的生活。在淘宝搜索的算法设计中，既要考虑用户的搜索体验，也要考虑商业规则来保障公平性和流量的分散性。很多的搜索算法原理，规则或算法结果都会向卖家宣导，引导卖家向更好的方向发展。

二、搜索算法技术演进

作为淘宝海量消费者与平台的互动行为，大量商家在平台进行的商业活动的最主要承载者，淘宝搜索是大数据智能化应用的最佳场景;在淘宝搜索算法多年的发展过程中，依托于工程架构体系的逐步完善，逐步实现从简单人工运营加简单算法规则的时代，到形成完整的离线在线与实时的深度学习与智能决策体系，成为阿里电商平台流量分发与商业驱动的智能中枢，总结搜索算法技术的迭代进步，大概可以分成如下四个阶段：

2.1检索时代

这个阶段和业务相对应，搜索排序主要围绕规则和轮播展开。这个阶段数据量和用户量还处于可控程度，具有领域知识的专业运营和产品往往充当信息展示规则的制定者，根据主观的判断和对市场的敏锐度来制定查询词背后的商品展示逻辑。当然这个阶段搜索也会运用一些基本的算法逻辑来保证信息匹配的正确性和人货匹配的公平性，基于传统搜索引擎技术的相关性模型，保证用户查询词语商品标题的有效匹配;基于商品成交与否的销售人气模型，保证有助于被消费者接受的商品得到更多的展示机会。