马蜂窝推荐系统容灾缓存服务的设计与实现

数据库突然断开连接、第三方接口迟迟不返回结果、高峰期网络发生抖动...... 当程序突发异常时，我们的应用可以告诉调用方或者用户「对不起，服务器出了点问题」;或者找到更好的方式，达到提升用户体验的目的。

背景

用户在马蜂窝 App 上「刷刷刷」时，推荐系统需要持续给用户推荐可能感兴趣的内容，主要分为根据用户特性和业务场景，召回根据各种机器学习算法计算过的内容，然后对这些内容进行排序后返回给前端这几个步骤。

推荐的过程涉及到 MySQL 和 Redis 查询、REST 服务调用、数据处理等一系列操作。对于推荐系统来说，对时延的要求比较高。马蜂窝推荐系统对于请求的平均处理时延要求在 10ms 级别，时延的 99 线保持在 1s 以内。

当外部或者内部系统出现异常时，推荐系统就无法在限定时间内返回数据给到前端，导致用户刷不出来新内容，影响用户体验。

所以我们希望通过设计一套容灾缓存服务，实现在应用本身或者依赖的服务发生超时等异常情况时，可以返回缓存数据给到前端和用户，来减少空结果数量，并且保证这些数据尽可能是用户感兴趣的。

设计与实现

设计思路和技术选型

不仅仅是推荐系统，缓存技术在很多系统中已经被广泛应用，小到 JVM 中的常用整型数，大到网站用户的 session 状态。缓存的目的不尽相同，有些是为了提高效率，有些是为了备份;缓存的要求也高低不一，有些要求一致性，有些则没有要求。我们需要根据业务场景选择合适的缓存方案。

结合到我们上面提到的业务场景和需求，我们采用了基于 OHC 堆外缓存和 SpringBoot 的方案，实现在现有推荐系统中增加本地容灾缓存系统。主要是考虑到以下几点因素：

1. 避免影响线上服务，将业务逻辑和缓存逻辑隔离

为了不影响线上服务，我们将缓存系统封装为一个 CacheService，配置在现有流程的末端，并提供读、写的 API 给外部调用，将业务逻辑和缓存逻辑隔离。

2. 异步写入缓存，提高性能

读、写缓存都会带来时间消耗，特别是写入缓存。为了提高性能，我们考虑将写入缓存做成异步的方式。这部分使用的是 JDK 提供的线程池 ThreadPoolExecutor 来实现，主线程只需要提交任务到线程池，由线程池里的 Worker 线程实现写入缓存。

3. 本地缓存，提高访问速度

在推荐系统中，给用户推荐的内容应该是千人千面的，甚至同一位用户每次刷新看到的内容都可能不同，这就不要求缓存具有强一致性。因此，我们只需要进行本地缓存，而不需要采用分布式的方式。这里使用到的是开源缓存工具 OHC，缓存的数据来源于成功处理过的请求。

4. 备份缓存实例，保证可用性

为了保证缓存的可用性，我们不仅在内存中进行缓存，还定时备份到文件系统中，从而保证在可以应用启动时从文件系统加载到内存。具体可以使用 SpringBoot 提供的定时任务、ApplicationRunner 来实现。

整体架构

我们保持了推荐系统的现有逻辑，并在现有流程的末端，配置了 CacheModule 和 CacheService，负责所有和缓存相关的逻辑。

其中，CacheService 是缓存的具体实现，提供读写接口;CacheModule 对本次请求的数据进行处理，并决定是否需要调用 CacheService 对缓存进行操作。

模块解读

1. CacheModule

在完成推荐系统的原有流程处理之后，CacheModule 会对得到的响应报文进行判断，比如是否抛出了异常，响应是否为空等，然后决定是否读取缓存或者提交缓存任务。

CacheModule 的工作流程如图所示，其中橘黄色部分代表对 CacheService 的调用：

提交缓存任务。如果该次请求没有抛出异常，并且响应结果也不为空，则会提交一个缓存任务到 CacheService。任务的 key 值为对应的业务场景，value 为本次响应计算得到的内容。提交的动作是非阻塞的，对接口的耗时影响很小。