AI专家：大数据知识图谱——实战经验总结

作为数据科学家，我想把行业最新知识图谱总结并分享给技术专家们，让大数据知识真正转化为互联网生产力!大数据与人工智能、云计算、物联网、区块链等技术日益融合，成为全球最热的战略性技术，给大数据从业者带来了前所未有的发展机遇，同时也对大数据工程师提出了高标准的技能要求。大数据具有海量性、多样性、高速性和易变性等特点，映射到大数据平台建设要求，不仅要具备海量数据采集、并行存储、灵活转发、高效调用和智能分析的通用Paas服务能力，而且能快速孵化出各种新型的Saas应用的能力。

要实现这个目标，架构设计至少要满足三个总体技术要求：

一是把分布式大数据平台的基础数据服务能力建设摆在首位。规划出支撑PB级规模数据运营能力的云平台架构，运用经典设计原则和设计模式的架构之美，吸纳业内主流分布式技术的思想精髓，深耕主流平台服务模式到现代微架构的演变内涵;

二是用系统架构设计和微服务建设思想武装团队，持续撰写多维度的架构蓝图，推动团队协同作战;

三是围绕大数据全栈技术体系解决项目实战中的各类难题，制定主流技术规范和设计标准，通过平台核心组件方式快速迭代出新型业务。从设计要求来讲，大数据平台服务的整体设计要具备全面、全局、权衡的关键技术要求，不仅能全面提炼国内外优秀架构和解决方案的精华，而且要理解分布式技术的底层设计思想;不仅能全局了解上下游技术生态和业务结合的设计过程，而且要游刃有余的处理系统功能和性能问题;不仅能权衡新技术引入和改造旧系统的成本估算，而且要推动作战团队轻松驾驭新技术。

第一个总体技术要求：把分布式大数据平台的基础数据服务能力建设摆在首位。规划出支撑PB级规模数据运营能力的创新云平台架构，运用经典设计原则和设计模式的架构之美，吸纳业内主流分布式技术的思想精髓，深耕主流平台服务模式到现代微架构的演变内涵。

第二个总体技术要求：用系统架构设计和微服务建设思想武装团队，持续撰写多维度的架构蓝图，推动团队协同作战。架构师不仅要具备大型云平台架构的实战经验之外，更要有大智慧和战略思维，通过蓝图来推动和管理好每一个产品的全生命周期。

第三个总体技术要求：围绕大数据全栈技术体系解决项目实战中的各类难题，制定主流技术规范和设计标准，通过平台核心组件方式快速迭代出新型业务。针对设计规范的重要性，我们不妨用《孙子兵法》的大智慧来分析一下。

从系统整体技术能力出发，提出物联网大数据平台的八个通用微服务的技术要求，包括大数据的高并发采集服务、灵活分发服务、高可扩展海量存储服务、高并发展海量存储服务、高可靠海量存储服务、自定义迁移服务、基于机器学习的智能分析服务和基于Spark生态的实时计算服务，具体如下：

高并发采集服务：

支持多种移动终端和物联网数据的可扩展接入，并具备大规模接入并发处理能力。能够兼容主流行业通用的可扩展协议和规范，并采用高可靠的集群或者负载均衡技术框架来解决。如引入Mina或者Netty技术框架后适配各种多种移动终端接入。标准化接入要求常用的字节流、文件、Json等数据格式符合主流标准格式。

灵活分发服务：

按照分析应用需求，转发不同的数据类型和数据格式，交互方式之一是主流的消息中间件MQ或者Kafka，保证高效的转发并转换数据给数据服务运营方。交互的方式之二是Restful 方式，保证数据可以按照协议规范进行安全可靠的数据转发和传输。

高可扩展海量存储服务：

支持数据类型和数据表可扩展，对物联网大数据进行海量存储和计算，尤其适用于初创公司研发百万级用户之内的大数据平台。

高可并发海量存储服务：

支持数据类型和数据量的高速增长，对物联网大数据进行批处理，适合构建PB级数据量和千万级用户量的云平台。

高可靠海量存储服务：

支持物联网多源异构数据的统一高效和海量存储，并提供易于扩展的行业数据的离线计算和批处理架构，适合构建ZB级数据量和亿级用户量的分布式大平台。

基于Spark生态的实时计算服务：

支持对物联网大数据智能分析能力，通过企业级中间件服务框架提供安全可靠接口，实现数据实时统计和计算。

基于机器学习的智能分析服务：

支持安全高效的机器学习算法，通过支持分布式分类、聚类、关联规则等算法，为用户和物联网机构提供个性化的智能分析服务。

自定义迁移服务：

支持对物联网大数据的整体迁移和同步，通过数据转换和数据迁移工具对不同数据类型和数据格式进行整体迁移，实现数据集的自定义生成。