㈠ 大数据分析界的“神兽”Apache Kylin有多牛
1.Apache Kylin是什么？
在现在的大数据时代，越来越多的企业开始使用Hadoop管理数据，但是现有的业务分析工具（如Tableau，Microstrategy等）
往往存在很大的局限，如难以水平扩展、无法处理超大规模数据、缺少对Hadoop的支持；而利用Hadoop做数据分析依然存在诸多障碍，例如大多数分析
师只习惯使用SQL，Hadoop难以实现快速交互式查询等等。神兽Apache Kylin就是为了解决这些问题而设计的。
Apache Kylin，中文名麒（shen）麟（shou） 是Hadoop动物园的重要成员。Apache
Kylin是一个开源的分布式分析引擎，最初由eBay开发贡献至开源社区。它提供Hadoop之上的SQL查询接口及多维分析（OLAP）能力以支持大
规模数据，能够处理TB乃至PB级别的分析任务，能够在亚秒级查询巨大的Hive表，并支持高并发。
Apache
Kylin于2014年10月在github开源，并很快在2014年11月加入Apache孵化器，于2015年11月正式毕业成为Apache顶级项
目，也成为首个完全由中国团队设计开发的Apache顶级项目。于2016年3月，Apache
Kylin核心开发成员创建了Kyligence公司，力求更好地推动项目和社区的快速发展。
Kyligence是一家专注于大数据分析领域创新的数据科技公司，提供基于Apache
Kylin的企业级智能分析平台及产品，以及可靠、专业、源码级的商业化支持；并推出Apache Kylin开发者培训，颁发全球唯一的Apache
Kylin开发者认证证书。
2.Kylin的基本原理和架构
下面开始聊一聊Kylin的基本原理和架构。简单来说，Kylin的核心思想是预计算，即对多维分析可能用到的度量进行预计算，将计算好的结果保
存成Cube，供查询时直接访问。把高复杂度的聚合运算、多表连接等操作转换成对预计算结果的查询，这决定了Kylin能够拥有很好的快速查询和高并发能
力。
上图所示就是一个Cube的例子，假设我们有4个dimension，这个Cube中每个节点（称作Cuboid）都是这4个dimension
的不同组合，每个组合定义了一组分析的dimension（如group
by），measure的聚合结果就保存在这每个Cuboid上。查询时根据SQL找到对应的Cuboid，读取measure的值，即可返回。
为了更好的适应大数据环境，Kylin从数据仓库中最常用的Hive中读取源数据，使用
MapRece作为Cube构建的引擎，并把预计算结果保存在HBase中，对外暴露Rest
API/JDBC/ODBC的查询接口。因为Kylin支持标准的ANSI
SQL，所以可以和常用分析工具（如Tableau、Excel等）进行无缝对接。下面是Kylin的架构图。
说到Cube的构建，Kylin提供了一个称作Layer Cubing的算法。简单来说，就是按照dimension数量从大到小的顺序，从Base
Cuboid开始，依次基于上一层Cuboid的结果进行再聚合。每一层的计算都是一个单独的Map Rece任务。如下图所示。
MapRece的计算结果最终保存到HBase中，HBase中每行记录的Rowkey由dimension组成，measure会保存在
column
family中。为了减小存储代价，这里会对dimension和measure进行编码。查询阶段，利用HBase列存储的特性就可以保证Kylin有
良好的快速响应和高并发。
有了这些预计算的结果，当收到用户的SQL请求，Kylin会对SQL做查询计划，并把本该进行的Join、Sum、Count Distinct等操作改写成Cube的查询操作。
Kylin提供了一个原生的Web界面，在这里，用户可以方便的创建和设置Cube、管控Cube构建进度，并提供SQL查询和基本的结果可视化。
根据公开数据显示，Kylin的查询性能不只是针对个别SQL，而是对上万种SQL 的平均表现，生产环境下90%ile查询能够在在3s内返回。在上个月举办的Apache Kylin
Meetup中，来自美团、京东、网络等互联网公司分享了他们的使用情况。例如，在京东云海的案例中，单个Cube最大有8个维度，最大数据条数4亿，最
大存储空间800G，30个Cube共占存储空间4T左右。查询性能上，当QPS在50左右，所有查询平均在200ms以内，当QPS在200左右，平均
响应时间在1s以内。
北京移动也在meetup上展示了Kylin在电信运营商的应用案例，从数据上看，Kylin能够在比Hive/SparkSQL在更弱的硬件配置下获得更好的查询性能。 目前，有越来越多的国内外公司将Kylin作为大数据生产环境中的重要组件，如ebay、银联、网络、中国移动等。大家如果想了解更多社区的案例和动态，可以登录Apache Kylin官网或Kyligence博客进行查看。
3.Kylin的最新特性
Kylin的最新版本1.5.x引入了不少让人期待的新功能，可扩展架构将Kylin的三大依赖（数据源、Cube引擎、存储引
擎）彻底解耦。Kylin将不再直接依赖于Hadoop/HBase/Hive，而是把Kylin作为一个可扩展的平台暴露抽象接口，具体的实现以插件的
方式指定所用的数据源、引擎和存储。
开发者和用户可以通过定制开发，将Kylin接入除Hadoop/HBase/Hive以外的大数据系统，比如用Kafka代替Hive作数据源，用
Spark代替MapRece做计算引擎，用Cassandra代替HBase做存储，都将变得更为简单。这也保证了Kylin可以随平台技术一起演
进，紧跟技术潮流。
在Kylin
1.5.x中还对HBase存储结构进行了调整，将大的Cuboid分片存储，将线性扫描改良为并行扫描。基于上万查询进行了测试对比结果显示，分片的存
储结构能够极大提速原本较慢的查询5-10倍，但对原本较快的查询提速不明显，综合起来平均提速为2倍左右。
除此之外，1.5.x还引入了Fast
cubing算法，利用Mapper端计算先完成大部分聚合，再将聚合后的结果交给Recer，从而降低对网络瓶颈的压力。对500多个Cube任务
的实验显示，引入Fast cubing后，总体的Cube构建任务提速1.5倍。
目前，社区正在着手准备Apache Kylin 1.5.2版本的发布，目前正处于Apache Mailing list投票阶段，预计将会在本周在Kylin官网发布正式下载。
在本次的1.5.2版本中，Kylin带来了总计
36个缺陷修复、33个功能改进、6个新功能。一些主要的功能改进包括对HyperLogLog计算效率的提升、在Cube构建时对Convert
data to hfile步骤的提速、UI上对功能提示的体验优化、支持hive view作为lookup表等等。
另一个新消息是Kylin将支持MapR和CDH的Hadoop发行版，具体信息可见KYLIN-1515和KYLIN-1672。相应的测试版本是MapR5.1和CDH5.7。
UI上提供了一个重要更新，即允许用户在Cube级别进行自定义配置，以覆盖kylin.properties中的全局配置。如在cube中定义kylin.hbase.region.count.max 可以设置该cube在hbase中region切分的最大数量。
另
一个重要的功能是Diagnosis。用户经常会遇到一些棘手的问题，例如Cube构建任务失败、SQL查询失败，或Cube构建时间过长、SQL查询时
间过长等。但由于运维人员对Kylin系统了解不深，很难快速定位到root cause所在地。我们在mailing
list里也经常看到很多用户求助，由于不能提供足够充分的信息，社区也很难给出一针见血的建议。
当用户遇到查询、Cube/Model管理的问题，单击System页面的Diagnosis按钮，系统会自动抓取当前Project相关的信息并打包成
zip文件下载到用户本地。这个包会包含相关的Metadata、日志、HBase配置等。当用户需要在mailing
list求助，也可以附上这个包。
㈡ 大数据学习入门规划
大数据方向的工作目前分为三个主要方向:
01.大数据工程师
02.数据分析师
03.大数据科学家
04.其他（数据挖掘本质算是机器学习，不过和数据相关，也可以理解为大数据的一个方向吧）
一、大数据工程师的技能要求
二、大数据学习路径
三、学习资源推荐（书籍、博客、网站）
一、大数据工程师的技能要求总结如下:
必须技能10条:01.Java高级编程(虚拟机、并发)02.Linux 基本操作03.Hadoop（此处指HDFS+MapRece+Yarn ）04.HBase（JavaAPI操作+Phoenix ）05.Hive06.Kafka 、07.Storm08.Scala09.Python10.Spark (Core+sparksql+Spark streaming ）进阶技能6条:11.机器学习算法以及mahout库加MLlib12.R语言13.Lambda 架构14.Kappa架构15.Kylin16.Aluxio
二、学习路径
第一阶段:
01.Linux学习（跟鸟哥学就ok了）
02.Java 高级学习（《深入理解Java虚拟机》、《Java高并发实战》
第二阶段:
03.Hadoop （董西成的书）04.HBase（《HBase权威指南》）05.Hive（《Hive开发指南》）06.Scala（《快学Scala》）07.Spark （《Spark 快速大数据分析》）08.Python （跟着廖雪峰的博客学习就ok了）
第三阶段:对应技能需求，到网上多搜集一些资料就ok了，我把最重要的事情(要学什么告诉你了)，剩下的就是你去搜集对应的资料学习就ok了当然如果你觉得自己看书效率太慢，你可以网上搜集一些课程，跟着课程走也OK 。这个完全根据自己情况决定,如果看书效率不高就上网课，相反的话就自己看书。
三，学习资源推荐:01.Apache 官网02.Stackoverflow04.github03.Cloudra官网04.Databrick官网05.过往的记忆（技术博客）06.CSDN，51CTO 07.至于书籍当当、京东一搜会有很多，其实内容都差不多
那么如何从零开始规划大数据学习之路！
大数据的领域非常广泛，往往使想要开始学习大数据及相关技术的人望而生畏。大数据技术的种类众多，这同样使得初学者难以选择从何处下手。本文将为你开始学习大数据的征程以及在大数据产业领域找到工作指明道路，提供帮助。
㈢ 大数据主要学习什么知识
首先是基础阶段。这一阶段包括：关系型数据库原理、LINUX操作系统原理及应用。在掌握了这些基础知识后，会安排这些基础课程的进阶课程，即：数据结构与算法、MYSQL数据库应用及开发、SHELL脚本编程。在掌握了这些内容之后，大数据基础学习阶段才算是完成了。
接下来是大数据专业学习的第二阶段：大数据理论及核心技术。第二阶段也被分为了基础和进阶两部分，先理解基础知识，再进一步对知识内容做深入的了解和实践。基础部分包括：布式存储技术原理与应用、分布式计算技术、HADOOP集群搭建、运维；进阶内容包括：HDFS高可靠、ZOOKEEPER、CDH、Shuffle、HADOOP源码分析、HIVE、HBASE、Mongodb、HADOOP项目实战。
完成了这部分内容的学习，学员们就已经掌握了大数据专业大部分的知识，并具有了一定的项目经验。但为了学员们在大数据专业有更好的发展，所学知识能更广泛地应用到大数据相关的各个岗位，有个更长远的发展前景。
第三阶段叫做数据分析挖掘及海量数据高级处理技术。基础部分有：PYTHON语言、机器学习算法、FLUME+KAFKA；进阶部分有：机器学习算法库应用、实时分析计算框架、SPARK技术、PYTHON高级语言应用、分布式爬虫与反爬虫技术、实时分析项目实战、机器学习算法项目实战。