⑴ 大数据学什么框架什么是生态圈
大数据平台中的主流框架主要有以下三种：
(一)Hadoop生态圈
Yarn(MapRece)：分布式计算框架，解决大数据的计算
Hive：Hadoop中的数据分析引擎，支持SQL
HBase：基于HDFS的NoSQL数据库
ZooKeeper：分布式协调服务，可以用于实现HA(高可用架构)
其他
(二)Spark生态圈
Spark Core：Spark的核心，用于离线计算
Spark SQL：Spark的数据分析引擎，支持SQL语句
Spark Streaming：Spark的流式计算引擎，但本质依然是离线计算
MLlib：机器学习框架
(三)Flink生态圈
Flink DataSet：Flink批处理(离线计算)API
Flink DataStream：Flink流处理(实时计算)API
Flink Table&SQL：Flink的数据分析引擎，支持SQL语句
MLlib：机器学习框架
⑵ 大数据分析技术生态圈一览
大数据分析技术生态圈一览
大数据领域让人晕头转向。为了帮助你，我们决定制作这份厂商图标和目录。它并不是全面列出了这个领域的每家厂商，而是深入探讨大数据分析技术领域。我们希望这份资料新颖、实用。
这是一款面向Hadoop的自助服务式、无数据库模式的大数据分析应用软件。
Platfora
这是一款大数据发现和分析平台。
Qlikview
这是一款引导分析平台。
Sisense
这是一款商业智能软件，专门处理复杂数据的商业智能解决方案。
Sqream
这是一款快速、可扩展的大数据分析SQL数据库。
Splunk
这是一款运维智能平台。
Sumologic
这是一项安全的、专门定制的、基于云的机器数据分析服务。
Actian
这是一款大数据分析平台。
亚马逊Redshift
这是一项PB级云端数据仓库服务。
CitusData
可扩展PostgreSQL。
Exasol
这是一种用于分析数据的大规模并行处理(MPP)内存数据库。
惠普Vertica
这是一款SQL on Hadoop大数据分析平台。
Mammothdb
这是一款与SQL兼容的MPP分析数据库。
微软SQL Server
这是一款关系数据库管理系统。
甲骨文Exadata
这是一款计算和存储综合系统，针对甲骨文数据库软件进行了优化。
SAP HANA
这是一款内存计算平台。
Snowflake
这是一款云数据仓库。
Teradata
这是企业级大数据分析和服务。
数据探查
Apache Drill
这是一款无数据库模式的SQL查询引擎，面向Hadoop、NoSQL和云存储。
Cloudera Impala
这是一款开源大规模并行处理SQL查询引擎。
谷歌BigQuery
这是一项全面托管的NoOps数据分析服务。
Presto
这是一款面向大数据的分布式SQL查询引擎。
Spark
这是一款用于处理大数据的快速通用引擎。
平台/基础设施
亚马逊网络服务(AWS)
提供云计算服务
思科云
提供基础设施即服务
Heroku
为云端应用程序提供平台即服务
Infochimps
提供云服务的大数据解决方案
微软Azure
这是一款企业级云计算平台。
Rackspace
托管专业服务和云计算服务
Softlayer(IBM)
提供云基础设施即服务
数据基础设施
Cask
这是一款面向Hadoop解决方案的开源应用程序平台。
Cloudera
提供基于Hadoop的软件、支持和服务。
Hortonworks
管理HDP――这是一款开源企业Apache Hadoop数据平台。
MAPR
这是面向大数据部署环境的Apache Hadoop技术。
垂直领域应用/数据挖掘
Alpine Data Labs
这是一种高级分析平台，可处理Apache Hadoop和大数据。
R
这是一种免费软件环境，可处理统计计算和图形。
Rapidminer
这是一款开源预测分析平台
SAS
这是一款软件套件，可以挖掘、改动、管理和检索来自众多数据源的数据。
提取、转换和加载(ETL)
IBM Datastage
使用一种高性能并行框架，整合多个系统上的数据。
Informatica
这是一款企业数据整合和管理软件。
Kettle-Pentaho Data Integration
提供了强大的提取、转换和加载(ETL)功能。
微软SSIS
这是一款用于构建企业级数据整合和数据转换解决方案的平台。
甲骨文Data Integrator
这是一款全面的数据整合平台。
SAP
NetWeaver为整合来自各个数据源的数据提供了灵活方式。
Talend
提供了开源整合软件产品
Cassandra
这是键值数据库和列式数据库的混合解决方案。
CouchBase
这是一款开源分布式NoSQL文档型数据库。
Databricks
这是使用Spark的基于云的大数据处理解决方案。
Datastax
为企业版的Cassandra数据库提供商业支持。
IBM DB2
这是一款可扩展的企业数据库服务器软件。
MemSQL
这是一款分布式内存数据库。
MongoDB
这是一款跨平台的文档型数据库。
MySQL
这是一款流行的开源数据库。
甲骨文
这是一款企业数据库软件套件。
PostgresSQL
这是一款对象关系数据库管理系统。
Riak
这是一款分布式NoSQL数据库。
Splice Machine
这是一款Hadoop关系数据库管理系统。
VoltDB
这是一款内存NewSQL数据库。
Actuate
这是一款嵌入式分析和报表解决方案。
BiBoard
这是一款交互式商业智能仪表板和可视化工具。
Chart.IO
这是面向数据库的企业级分析工具。
IBM Cognos
这是一款商业智能和绩效管理软件。
D3.JS
这是一种使用HTML、SVG和CSS可视化显示数据的JavaScript库。
Highcharts
这是面向互联网的交互式JavaScirpt图表。
Logi Analytics
这是自助服务式、基于Web的商业智能和分析应用软件。
微软Power BI
这是交互式数据探查、可视化和演示工具。
Microstrategy
这是一款企业商业智能和分析软件。
甲骨文Hyperion
这是企业绩效管理和商业智能系统。
Pentaho
这是大数据整合和分析解决方案。
SAP Business Objects
这是商业智能解决方案。
Tableau
这是专注于商业智能的交互式数据可视化产品系列。
Tibco Jaspersoft
这是商业智能套件。
⑶ 国家筹建三大健康医疗大数据集团，各有哪些特色
从此前发布的公开信息可见，三大健康医疗大数据集团均以国有资本为主体，三大集团由国家卫生和计划生育委员会统一牵头组织，由国家健康医疗大数据安全管理委员会（大数据办）统一监管。
4月份，中国健康医疗大数据产业发展集团公司由中国电子信息产业集团公司、国家开发投资公司、中国联合网络通信有限公司、中国国有企业结构调整基金股份有限公司宣布正式筹建；随后，中国健康医疗大数据科技发展集团公司由中国科学院控股有限公司、中国银行、工商银行、中国电信、中国信达、广州城投等公司宣布筹建，公司将于7月底之前完成筹备，与相关试点城市政府签约，并进驻项目建设现场。
6月20日，中国健康医疗大数据股份有限公司宣布筹建，由中国移动通信集团公司与浪潮集团有限公司作为发起方，携手国新控股、国家开发银行、工商银行、农业银行、中国银行、建设银行、交通银行等多家企业共同组建。
2016年6月，国务院办公厅印发了《关于促进和规范健康医疗大数据应用发展的指导意见》（以下简称《意见》），将健康医疗大数据应用发展纳入国家大数据战略布局，并从夯实应用基础、全面深化应用、规范和推动“互联网+健康医疗”服务、加强保障体系建设等四个方面部署了14项重点任务和重大工程。三大集团公司的筹备成立将有助于推动该《意见》落到实处。
金小桃告诉记者，“组建以国有资本为主体的三个健康医疗大数据集团，目标非常明确：
一是通过健康医疗大数据应用促进优质医疗资源下沉到基层群众，努力提高人民群众获得感；
二是通过健康医疗大数据支持三医联动、分级诊疗、异地结算和远程服务等，为深化医改注入新动力；
三是通过健康医疗大数据应用发展，创新健康服务新业态，发展健康科技产品，推进覆盖一二三产业的全健康产业链的发展，促进数字经济为国民经济增添新动能。”
金小桃表示，健康医疗大数据是涉及到国家战略安全、群众生命安全以及隐私保护安全的重要战略性资源，以国有资本为主体建设三大健康医疗大数据集团公司，“这是承担国家使命、落实国家战略的重要举措”。在未来的健康医疗大数据应用发展过程中，欢迎各方力量加入国家重点项目建设、健康产业和数字经济发展队伍，实现共建共享共赢。
三大集团目标任务一致，发展各具特色
三大集团公司的目标任务就是承担国家健康医疗大数据中心、区域中心和应用发展中心的建设和健康医疗科技文化产业园等经济发展运营工作。金小桃强调，三大集团所承担的建设任务，总体目标是一致的，但是有其区域特点，有其发展特色，形成集群优势，为国家经济发展注入新的活力，最终建成国民经济重要支柱产业。“特别是在产业发展上，各集团公司将根据各地不同的实际情况，形成不同的发展模式、产业形态及应用方向。”
据金小桃介绍，根据国务院要求，总体规划是建设一个国家数据中心，加七个区域中心，并结合各地实际情况，建设若干个应用和发展中心，也就是“1+7+X”的健康医疗大数据应用发展的总体规划。
一个国家中心将容纳全体公民健康医疗大数据，形成以“全息数字人”为愿景的健康科技产业生态圈，涵盖每个公民所有涉及到生产、生活、生命的全过程全周期的生理心理社会环境等数据，预计数据采集和应用的规模将达到1000 ZB以上。
七个区域中心，将按照国家总体规划、按照地域布局进行建设。“现在我们已经在华南和华东进行了国家第一批试点，也就是在福建省和江苏省两个省分别建两个区域中心。其他的区域中心也很快将通过调研、专家论证和国家批复以后进入正式建设阶段。”
X个应用发展中心主要指国家中心和七个区域中心建设带动下，各省区市在依法依规负责收集汇聚上报国家的健康医疗大数据基础上，开展应用创新及产业园建设。
“通过这样的总体规划，我们在推动国家健康医疗大数据中心建设的过程中，既避免了过去数据分散、互不联通、共享困难形成的数据孤岛和数据烟囱等问题，同时也为既有区域集中应用和国家一体化大数据中心的建设提出了方向和要求。有利于健康医疗大数据采集、存储、应用过程中的互联互通和共建共享，有利于开发应用创新和产业集群发展。”金小桃称。
⑷ 一文看懂大数据的技术生态圈
一文看懂大数据的技术生态圈
大数据本身是个很宽泛的概念，Hadoop生态圈（或者泛生态圈）基本上都是为了处理超过单机尺度的数据处理而诞生的。你可以把它比作一个厨房所以需要的各种工具。锅碗瓢盆，各有各的用处，互相之间又有重合。你可以用汤锅直接当碗吃饭喝汤，你可以用小刀或者刨子去皮。但是每个工具有自己的特性，虽然奇怪的组合也能工作，但是未必是最佳选择。
大数据，首先你要能存的下大数据。传统的文件系统是单机的，不能横跨不同的机器。HDFS（Hadoop Distributed FileSystem）的设计本质上是为了大量的数据能横跨成百上千台机器，但是你看到的是一个文件系统而不是很多文件系统。比如你说我要获取/hdfs/tmp/file1的数据，你引用的是一个文件路径，但是实际的数据存放在很多不同的机器上。你作为用户，不需要知道这些，就好比在单机上你不关心文件分散在什么磁道什么扇区一样。HDFS为你管理这些数据。存的下数据之后，你就开始考虑怎么处理数据。虽然HDFS可以为你整体管理不同机器上的数据，但是这些数据太大了。一台机器读取成T上P的数据（很大的数据哦，比如整个东京热有史以来所有高清电影的大小甚至更大），一台机器慢慢跑也许需要好几天甚至好几周。对于很多公司来说，单机处理是不可忍受的，比如微博要更新24小时热博，它必须在24小时之内跑完这些处理。那么我如果要用很多台机器处理，我就面临了如何分配工作，如果一台机器挂了如何重新启动相应的任务，机器之间如何互相通信交换数据以完成复杂的计算等等。这就是MapRece / Tez / Spark的功能。MapRece是第一代计算引擎，Tez和Spark是第二代。MapRece的设计，采用了很简化的计算模型，只有Map和Rece两个计算过程（中间用Shuffle串联），用这个模型，已经可以处理大数据领域很大一部分问题了。那什么是Map什么是Rece？考虑如果你要统计一个巨大的文本文件存储在类似HDFS上，你想要知道这个文本里各个词的出现频率。你启动了一个MapRece程序。Map阶段，几百台机器同时读取这个文件的各个部分，分别把各自读到的部分分别统计出词频，产生类似（hello, 12100次），（world，15214次）等等这样的Pair（我这里把Map和Combine放在一起说以便简化）；这几百台机器各自都产生了如上的集合，然后又有几百台机器启动Rece处理。Recer机器A将从Mapper机器收到所有以A开头的统计结果，机器B将收到B开头的词汇统计结果（当然实际上不会真的以字母开头做依据，而是用函数产生Hash值以避免数据串化。因为类似X开头的词肯定比其他要少得多，而你不希望数据处理各个机器的工作量相差悬殊）。然后这些Recer将再次汇总，（hello，12100）＋（hello，12311）＋（hello，345881）= （hello，370292）。每个Recer都如上处理，你就得到了整个文件的词频结果。这看似是个很简单的模型，但很多算法都可以用这个模型描述了。Map＋Rece的简单模型很黄很暴力，虽然好用，但是很笨重。第二代的Tez和Spark除了内存Cache之类的新feature，本质上来说，是让Map/Rece模型更通用，让Map和Rece之间的界限更模糊，数据交换更灵活，更少的磁盘读写，以便更方便地描述复杂算法，取得更高的吞吐量。有了MapRece，Tez和Spark之后，程序员发现，MapRece的程序写起来真麻烦。他们希望简化这个过程。这就好比你有了汇编语言，虽然你几乎什么都能干了，但是你还是觉得繁琐。你希望有个更高层更抽象的语言层来描述算法和数据处理流程。于是就有了Pig和Hive。Pig是接近脚本方式去描述MapRece，Hive则用的是SQL。它们把脚本和SQL语言翻译成MapRece程序，丢给计算引擎去计算，而你就从繁琐的MapRece程序中解脱出来，用更简单更直观的语言去写程序了。有了Hive之后，人们发现SQL对比Java有巨大的优势。一个是它太容易写了。刚才词频的东西，用SQL描述就只有一两行，MapRece写起来大约要几十上百行。而更重要的是，非计算机背景的用户终于感受到了爱：我也会写SQL！于是数据分析人员终于从乞求工程师帮忙的窘境解脱出来，工程师也从写奇怪的一次性的处理程序中解脱出来。大家都开心了。Hive逐渐成长成了大数据仓库的核心组件。甚至很多公司的流水线作业集完全是用SQL描述，因为易写易改，一看就懂，容易维护。自从数据分析人员开始用Hive分析数据之后，它们发现，Hive在MapRece上跑，真鸡巴慢！流水线作业集也许没啥关系，比如24小时更新的推荐，反正24小时内跑完就算了。但是数据分析，人们总是希望能跑更快一些。比如我希望看过去一个小时内多少人在充气娃娃页面驻足，分别停留了多久，对于一个巨型网站海量数据下，这个处理过程也许要花几十分钟甚至很多小时。而这个分析也许只是你万里长征的第一步，你还要看多少人浏览了跳蛋多少人看了拉赫曼尼诺夫的CD，以便跟老板汇报，我们的用户是猥琐男闷骚女更多还是文艺青年／少女更多。你无法忍受等待的折磨，只能跟帅帅的工程师蝈蝈说，快，快，再快一点！于是Impala，Presto，Drill诞生了（当然还有无数非著名的交互SQL引擎，就不一一列举了）。三个系统的核心理念是，MapRece引擎太慢，因为它太通用，太强壮，太保守，我们SQL需要更轻量，更激进地获取资源，更专门地对SQL做优化，而且不需要那么多容错性保证（因为系统出错了大不了重新启动任务，如果整个处理时间更短的话，比如几分钟之内）。这些系统让用户更快速地处理SQL任务，牺牲了通用性稳定性等特性。如果说MapRece是大砍刀，砍啥都不怕，那上面三个就是剔骨刀，灵巧锋利，但是不能搞太大太硬的东西。这些系统，说实话，一直没有达到人们期望的流行度。因为这时候又两个异类被造出来了。他们是Hive on Tez / Spark和SparkSQL。它们的设计理念是，MapRece慢，但是如果我用新一代通用计算引擎Tez或者Spark来跑SQL，那我就能跑的更快。而且用户不需要维护两套系统。这就好比如果你厨房小，人又懒，对吃的精细程度要求有限，那你可以买个电饭煲，能蒸能煲能烧，省了好多厨具。上面的介绍，基本就是一个数据仓库的构架了。底层HDFS，上面跑MapRece／Tez／Spark，在上面跑Hive，Pig。或者HDFS上直接跑Impala，Drill，Presto。这解决了中低速数据处理的要求。那如果我要更高速的处理呢？如果我是一个类似微博的公司，我希望显示不是24小时热博，我想看一个不断变化的热播榜，更新延迟在一分钟之内，上面的手段都将无法胜任。于是又一种计算模型被开发出来，这就是Streaming（流）计算。Storm是最流行的流计算平台。流计算的思路是，如果要达到更实时的更新，我何不在数据流进来的时候就处理了？比如还是词频统计的例子，我的数据流是一个一个的词，我就让他们一边流过我就一边开始统计了。流计算很牛逼，基本无延迟，但是它的短处是，不灵活，你想要统计的东西必须预先知道，毕竟数据流过就没了，你没算的东西就无法补算了。因此它是个很好的东西，但是无法替代上面数据仓库和批处理系统。还有一个有些独立的模块是KV Store，比如Cassandra，HBase，MongoDB以及很多很多很多很多其他的（多到无法想象）。所以KV Store就是说，我有一堆键值，我能很快速滴获取与这个Key绑定的数据。比如我用身份证号，能取到你的身份数据。这个动作用MapRece也能完成，但是很可能要扫描整个数据集。而KV Store专用来处理这个操作，所有存和取都专门为此优化了。从几个P的数据中查找一个身份证号，也许只要零点几秒。这让大数据公司的一些专门操作被大大优化了。比如我网页上有个根据订单号查找订单内容的页面，而整个网站的订单数量无法单机数据库存储，我就会考虑用KV Store来存。KV Store的理念是，基本无法处理复杂的计算，大多没法JOIN，也许没法聚合，没有强一致性保证（不同数据分布在不同机器上，你每次读取也许会读到不同的结果，也无法处理类似银行转账那样的强一致性要求的操作）。但是丫就是快。极快。每个不同的KV Store设计都有不同取舍，有些更快，有些容量更高，有些可以支持更复杂的操作。必有一款适合你。除此之外，还有一些更特制的系统／组件，比如Mahout是分布式机器学习库，Protobuf是数据交换的编码和库，ZooKeeper是高一致性的分布存取协同系统，等等。有了这么多乱七八糟的工具，都在同一个集群上运转，大家需要互相尊重有序工作。所以另外一个重要组件是，调度系统。现在最流行的是Yarn。你可以把他看作中央管理，好比你妈在厨房监工，哎，你妹妹切菜切完了，你可以把刀拿去杀鸡了。只要大家都服从你妈分配，那大家都能愉快滴烧菜。你可以认为，大数据生态圈就是一个厨房工具生态圈。为了做不同的菜，中国菜，日本菜，法国菜，你需要各种不同的工具。而且客人的需求正在复杂化，你的厨具不断被发明，也没有一个万用的厨具可以处理所有情况，因此它会变的越来越复杂。以上是小编为大家分享的关于一文看懂大数据的技术生态圈的相关内容，更多信息可以关注环球青藤分享更多干货