大数据创新峰会

A. 2019年贵阳国际大数据产业博览会放假通知安排

根据《中共贵阳市委办公厅、贵阳市人民政府办公厅关于在中国大数据产业峰会暨中国电子商务创新发展峰会期间对贵阳市部分区域内党政机关、事业单位和社会团体实行调休和放假的通知》精神，将于5月25日至29日在贵阳市举办数博会，届时将对贵阳市部分区域内党政机关、事业单位和社会团体进行调休和放假。现将有关事项通知如下：

一、调休放假时间安排

5月24日至5月26日调休放假，共3天。其中，5月24日(星期二)、5月26日(星期四)调休;5月25日(星期三)放假;5月22日(星期日)、5月28日(星期六)上班。

二、调休放假范围

中心清镇管理部、修文管理部、息烽管理部、开阳管理部不纳入此次放假调休范围。其余管理部及处室执行此通知。

三、有关要求

(一)中心办公大楼、铁路分中心、各管理部在调休放假期间务必落实好值班制度，安排专人负责值守，确保安全。

(二)调休放假期间各部门务必切断电源、水源，关好门窗，检查火种，消除隐患，确保万无一失。

(三)值班人员要切实履行好职责，如遇紧急突发性事件需及时上报带班领导。

(四)涉及到调休放假的部门要提前做好通知及相关的解释工作。

5月18日

【相关资讯】

2016数博会组委会昨日透露，乐视生态、亚信数据、德国威图将参展2016贵阳数博会，其中乐视生态是首次参展数博会，将带来乐视超级汽车等新产品的贵州首秀。亚信数据则将集中展示智慧医疗、精准扶贫等政务大数据解决方案。

乐视:超级汽车

今年4月，乐视发布了LeSEE品牌首款概念车，定位D级纯电动车型，还具备自动驾驶、智能互联、动态座椅、智能电磁充电、汽车分享以及先进的设计理念。数博会期间，这款概念车也会首次亮相贵州，现场即可感受汽车业产业变革。

今年是乐视生态首次参展数博会，除了超级汽车，在接近200平米特装展位，还将展示VR、120寸超级电视、手机、自行车等智能硬件产品、智能配件，以及乐视云、大数据和乐视互娱游戏等服务和解决方案，作为乐视生态进军贵州的首秀。

乐视相关负责人表示，作为一个国际级的展会，数博会具有世界级的视野，此次乐视参展数博会，一方面能够展示乐视大数据和生态创新的成果，并寻找合作的机会。另一方面，乐视生态希望能够进一步拓展贵州及西南市场，希望加强乐视生态在贵州及西南地区更好落地。早在去年6月，乐视生态就着手在中西部布局，与贵阳市政府签署了战略合作协议,双方在互联网平台、内容、终端上开展合作。

亚信:警务平台

警务数据一体化管控平台可以构建完整的警务数据一体化管控体系，助力警务数据质量标准化，敏捷挖掘数据价值，服务保障公安信息资源共享平台建设。医疗前哨一体机，则可支撑区域医疗业务协同和数据共享，高效实现各异构系统与区域信息平台的结构映射和数据集成。

这些大数据智能硬件都将由亚信数据带来，数博会期间，亚信将设立专门展区，集中展示位置信息运营、数据资产管理云图、大数据云平台等众多领先大数据技术和产品，以及智慧医疗、精准扶贫等政务大数据解决方案，以及位置信息运营平台、数据资产管理云图、大数据一体机、农业电商等产品。

除了展览，亚信数据还将参与演讲等多个环节的互动，向与会者展示亚信数据在包括通讯行业、政企行业、金融行业等大数据服务平台的优质核心技术和实际应用，同时以政府和企业之间的直接对话为切入点，共同交流和探讨在大数据领域政府和企业各自所面临的问题和解决方案。

威图:牵手贵州企业

全球知名的工业和信息化产业领导者——德国威图(Rittal)公司今年将再次参加数博会，并与贵州高新翼云公司建立了长期战略合作，在大数据的云端下全面助力行业“智”造发展。

从微观数据中心到标准数据中心或云解决方案，威图能够为中小企业及大公司提供完美的模块化基础设施。在展会上，威图将向与会的专家及观众展示如何以丰富多样的系统产品，提供创新的IT基础设施的最新技术和解决方案。

同时，在展会期间全国各界数据中心专家还将与威图高层将就“大数据增值服务，开拓新的商业模式”等话题进行了深入交流，并全面了解了威图的创新技术和产品应用。

活动点击

“大数据之父”将“对话大数据”

作为2016中国大数据产业峰会暨中国电子商务创新发展峰会活动之一，“对话大数据时代——从理论走进实践”将于5月25日下午在花果园文化艺术中心举行。被誉为“大数据之父”的舍恩伯格将出席活动并组织现场对话节目。

据介绍，该活动由南明区人民政府、宏立城集团、《大数据时代》杂志社协办。邀请的嘉宾有牛津大学教授、《大数据时代》作者舍恩伯格， 电子科技大学 互联网中心主任、《大数据时代》译者周涛，小i机器人创始人袁辉，阿里巴巴副总裁徐子沛和Gartner集团中国高管合伙人赵光，活动由凤凰卫视节目主持人胡一虎主持。彭婷

数博会设公众开放日

昨日发布的数博会观展时间安排公告中称，数博会期间将设公众开放日，市民可在指定时段内免费错峰观看数博会。

据悉，专业观众日开放时间为5月25日—26日9时至17时。受接待能力所限，届时只接受提前登记注册并获审核通过的专业观众、受邀嘉宾和媒体记者前往参观。

专业观众报名方式为数博会官网和微信公众号，报名截止时间为5月24日24时。

公众开放日开放时间为5月27日—28日9时至17时;5月29日9时至12时，展览面向普通市民开放，不设门票。肖达钰莎

数据流通应用创新模式将发布

由安徽省经信委指导，安徽淮南市政府主办的“破解数据流通困局，发动数据经济引擎”论坛，将于5月25日在贵阳召开。论坛期间，将发布全国首个数据流通应用创新模式“大数据应用开放平台”。周然杨皓钧

小两口的筑梦工厂

豆小nia本名谢微，1989年出生，接触羊毛毡已有5年的时间了。她是一名淘宝店主，也是联合智造创客空间的入驻成员。她的淘宝店除了卖用羊毛毡定制的宠物外还有老公手工做的木勺、陶瓷公益品等。

豆小nia和老公“竹官”(本名管洪权)高中就认识，2013年在贵阳领证结婚。他们之前在上海“漂”了3年。

6月，听朋友介绍贵阳高新区在搞创客空间支持文创产业免费入驻。小两口儿兴奋地提交了入驻申请，第二天就接到了入驻通知，7月正式入驻位于贵阳高新区的长通科技园，开始了创业生涯。

联合智造是中国西部众创园九大实体空间之一，是一个孵化Idea的梦工厂，豆小nia小两口儿作为第一批入驻团队受益颇多。

“场地、设备都是免费支持的，后期申请的话还可以有资金支持。像这个进口的电尧、拉坯机、木工车床、带锯都是联合智造免费提供给我们使用的。入驻这里还有一个好处就是希望和其他的创客团队擦出一些艺术上或技术上的火花，然后创造出更好的东西，我始终相信因为兴趣聚集，玩一个东西玩到一定程度时，自然就会产生效益。”竹官说。

目前，豆小nia小两口儿的产品销售模式主要是通过网络，网络订单主要以北上广为主，本地的市场还没有打开，“除了网络销售外，我们还会开设一些课程，有兴趣的人可以过来学，同时在商场等人流多的地方举办一些活动，让更多的人了解手工。”豆小nia说。

“虽说现在的生活忙碌充实但也不能安于现状，我们下一步就要进行公司的注册，产品上会跟贵州的本地文化多做一些融合。毕竟民族的才是世界的!”豆小nia说。

豆小nia小两口儿目前住在三桥的父母家，“每天下班，先到菜市场买菜再一起回家，左手提着菜右手牵着老婆的手，这就是平淡的也是最温馨的幸福。”竹官开着老爸淘汰下来的二手车说，“现在生活逐渐步入正轨，只要我们不断努力，相信未来会更好。”

B. 什么是数博会

中国国际大数据产业博抄览会，简称数博会，是国家级博览会，是探讨大数据行业发展现状和趋势的平台。

2015年5月26日，“2015贵阳国际大数据产业博览会暨全球大数据时代贵阳峰会”在贵阳开幕。2018年中国国际大数据产业博览会将于2018年5月26至29日在贵阳召开。共129家来自国内外知名企业将分享各自在大数据研究和实践领域上的最新科技和应用。

(2)大数据创新峰会扩展阅读：

2018数博会以“数化万物 智在融合”为年度主题，举办“同期两会、一展、一赛及系列活动”。

“同期两会”即中国国际大数据产业博览会与中国电子商务创新发展峰会同期举办，其中，数博会包含1场高峰会议、开（闭）幕式、8场高端对话、50余场专业论坛，电商峰会包含1场主论坛、8场分论坛、年度盛典以及CEO沙龙活动。

C. 上海大数据产业创新峰会

在市场监督总局专家及领导对黄浦区网格协调中心的调研会上，我们的网格化市场监管可视化平台获奖。

D. 大数据行业都有哪些大会

2021 WeDataSphere 社区大会（当前未开始）

场活动面向开源大数据领域的开发者和用户，邀请到开放原子开源基金会 TOC 主席堵俊平、WeDataSphere 社区发起人邸帅、天翼云大数据平台技术专家王小刚等嘉宾进行分享。

本次分享既有对开源大数据技术和工具发展趋势的解读，还有开源一站式大数据平台套件 WeDataSphere 最佳实践和优秀案例的分享，更有如何基于开源项目构建企业级数据平台的探讨和交流。

E. 第三届数字中国建设峰会举办，这次峰会有何看点

本届数字中国建设峰会，“好看、好用、好玩”的科技运用成为建行展厅一大亮点。比如建专行展厅打造的“金彩6+1”主题属金融服务场景，包括“数字普惠、数字政务、数字乡村、数字房产、数字运营、数字共享+互动体验”。

F. 直通数博会丨区块链标准化与应用创新峰会发布三项创新成果

河北省委网信办总工程师张平介绍，区块链是本届博览会聚焦的热点之一，去年河北省发布的《河北省区块链专项行动计划（2020-2022年）》，明确了河北省区块链技术及产业应用发展目标——到2022年末河北省区块链相关领域领军企业和龙头企业达到20家，培育一批区块链应用产品，力争打造出1-3个全国知名区块链品牌，形成3个具有区域影响力的区块链产业集聚园区，区块链产业竞争力位居国内前列。为此，河北省正致力于引进国内外知名企业，聚集最先进的技术、最前沿的创新理念、最高端的人才资源，培育出河北区块链产业发展的创新力量。

“河北省特色农产品区块链溯源平台”由河北省科学院应用数学研究所和华烨冀科有限公司合作开发。河北省科学院应用数学研究所副所长王志强介绍，该平台将区块链与大数据、物联网、人工智能等技术充分融合，实现特色农产品的生产、物流和销售信息全链条可追溯，使生产经营者、 社会 公众和监管部门能够共同参与，进而建立品牌、提升产品价值，促进农业经济的高质量发展。

据悉，“河北省特色农产品区块链溯源平台”最为突出的是三个特色：

首先是一票一码，物码锁定。把经营主体信息与销售单据进行智能识别与匹配，有效解决了数据来源多、质量差、上下游不一致等问题。

再就是全链存证，精准追溯。以追溯码为载体，以责任和流向管理为核心需求，将农产品流通数据、电子凭证等信息上链，实现数据不可篡改、交易可追溯等功能，并通过数据储存与交换的标准化来提升数据吞吐量、系统响应速度等关键性能指标。

第三个是多源融合，靶向监管。在区块链系统的基础上，面向特色农产品产业链，建立了生产、流通和检验大数据的融合模型，实现了基于大数据分析的靶向监管和智能决策，全方位提升上链产品品牌的可信度。

“经过三个月的试用，该平台已接入农产品交易市场212家，入网商户9807家，上链品种3484个，展现出了强劲的应用需求与发展潜力。”王志强介绍，河北省科学院还在 探索 另一种精品路线，与巨鹿县政府合作推进“一花托百业”工程，以“区块链赋能农业”为切入点，开创农业数字庄园建设，继而带动县域一二三产业融合发展，最终实现“一花开，百业兴”。

本次区块链标准化与应用创新峰会由中国国际数字经济博览会组委会主办，中国电子技术标准化研究院、中国科学院软件研究所、河北省科学院承办。

G. 国内有哪些知名的大数据峰会

大数据技术标准推进委员会承办的2019大数据产业峰会在北京国际会议中心大数据基础技术开源生态趋向成熟，

H. 马云马化腾雷军等大佬在大数据峰会都说了啥

■马化腾：用移动互联网防止雾霾
两会之前，柴静的《穹顶之下》用互联网的方式已经做了预热，同样今年两会中腾讯CEO马化腾的提案一经曝光，引起了大众的热烈讨论。他表示，随着移动互联网、大数据、云计算、物联网与人工智能等新技术的快速发展，各行业现在都在围绕互联网做融合创新，不仅有助产业升级，还能促进大众创业，极大方便人民生活。“政府部门应当加快移动互联网在民生领域的普及和应用，把‘人与公共服务’通过数字化的方式全面连接起来，有助于解决看病难、教育资源不均衡以及防治雾霾等新老重大民生问题。”
■李彦宏：设立国家层面的“中国大脑”计划
网络CEO李彦宏在今年两会提出设立国家层面的“中国大脑”计划。以智能人机交互、大数据分析预测、自动驾驶，智能医疗诊断，智能无人机，军民机器人技术等为重要研究领域；支持有能力的企业搭建人工智能基础资源和公共服务平台，面向不同研究领域开放平台资源，高效对接社会资源，依托统一平台协同创新。距离网络成立IDL研究院已经过去了两年，而网络的财报显示，从2013年开始，网络的研发费用大幅提升。
■雷军：把互联网纳入国家战略
小米科技的董事长兼CEO雷军则在今年的提议中，建议把互联网纳入国家战略，更好地把握互联网的时机待遇，用互联网来更快的推动传统产业的转型升级。且他通过三点来阐述了自己的观点：
1、经过过去十五年的发展，中国互联网行业已经具备相当大的规模，在全球前五的互联网公司中，三家美国公司，两家中国公司；全球前七，四家美国公司，三家中国公司。中国已经领先了日本韩国欧洲等发达国家，这是非常巨大的进步。
2、过去的互联网主要涉足的领域是传媒、软件、游戏和零售等行业，而近几年开始渗透更多的传统企业。小米就是通过互联网涉足手机行业，在2011年10月上市，第一年2012年126.5亿，预计到今年600-700亿，明年有比较大把握过千亿。这就是互联网的威力。
3、要把握移动互联网的巨大机遇，如今所有的互联网公司都在努力抢分移动互联网这块新蛋糕，没有移动互联网，就没有未来。目前最成功的莫属腾讯，做微信至今三年，目前已经超过四亿活跃用户，市值也从500亿美元涨到1500亿，是目前最大的赢家。

I. 技术干货：SQL on Hadoop在快手大数据平台的实践与优化

快手大数据架构工程师钟靓近日在 A2M 人工智能与机器学习创新峰会分享了题为《SQL on Hadoop 在快手大数据平台的实践与优化》的演讲，主要从 SQL on Hadoop 介绍、快手 SQL on Hadoop 平台概述、SQL on Hadoop 在快手的使用经验和改进分析、快手 SQL on Hadoop 的未来计划四方面介绍了 SQL on Hadoop 架构。

SQL on Hadoop，顾名思义它是基于 Hadoop 生态的一个 SQL 引擎架构，我们其实常常听到 Hive、SparkSQL、Presto、Impala 架构。接下来，我会简单的描述一下常用的架构情况。

HIVE，一个数据仓库系统。它将数据结构映射到存储的数据中，通过 SQL 对大规模的分布式存储数据进行读、写、管理。

根据定义的数据模式，以及输出 Storage，它会对输入的 SQL 经过编译、优化，生成对应引擎的任务，然后调度执行生成的任务。

HIVE 当前支持的引擎类型有：MR、SPARK、TEZ。

基于 HIVE 本身的架构，还有一些额外的服务提供方式，比如 HiveServer2 与 MetaStoreServer 都是 Thrift 架构。

此外，HiveServer2 提供远程客户端提交 SQL 任务的功能，MetaStoreServer 则提供远程客户端操作元数据的功能。

Spark，一个快速、易用，以 DAG 作为执行模式的大规模数据处理的统一分析引擎，主要模块分为 SQL 引擎、流式处理 、机器学习、图处理。

SPARKSQL 基于 SPARK 的计算引擎，做到了统一数据访问，集成 Hive，支持标准 JDBC 连接。SPARKSQL 常用于数据交互分析的场景。

SPARKSQL 的主要执行逻辑，首先是将 SQL 解析为语法树，然后语义分析生成逻辑执行计划，接着与元数据交互，进行逻辑执行计划的优化，最后，将逻辑执行翻译为物理执行计划，即 RDD lineage，并执行任务。

PRESTO，一个交互式分析查询的开源分布式 SQL 查询引擎。

因为基于内存计算，PRESTO 的计算性能大于有大量 IO 操作的 MR 和 SPARK 引擎。它有易于弹性扩展，支持可插拔连接的特点。

业内的使用案例很多，包括 FaceBook、AirBnb、美团等都有大规模的使用。

我们看到这么多的 SQL on Hadoop 架构，它侧面地说明了这种架构比较实用且成熟。利用 SQL on Hadoop 架构，我们可以实现支持海量数据处理的需求。

查询平台每日 SQL 总量在 70 万左右，DQL 的总量在 18 万左右。AdHoc 集群主要用于交互分析及机器查询，DQL 平均耗时为 300s；AdHoc 在内部有 Loacl 任务及加速引擎应用，所以查询要求耗时较低。

ETL 集群主要用于 ETL 处理以及报表的生成。DQL 平均耗时为 1000s，DQL P50 耗时为 100s，DQL P90 耗时为 4000s，除上述两大集群外，其它小的集群主要用于提供给单独的业务来使用。

服务层是对上层进行应用的。在上层有四个模块，这其中包括同步服务、ETL 平台、AdHoc 平台以及用户程序。在调度上层，同样也有四方面的数据，例如服务端日志，对它进行处理后，它会直接接入到 HDFS 里，我们后续会再对它进行清洗处理；服务打点的数据以及数据库信息，则会通过同步服务入到对应的数据源里，且我们会将元数据信息存在后端元数据系统中。

网页爬取的数据会存入 hbase，后续也会进行清洗与处理。

HUE、NoteBook 主要提供的是交互式查询的系统。报表系统、BI 系统主要是 ETL 处理以及常见的报表生成，额外的元数据系统是对外进行服务的。快手现在的引擎支持 MR、Presto 及 Spark。

管理系统主要用于管理我们当前的集群。HiveServer2 集群路由系统，主要用于引擎的选择。监控系统以及运维系统，主要是对于 HiveServer2 引擎进行运维。

我们在使用 HiveServer2 过程中，遇到过很多问题。接下来，我会详细的为大家阐述快手是如何进行优化及实践的。

当前有多个 HiveServer2 集群，分别是 AdHoc 与 ETL 两大集群，以及其他小集群。不同集群有对应的连接 ZK，客户端可通过 ZK 连接 HiveServer2 集群。

为了保证核心任务的稳定性，将 ETL 集群进行了分级，分为核心集群和一般集群。在客户端连接 HS2 的时候，我们会对任务优先级判定，高优先级的任务会被路由到核心集群，低优先级的任务会被路由到一般集群。

BeaconServer 服务为后端 Hook Server 服务，配合 HS2 中的 Hook，在 HS2 服务之外实现了所需的功能。当前支持的模块包括路由、审计、SQL 重写、任务控制、错误分析、优化建议等。

•无状态，BeaconServer 服务支持水平扩展。基于请求量的大小，可弹性调整服务的规模。

•配置动态加载，BeaconServer 服务支持动态配置加载。各个模块支持开关，服务可动态加载配置实现上下线。比如路由模块，可根据后端加速引擎集群资源情况，进行路由比率调整甚至熔断。

•无缝升级，BeaconServer 服务的后端模块可单独进行下线升级操作，不会影响 Hook 端 HS2 服务。

•Hive 支持 SPARK 与 TEZ 引擎，但不适用于生产环境。

•SQL on Hadoop 的 SQL 引擎各有优缺点，用户学习和使用的门槛较高。

•不同 SQL 引擎之间的语法和功能支持上存在差异，需要大量的测试和兼容工作，完全兼容的成本较高。

•不同 SQL 引擎各自提供服务会给数仓的血缘管理、权限控制、运维管理、资源利用都带来不便。

•在 Hive 中，自定义实现引擎。

•自动路由功能，不需要设置引擎，自动选择适合的加速引擎。

•根绝规则匹配 SQL，只将兼容的 SQL 推给加速引擎。

•复用 HiveServer2 集群架构。

基于 HiveServer2，有两种实现方式。JDBC 方式是通过 JDBC 接口，将 SQL 发送至后端加速引擎启动的集群上。PROXY 方式是将 SQL 下推给本地的加速引擎启动的 Client。

JDBC 方式启动的后端集群，均是基于 YARN，可以实现资源的分时复用。比如 AdHoc 集群的资源在夜间会自动回收，作为报表系统的资源进行复用。

路由方案基于 HS2 的 Hook 架构，在 HS2 端实现对应 Hook，用于引擎切换；后端 BeaconServer 服务中实现路由 服务，用于 SQL 的路由规则的匹配处理。不同集群可配置不同的路由规则。

为了保证后算路由服务的稳定性，团队还设计了 Rewrite Hook，用于重写 AdHoc 集群中的 SQL，自动添加 LIMIT 上限，防止大数据量的 SCAN。

•易于集成，当前主流的 SQL 引擎都可以方便的实现 JDBC 与 PROXY 方式。再通过配置，能简单的集成新的查询引擎，比如 impala、drill 等。

•自动选择引擎，减少了用户的引擎使用成本，同时也让迁移变得更简单。并且在加速引擎过载 的情况下，可以动态调整比例，防止因过载 对加速性能的影响。

•自动降级，保证了运行的可靠性。SQL 路由支持 failback 模块，可以根据配置选择是否再路由引擎执行失败后，回滚到 MR 运行。

•模块复用，对于新增的引擎，都可以复用 HiveServer2 定制的血缘采集、权限认证、并发锁控制等方案，大大降低了使用成本。

•资源复用，对于 adhoc 查询占用资源可以分时动态调整，有效保证集群资源的利用率。

当查询完成后，本地会轮询结果文件，一直获取到 LIMIT 大小，然后返回。这种情况下，当有大量的小文件存在，而大文件在后端的时候，会导致 Bad Case，不停与 HDFS 交互，获取文件信息以及文件数据，大大拉长运行时间。

在 Fetch 之前，对结果文件的大小进行预排序，可以有数百倍的性能提升。

示例：当前有 200 个文件。199 个小文件一条记录 a，1 个大文件混合记录 a 与 test 共 200 条，大文件名 index 在小文件之后。

Hive 中有一个 SimpleFetchOptimizer 优化器，会直接生成 FetchTask，减小资源申请时间与调度时间。但这个优化会出现瓶颈。如果数据量小，但是文件数多，需要返回的条数多，存在能大量筛掉结果数据的 Filter 条件。这时候串行读取输入文件，导致查询延迟大，反而没起到加速效果。

在 SimpleFetchOptimizer 优化器中，新增文件数的判断条件，最后将任务提交到集群环境，通过提高并发来实现加速。

示例：读取当前 500 个文件的分区。优化后的文件数阈值为 100。

一个表有大量的子分区，它的 DESC 过程会与元数据交互，获取所有的分区。但最后返回的结果，只有跟表相关的信息。

与元数据交互的时候，延迟了整个 DESC 的查询，当元数据压力大的时候甚至无法返回结果。

针对于 TABLE 的 DESC 过程，直接去掉了跟元数据交互获取分区的过程，加速时间跟子分区数量成正比。

示例：desc 十万分区的大表。

•复用 split 计算的数据，跳过 rece 估算重复统计输入过程。输入数据量大的任务，调度速率提升 50%。

•parquetSerde init 加速，跳过同一表的重复列剪枝优化，防止 map task op init 时间超时。

•新增 LazyOutputFormat，有 record 输出再创建文件，避免空文件的产生，导致下游读取大量空文件消耗时间。

•statsTask 支持多线程聚合统计信息，防止中间文件过多导致聚合过慢，增大运行时间。

•AdHoc 需要打开并行编译，防止 SQL 串行编译导致整体延迟时间增大的问题。

HS2 启动时会对物化视图功能进行初始化，轮询整个元数据库，导致 HS2 的启动时间非常长，从下线状态到重新上线间隔过大，可用性很差。

将物化视图功能修改为延迟懒加载，单独线程加载，不影响 HS2 的服务启动。物化视图支持加载中获取已缓存信息，保证功能的可用性。

HS2 启动时间从 5min+提升至<5s。

HS2 本身上下线成本较高，需要保证服务上的任务全部执行完成才能进行操作。配置的修改可作为较高频率的操作，且需要做到热加载。

在 HS2 的 ThriftServer 层我们增加了接口，与运维系统打通后，配置下推更新的时候自动调用，可实现配置的热加载生效。

HiveServer2 的 scratchdir 主要用于运行过程中的临时文件存储。当 HS2 中的会话创建时，便会创建 scratchdir。在 HDFS 压力大的时候，大量的会话会阻塞在创建 scratchdir 过程，导致连接数堆积至上限，最终 HS2 服务无法再连入新连接，影响服务可用性。

对此，我们先分离了一般查询与 create temporay table 查询的 scratch 目录，并支持 create temporay table 查询的 scratch 的懒创建。当 create temporay table 大量创建临时文件，便会影响 HDFS NameNode 延迟时间的时候，一般查询的 scratchdir HDFS NameNode 可以正常响应。

此外，HS2 还支持配置多 scratch，不同的 scratch 能设置加载比率，从而实现 HDFS 的均衡负载。

Hive 调度其中存在两个问题。

一、子 Task 非执行状态为完成情况的时候，若有多轮父 Task 包含子 Task，导致子 Task 被重复加入调度队列。这种 Case，需要将非执行状态修改成初始化状态。

二、当判断子 Task 是否可执行的过程中，会因为状态检测异常，无法正常加入需要调度的子 Task，从而致使查询丢失 Stage。而这种 Case，我们的做法是在执行完成后，加入一轮 Stage 的执行结果状态检查，一旦发现有下游 Stage 没有完成，直接抛出错误，实现查询结果状态的完备性检查。

•HS2 实现了接口终止查询 SQL。利用这个功能，可以及时终止异常 SQL。

•metastore JDOQuery 查询优化，关键字异常跳过，防止元数据长时间卡顿或者部分异常查询影响元数据。

•增加开关控制，强制覆盖外表目录，解决 insert overwrite 外表，文件 rename 报错的问题。

•hive parquet 下推增加关闭配置，避免 parquet 异常地下推 OR 条件，导致结果不正确。

•executeForArray 函数 join 超大字符串导致 OOM，增加限制优化。

•增加根据 table 的 schema 读取分区数据的功能，避免未级联修改分区 schema 导致读取数据异常。

•部分用户并没有开发经验，无法处理处理引擎返回的报错。

•有些错误的报错信息不明确，用户无法正确了解错误原因。

•失败的任务排查成本高，需要对 Hadoop 整套系统非常熟悉。

•用户的错误 SQL、以及需要优化的 SQL，大量具有共通性。人力维护成本高，但系统分析成本低。

SQL 专家系统基于 HS2 的 Hook 架构，在 BeaconServer 后端实现了三个主要的模块，分别是 SQL 规则控制模块、SQL 错误分析模块，与 SQL 优化建议模块。SQL 专家系统的知识库，包含关键字、原因说明、处理方案等几项主要信息，存于后端数据库中，并一直积累。

通过 SQL 专家系统，后端可以进行查询 SQL 的异常控制，避免异常 SQL 的资源浪费或者影响集群稳定。用户在遇到问题时，能直接获取问题的处理方案，减少了使用成本。

示例：空分区查询控制。

SQL 专家系统能解决一部分 HS2 的任务执行的错误诊断需求，但是比如作业 健康 度、任务执行异常等问题原因的判断，需要专门的系统来解决，为此我们设计了作业诊断系统。

作业诊断系统在 YARN 的层面，针对不同的执行引擎，对搜集的 Counter 和配置进行分析。在执行层面，提出相关的优化建议。

作业诊断系统的数据也能通过 API 提供给 SQL 专家系统，补充用于分析的问题原因。

作业诊断系统提供了查询页面来查询运行的任务。以下是命中 map 输入过多规则的任务查询过程：

J. 贵阳数博会放假通知

2017年贵阳数博会放假通知【1】

尊敬的各位家长：

20XX年5月26日-29日贵阳市将举行中国大数据产业峰会暨中国电子商务创新发展峰会(以下简称“数博会”)，根据《中共贵阳市委办公厅 贵阳市人民政府办公厅关于在中国大数据产业峰会暨中国电子商务创新发展峰会期间对贵阳市部分区域内党政机关、事业单位和社会团体实行调休和放假的通知》及5月17日市教育局会议的精神，学校在数博会期间将调整作息时间，现将相关事项告知如下：

一、作息时间调整情况

1、5月22日——23日，正常入园;

5月24日——27日)，调休放假;

5月28日——29日，正常入园。

2、请家长谨记以上调休时间，监督孩子按时入园。

二、安全注意事项

调休放假期间，家长要加强对孩子的安全监管， 一是道路交通安全，教育孩子外出要自觉遵守交通法律法规，不做闯红灯，攀越隔离带等危险性极强的违法行为;不骑摩托车、不乘坐摩的、黑的等非法营运车辆。二是要加强防溺水安全教育和监管，没有大人陪护，学生不得到靠近河边、水库等危险区域游玩，不去逮鱼、钓鱼，不与同学结伴游泳，以免发生意外。三是加强对孩子进行用电、用火等安全教育，引导孩子安全用电、用火，告诫孩子，严禁带火种上山、到林区等处游玩，加强对孩子进行食品安全教育和监管，严禁孩子在外购买、食用“三无”食品，严防各种意外事故发生。

家长朋友们，孩子是家庭的`希望，是祖国的未来，教育孩子，保护孩子，是我们共同的职责，让我们携起手来，共同编织呵护生命的安全网，呵护每一个孩子安全、健康的成长，守护每一个家庭的和谐幸福。

2017年贵阳数博会放假通知【2】

尊敬的各位家长：

20XX年5月26日-29日贵阳市将举行中国大数据产业峰会暨中国电子商务创新发展峰会(以下简称“数博会”)，根据《中共贵阳市委办公厅贵阳市人民政府办公厅关于在中国大数据产业峰会暨中国电子商务创新发展峰会期间对贵阳市部分区域内党政机关、事业单位和社会团体实行调休和放假的通知》及5月17日市教育局会议的文件精神，幼儿园在数博会期间将调整作息时间、现将相关事项告知日下：

一、调休放假具体安排：

1.调休放假的具体安排为：

1)5月22日----23日正常入园

5月24日----27日调休放假

5月28日----29日正常入园

5月30日起恢复正常教学秩序。

2)请家长谨记以上调休时间，并按时送宝宝入园。

二、安全注意事项

调休放假期间，家长加强对孩子的安全监管。

一)、道路交通安全。教育孩子外出要自觉遵守交通法律法规，不做闯红灯、攀越隔离带等危险性极强的违法行为;不骑摩托车、不乘坐摩的、黑的等非法运营车辆。

二)、加强防溺水安全教育和监管，没有大人陪护、幼儿不得靠近河边、水库等危险区域玩耍游泳。不去逮鱼、钓鱼、以免发生意外。

三)、加强对孩子进行用电、用火等安全教育。严禁带火种上山、到林区等处游玩。

四)、假期间带幼儿外出时注意个人形象及饮食卫生，做到不随地乱扔垃圾，不随地吐痰，不购买路边摊和三无产品，不吃冰冷食物。

小骑士幼儿园位于贵州省贵阳市南明区后巢乡四方河路1号山水黔城内，占地5340平方米，欧式建筑风格，按省一级一类幼儿园标准配置，园内环境优美，是一所具有现代化、高水准，一流教学条件和设施的幼儿园。我园注重国际化、现代化、人性化大都市发展水平的办学思想和理念，遵循欢笑、梦想、关爱的宗旨，让幼儿成为有勇、有礼、有信、有智慧的新一代小绅士和小淑女。让孩子在赏识中生活，在生活中探索，在探索中求知，在求知中获得自信，在自信中获得能力。