大數據創新峰會

A. 2019年貴陽國際大數據產業博覽會放假通知安排

根據《中共貴陽市委辦公廳、貴陽市人民政府辦公廳關於在中國大數據產業峰會暨中國電子商務創新發展峰會期間對貴陽市部分區域內黨政機關、事業單位和社會團體實行調休和放假的通知》精神，將於5月25日至29日在貴陽市舉辦數博會，屆時將對貴陽市部分區域內黨政機關、事業單位和社會團體進行調休和放假。現將有關事項通知如下：

一、調休放假時間安排

5月24日至5月26日調休放假，共3天。其中，5月24日(星期二)、5月26日(星期四)調休;5月25日(星期三)放假;5月22日(星期日)、5月28日(星期六)上班。

二、調休放假范圍

中心清鎮管理部、修文管理部、息烽管理部、開陽管理部不納入此次放假調休范圍。其餘管理部及處室執行此通知。

三、有關要求

(一)中心辦公大樓、鐵路分中心、各管理部在調休放假期間務必落實好值班制度，安排專人負責值守，確保安全。

(二)調休放假期間各部門務必切斷電源、水源，關好門窗，檢查火種，消除隱患，確保萬無一失。

(三)值班人員要切實履行好職責，如遇緊急突發性事件需及時上報帶班領導。

(四)涉及到調休放假的部門要提前做好通知及相關的解釋工作。

5月18日

【相關資訊】

2016數博會組委會昨日透露，樂視生態、亞信數據、德國威圖將參展2016貴陽數博會，其中樂視生態是首次參展數博會，將帶來樂視超級汽車等新產品的貴州首秀。亞信數據則將集中展示智慧醫療、精準扶貧等政務大數據解決方案。

樂視:超級汽車

今年4月，樂視發布了LeSEE品牌首款概念車，定位D級純電動車型，還具備自動駕駛、智能互聯、動態座椅、智能電磁充電、汽車分享以及先進的設計理念。數博會期間，這款概念車也會首次亮相貴州，現場即可感受汽車業產業變革。

今年是樂視生態首次參展數博會，除了超級汽車，在接近200平米特裝展位，還將展示VR、120寸超級電視、手機、自行車等智能硬體產品、智能配件，以及樂視雲、大數據和樂視互娛游戲等服務和解決方案，作為樂視生態進軍貴州的首秀。

樂視相關負責人表示，作為一個國際級的展會，數博會具有世界級的視野，此次樂視參展數博會，一方面能夠展示樂視大數據和生態創新的成果，並尋找合作的機會。另一方面，樂視生態希望能夠進一步拓展貴州及西南市場，希望加強樂視生態在貴州及西南地區更好落地。早在去年6月，樂視生態就著手在中西部布局，與貴陽市政府簽署了戰略合作協議,雙方在互聯網平台、內容、終端上開展合作。

亞信:警務平台

警務數據一體化管控平台可以構建完整的警務數據一體化管控體系，助力警務數據質量標准化，敏捷挖掘數據價值，服務保障公安信息資源共享平台建設。醫療前哨一體機，則可支撐區域醫療業務協同和數據共享，高效實現各異構系統與區域信息平台的結構映射和數據集成。

這些大數據智能硬體都將由亞信數據帶來，數博會期間，亞信將設立專門展區，集中展示位置信息運營、數據資產管理雲圖、大數據雲平台等眾多領先大數據技術和產品，以及智慧醫療、精準扶貧等政務大數據解決方案，以及位置信息運營平台、數據資產管理雲圖、大數據一體機、農業電商等產品。

除了展覽，亞信數據還將參與演講等多個環節的互動，向與會者展示亞信數據在包括通訊行業、政企行業、金融行業等大數據服務平台的優質核心技術和實際應用，同時以政府和企業之間的直接對話為切入點，共同交流和探討在大數據領域政府和企業各自所面臨的問題和解決方案。

威圖:牽手貴州企業

全球知名的工業和信息化產業領導者——德國威圖(Rittal)公司今年將再次參加數博會，並與貴州高新翼雲公司建立了長期戰略合作，在大數據的雲端下全面助力行業「智」造發展。

從微觀數據中心到標准數據中心或雲解決方案，威圖能夠為中小企業及大公司提供完美的模塊化基礎設施。在展會上，威圖將向與會的專家及觀眾展示如何以豐富多樣的系統產品，提供創新的IT基礎設施的最新技術和解決方案。

同時，在展會期間全國各界數據中心專家還將與威圖高層將就「大數據增值服務，開拓新的商業模式」等話題進行了深入交流，並全面了解了威圖的創新技術和產品應用。

活動點擊

「大數據之父」將「對話大數據」

作為2016中國大數據產業峰會暨中國電子商務創新發展峰會活動之一，「對話大數據時代——從理論走進實踐」將於5月25日下午在花果園文化藝術中心舉行。被譽為「大數據之父」的舍恩伯格將出席活動並組織現場對話節目。

據介紹，該活動由南明區人民政府、宏立城集團、《大數據時代》雜志社協辦。邀請的嘉賓有牛津大學教授、《大數據時代》作者舍恩伯格， 電子科技大學 互聯網中心主任、《大數據時代》譯者周濤，小i機器人創始人袁輝，阿里巴巴副總裁徐子沛和Gartner集團中國高管合夥人趙光，活動由鳳凰衛視節目主持人胡一虎主持。彭婷

數博會設公眾開放日

昨日發布的數博會觀展時間安排公告中稱，數博會期間將設公眾開放日，市民可在指定時段內免費錯峰觀看數博會。

據悉，專業觀眾日開放時間為5月25日—26日9時至17時。受接待能力所限，屆時只接受提前登記注冊並獲審核通過的專業觀眾、受邀嘉賓和媒體記者前往參觀。

專業觀眾報名方式為數博會官網和微信公眾號，報名截止時間為5月24日24時。

公眾開放日開放時間為5月27日—28日9時至17時;5月29日9時至12時，展覽面向普通市民開放，不設門票。肖達鈺莎

數據流通應用創新模式將發布

由安徽省經信委指導，安徽淮南市政府主辦的「破解數據流通困局，發動數據經濟引擎」論壇，將於5月25日在貴陽召開。論壇期間，將發布全國首個數據流通應用創新模式「大數據應用開放平台」。周然楊皓鈞

小兩口的築夢工廠

豆小nia本名謝微，1989年出生，接觸羊毛氈已有5年的時間了。她是一名淘寶店主，也是聯合智造創客空間的入駐成員。她的淘寶店除了賣用羊毛氈定製的寵物外還有老公手工做的木勺、陶瓷公益品等。

豆小nia和老公「竹官」(本名管洪權)高中就認識，2013年在貴陽領證結婚。他們之前在上海「漂」了3年。

6月，聽朋友介紹貴陽高新區在搞創客空間支持文創產業免費入駐。小兩口兒興奮地提交了入駐申請，第二天就接到了入駐通知，7月正式入駐位於貴陽高新區的長通科技園，開始了創業生涯。

聯合智造是中國西部眾創園九大實體空間之一，是一個孵化Idea的夢工廠，豆小nia小兩口兒作為第一批入駐團隊受益頗多。

「場地、設備都是免費支持的，後期申請的話還可以有資金支持。像這個進口的電堯、拉坯機、木工車床、帶鋸都是聯合智造免費提供給我們使用的。入駐這里還有一個好處就是希望和其他的創客團隊擦出一些藝術上或技術上的火花，然後創造出更好的東西，我始終相信因為興趣聚集，玩一個東西玩到一定程度時，自然就會產生效益。」竹官說。

目前，豆小nia小兩口兒的產品銷售模式主要是通過網路，網路訂單主要以北上廣為主，本地的市場還沒有打開，「除了網路銷售外，我們還會開設一些課程，有興趣的人可以過來學，同時在商場等人流多的地方舉辦一些活動，讓更多的人了解手工。」豆小nia說。

「雖說現在的生活忙碌充實但也不能安於現狀，我們下一步就要進行公司的注冊，產品上會跟貴州的本地文化多做一些融合。畢竟民族的才是世界的!」豆小nia說。

豆小nia小兩口兒目前住在三橋的父母家，「每天下班，先到菜市場買菜再一起回家，左手提著菜右手牽著老婆的手，這就是平淡的也是最溫馨的幸福。」竹官開著老爸淘汰下來的二手車說，「現在生活逐漸步入正軌，只要我們不斷努力，相信未來會更好。」

B. 什麼是數博會

中國國際大數據產業博抄覽會，簡稱數博會，是國家級博覽會，是探討大數據行業發展現狀和趨勢的平台。

2015年5月26日，「2015貴陽國際大數據產業博覽會暨全球大數據時代貴陽峰會」在貴陽開幕。2018年中國國際大數據產業博覽會將於2018年5月26至29日在貴陽召開。共129家來自國內外知名企業將分享各自在大數據研究和實踐領域上的最新科技和應用。

(2)大數據創新峰會擴展閱讀：

2018數博會以「數化萬物 智在融合」為年度主題，舉辦「同期兩會、一展、一賽及系列活動」。

「同期兩會」即中國國際大數據產業博覽會與中國電子商務創新發展峰會同期舉辦，其中，數博會包含1場高峰會議、開（閉）幕式、8場高端對話、50餘場專業論壇，電商峰會包含1場主論壇、8場分論壇、年度盛典以及CEO沙龍活動。

C. 上海大數據產業創新峰會

在市場監督總局專家及領導對黃浦區網格協調中心的調研會上，我們的網格化市場監管可視化平台獲獎。

D. 大數據行業都有哪些大會

2021 WeDataSphere 社區大會（當前未開始）

場活動面向開源大數據領域的開發者和用戶，邀請到開放原子開源基金會 TOC 主席堵俊平、WeDataSphere 社區發起人邸帥、天翼雲大數據平台技術專家王小剛等嘉賓進行分享。

本次分享既有對開源大數據技術和工具發展趨勢的解讀，還有開源一站式大數據平台套件 WeDataSphere 最佳實踐和優秀案例的分享，更有如何基於開源項目構建企業級數據平台的探討和交流。

E. 第三屆數字中國建設峰會舉辦，這次峰會有何看點

本屆數字中國建設峰會，“好看、好用、好玩”的科技運用成為建行展廳一大亮點。比如建專行展廳打造的“金彩6+1”主題屬金融服務場景，包括“數字普惠、數字政務、數字鄉村、數字房產、數字運營、數字共享+互動體驗”。

F. 直通數博會丨區塊鏈標准化與應用創新峰會發布三項創新成果

河北省委網信辦總工程師張平介紹，區塊鏈是本屆博覽會聚焦的熱點之一，去年河北省發布的《河北省區塊鏈專項行動計劃（2020-2022年）》，明確了河北省區塊鏈技術及產業應用發展目標——到2022年末河北省區塊鏈相關領域領軍企業和龍頭企業達到20家，培育一批區塊鏈應用產品，力爭打造出1-3個全國知名區塊鏈品牌，形成3個具有區域影響力的區塊鏈產業集聚園區，區塊鏈產業競爭力位居國內前列。為此，河北省正致力於引進國內外知名企業，聚集最先進的技術、最前沿的創新理念、最高端的人才資源，培育出河北區塊鏈產業發展的創新力量。

「河北省特色農產品區塊鏈溯源平台」由河北省科學院應用數學研究所和華燁冀科有限公司合作開發。河北省科學院應用數學研究所副所長王志強介紹，該平台將區塊鏈與大數據、物聯網、人工智慧等技術充分融合，實現特色農產品的生產、物流和銷售信息全鏈條可追溯，使生產經營者、 社會 公眾和監管部門能夠共同參與，進而建立品牌、提升產品價值，促進農業經濟的高質量發展。

據悉，「河北省特色農產品區塊鏈溯源平台」最為突出的是三個特色：

首先是一票一碼，物碼鎖定。把經營主體信息與銷售單據進行智能識別與匹配，有效解決了數據來源多、質量差、上下游不一致等問題。

再就是全鏈存證，精準追溯。以追溯碼為載體，以責任和流向管理為核心需求，將農產品流通數據、電子憑證等信息上鏈，實現數據不可篡改、交易可追溯等功能，並通過數據儲存與交換的標准化來提升數據吞吐量、系統響應速度等關鍵性能指標。

第三個是多源融合，靶向監管。在區塊鏈系統的基礎上，面向特色農產品產業鏈，建立了生產、流通和檢驗大數據的融合模型，實現了基於大數據分析的靶向監管和智能決策，全方位提升上鏈產品品牌的可信度。

「經過三個月的試用，該平台已接入農產品交易市場212家，入網商戶9807家，上鏈品種3484個，展現出了強勁的應用需求與發展潛力。」王志強介紹，河北省科學院還在 探索 另一種精品路線，與巨鹿縣政府合作推進「一花托百業」工程，以「區塊鏈賦能農業」為切入點，開創農業數字庄園建設，繼而帶動縣域一二三產業融合發展，最終實現「一花開，百業興」。

本次區塊鏈標准化與應用創新峰會由中國國際數字經濟博覽會組委會主辦，中國電子技術標准化研究院、中國科學院軟體研究所、河北省科學院承辦。

G. 國內有哪些知名的大數據峰會

大數據技術標准推進委員會承辦的2019大數據產業峰會在北京國際會議中心大數據基礎技術開源生態趨向成熟，

H. 馬雲馬化騰雷軍等大佬在大數據峰會都說了啥

■馬化騰：用移動互聯網防止霧霾
兩會之前，柴靜的《穹頂之下》用互聯網的方式已經做了預熱，同樣今年兩會中騰訊CEO馬化騰的提案一經曝光，引起了大眾的熱烈討論。他表示，隨著移動互聯網、大數據、雲計算、物聯網與人工智慧等新技術的快速發展，各行業現在都在圍繞互聯網做融合創新，不僅有助產業升級，還能促進大眾創業，極大方便人民生活。「政府部門應當加快移動互聯網在民生領域的普及和應用，把『人與公共服務』通過數字化的方式全面連接起來，有助於解決看病難、教育資源不均衡以及防治霧霾等新老重大民生問題。」
■李彥宏：設立國家層面的「中國大腦」計劃
網路CEO李彥宏在今年兩會提出設立國家層面的「中國大腦」計劃。以智能人機交互、大數據分析預測、自動駕駛，智能醫療診斷，智能無人機，軍民機器人技術等為重要研究領域；支持有能力的企業搭建人工智慧基礎資源和公共服務平台，面向不同研究領域開放平台資源，高效對接社會資源，依託統一平台協同創新。距離網路成立IDL研究院已經過去了兩年，而網路的財報顯示，從2013年開始，網路的研發費用大幅提升。
■雷軍：把互聯網納入國家戰略
小米科技的董事長兼CEO雷軍則在今年的提議中，建議把互聯網納入國家戰略，更好地把握互聯網的時機待遇，用互聯網來更快的推動傳統產業的轉型升級。且他通過三點來闡述了自己的觀點：
1、經過過去十五年的發展，中國互聯網行業已經具備相當大的規模，在全球前五的互聯網公司中，三家美國公司，兩家中國公司；全球前七，四家美國公司，三家中國公司。中國已經領先了日本韓國歐洲等發達國家，這是非常巨大的進步。
2、過去的互聯網主要涉足的領域是傳媒、軟體、游戲和零售等行業，而近幾年開始滲透更多的傳統企業。小米就是通過互聯網涉足手機行業，在2011年10月上市，第一年2012年126.5億，預計到今年600-700億，明年有比較大把握過千億。這就是互聯網的威力。
3、要把握移動互聯網的巨大機遇，如今所有的互聯網公司都在努力搶分移動互聯網這塊新蛋糕，沒有移動互聯網，就沒有未來。目前最成功的莫屬騰訊，做微信至今三年，目前已經超過四億活躍用戶，市值也從500億美元漲到1500億，是目前最大的贏家。

I. 技術干貨：SQL on Hadoop在快手大數據平台的實踐與優化

快手大數據架構工程師鍾靚近日在 A2M 人工智慧與機器學習創新峰會分享了題為《SQL on Hadoop 在快手大數據平台的實踐與優化》的演講，主要從 SQL on Hadoop 介紹、快手 SQL on Hadoop 平台概述、SQL on Hadoop 在快手的使用經驗和改進分析、快手 SQL on Hadoop 的未來計劃四方面介紹了 SQL on Hadoop 架構。

SQL on Hadoop，顧名思義它是基於 Hadoop 生態的一個 SQL 引擎架構，我們其實常常聽到 Hive、SparkSQL、Presto、Impala 架構。接下來，我會簡單的描述一下常用的架構情況。

HIVE，一個數據倉庫系統。它將數據結構映射到存儲的數據中，通過 SQL 對大規模的分布式存儲數據進行讀、寫、管理。

根據定義的數據模式，以及輸出 Storage，它會對輸入的 SQL 經過編譯、優化，生成對應引擎的任務，然後調度執行生成的任務。

HIVE 當前支持的引擎類型有：MR、SPARK、TEZ。

基於 HIVE 本身的架構，還有一些額外的服務提供方式，比如 HiveServer2 與 MetaStoreServer 都是 Thrift 架構。

此外，HiveServer2 提供遠程客戶端提交 SQL 任務的功能，MetaStoreServer 則提供遠程客戶端操作元數據的功能。

Spark，一個快速、易用，以 DAG 作為執行模式的大規模數據處理的統一分析引擎，主要模塊分為 SQL 引擎、流式處理 、機器學習、圖處理。

SPARKSQL 基於 SPARK 的計算引擎，做到了統一數據訪問，集成 Hive，支持標准 JDBC 連接。SPARKSQL 常用於數據交互分析的場景。

SPARKSQL 的主要執行邏輯，首先是將 SQL 解析為語法樹，然後語義分析生成邏輯執行計劃，接著與元數據交互，進行邏輯執行計劃的優化，最後，將邏輯執行翻譯為物理執行計劃，即 RDD lineage，並執行任務。

PRESTO，一個互動式分析查詢的開源分布式 SQL 查詢引擎。

因為基於內存計算，PRESTO 的計算性能大於有大量 IO 操作的 MR 和 SPARK 引擎。它有易於彈性擴展，支持可插拔連接的特點。

業內的使用案例很多，包括 FaceBook、AirBnb、美團等都有大規模的使用。

我們看到這么多的 SQL on Hadoop 架構，它側面地說明了這種架構比較實用且成熟。利用 SQL on Hadoop 架構，我們可以實現支持海量數據處理的需求。

查詢平台每日 SQL 總量在 70 萬左右，DQL 的總量在 18 萬左右。AdHoc 集群主要用於交互分析及機器查詢，DQL 平均耗時為 300s；AdHoc 在內部有 Loacl 任務及加速引擎應用，所以查詢要求耗時較低。

ETL 集群主要用於 ETL 處理以及報表的生成。DQL 平均耗時為 1000s，DQL P50 耗時為 100s，DQL P90 耗時為 4000s，除上述兩大集群外，其它小的集群主要用於提供給單獨的業務來使用。

服務層是對上層進行應用的。在上層有四個模塊，這其中包括同步服務、ETL 平台、AdHoc 平台以及用戶程序。在調度上層，同樣也有四方面的數據，例如服務端日誌，對它進行處理後，它會直接接入到 HDFS 里，我們後續會再對它進行清洗處理；服務打點的數據以及資料庫信息，則會通過同步服務入到對應的數據源里，且我們會將元數據信息存在後端元數據系統中。

網頁爬取的數據會存入 hbase，後續也會進行清洗與處理。

HUE、NoteBook 主要提供的是互動式查詢的系統。報表系統、BI 系統主要是 ETL 處理以及常見的報表生成，額外的元數據系統是對外進行服務的。快手現在的引擎支持 MR、Presto 及 Spark。

管理系統主要用於管理我們當前的集群。HiveServer2 集群路由系統，主要用於引擎的選擇。監控系統以及運維系統，主要是對於 HiveServer2 引擎進行運維。

我們在使用 HiveServer2 過程中，遇到過很多問題。接下來，我會詳細的為大家闡述快手是如何進行優化及實踐的。

當前有多個 HiveServer2 集群，分別是 AdHoc 與 ETL 兩大集群，以及其他小集群。不同集群有對應的連接 ZK，客戶端可通過 ZK 連接 HiveServer2 集群。

為了保證核心任務的穩定性，將 ETL 集群進行了分級，分為核心集群和一般集群。在客戶端連接 HS2 的時候，我們會對任務優先順序判定，高優先順序的任務會被路由到核心集群，低優先順序的任務會被路由到一般集群。

BeaconServer 服務為後端 Hook Server 服務，配合 HS2 中的 Hook，在 HS2 服務之外實現了所需的功能。當前支持的模塊包括路由、審計、SQL 重寫、任務控制、錯誤分析、優化建議等。

•無狀態，BeaconServer 服務支持水平擴展。基於請求量的大小，可彈性調整服務的規模。

•配置動態載入，BeaconServer 服務支持動態配置載入。各個模塊支持開關，服務可動態載入配置實現上下線。比如路由模塊，可根據後端加速引擎集群資源情況，進行路由比率調整甚至熔斷。

•無縫升級，BeaconServer 服務的後端模塊可單獨進行下線升級操作，不會影響 Hook 端 HS2 服務。

•Hive 支持 SPARK 與 TEZ 引擎，但不適用於生產環境。

•SQL on Hadoop 的 SQL 引擎各有優缺點，用戶學習和使用的門檻較高。

•不同 SQL 引擎之間的語法和功能支持上存在差異，需要大量的測試和兼容工作，完全兼容的成本較高。

•不同 SQL 引擎各自提供服務會給數倉的血緣管理、許可權控制、運維管理、資源利用都帶來不便。

•在 Hive 中，自定義實現引擎。

•自動路由功能，不需要設置引擎，自動選擇適合的加速引擎。

•根絕規則匹配 SQL，只將兼容的 SQL 推給加速引擎。

•復用 HiveServer2 集群架構。

基於 HiveServer2，有兩種實現方式。JDBC 方式是通過 JDBC 介面，將 SQL 發送至後端加速引擎啟動的集群上。PROXY 方式是將 SQL 下推給本地的加速引擎啟動的 Client。

JDBC 方式啟動的後端集群，均是基於 YARN，可以實現資源的分時復用。比如 AdHoc 集群的資源在夜間會自動回收，作為報表系統的資源進行復用。

路由方案基於 HS2 的 Hook 架構，在 HS2 端實現對應 Hook，用於引擎切換；後端 BeaconServer 服務中實現路由 服務，用於 SQL 的路由規則的匹配處理。不同集群可配置不同的路由規則。

為了保證後算路由服務的穩定性，團隊還設計了 Rewrite Hook，用於重寫 AdHoc 集群中的 SQL，自動添加 LIMIT 上限，防止大數據量的 SCAN。

•易於集成，當前主流的 SQL 引擎都可以方便的實現 JDBC 與 PROXY 方式。再通過配置，能簡單的集成新的查詢引擎，比如 impala、drill 等。

•自動選擇引擎，減少了用戶的引擎使用成本，同時也讓遷移變得更簡單。並且在加速引擎過載 的情況下，可以動態調整比例，防止因過載 對加速性能的影響。

•自動降級，保證了運行的可靠性。SQL 路由支持 failback 模塊，可以根據配置選擇是否再路由引擎執行失敗後，回滾到 MR 運行。

•模塊復用，對於新增的引擎，都可以復用 HiveServer2 定製的血緣採集、許可權認證、並發鎖控制等方案，大大降低了使用成本。

•資源復用，對於 adhoc 查詢佔用資源可以分時動態調整，有效保證集群資源的利用率。

當查詢完成後，本地會輪詢結果文件，一直獲取到 LIMIT 大小，然後返回。這種情況下，當有大量的小文件存在，而大文件在後端的時候，會導致 Bad Case，不停與 HDFS 交互，獲取文件信息以及文件數據，大大拉長運行時間。

在 Fetch 之前，對結果文件的大小進行預排序，可以有數百倍的性能提升。

示例：當前有 200 個文件。199 個小文件一條記錄 a，1 個大文件混合記錄 a 與 test 共 200 條，大文件名 index 在小文件之後。

Hive 中有一個 SimpleFetchOptimizer 優化器，會直接生成 FetchTask，減小資源申請時間與調度時間。但這個優化會出現瓶頸。如果數據量小，但是文件數多，需要返回的條數多，存在能大量篩掉結果數據的 Filter 條件。這時候串列讀取輸入文件，導致查詢延遲大，反而沒起到加速效果。

在 SimpleFetchOptimizer 優化器中，新增文件數的判斷條件，最後將任務提交到集群環境，通過提高並發來實現加速。

示例：讀取當前 500 個文件的分區。優化後的文件數閾值為 100。

一個表有大量的子分區，它的 DESC 過程會與元數據交互，獲取所有的分區。但最後返回的結果，只有跟表相關的信息。

與元數據交互的時候，延遲了整個 DESC 的查詢，當元數據壓力大的時候甚至無法返回結果。

針對於 TABLE 的 DESC 過程，直接去掉了跟元數據交互獲取分區的過程，加速時間跟子分區數量成正比。

示例：desc 十萬分區的大表。

•復用 split 計算的數據，跳過 rece 估算重復統計輸入過程。輸入數據量大的任務，調度速率提升 50%。

•parquetSerde init 加速，跳過同一表的重復列剪枝優化，防止 map task op init 時間超時。

•新增 LazyOutputFormat，有 record 輸出再創建文件，避免空文件的產生，導致下游讀取大量空文件消耗時間。

•statsTask 支持多線程聚合統計信息，防止中間文件過多導致聚合過慢，增大運行時間。

•AdHoc 需要打開並行編譯，防止 SQL 串列編譯導致整體延遲時間增大的問題。

HS2 啟動時會對物化視圖功能進行初始化，輪詢整個元資料庫，導致 HS2 的啟動時間非常長，從下線狀態到重新上線間隔過大，可用性很差。

將物化視圖功能修改為延遲懶載入，單獨線程載入，不影響 HS2 的服務啟動。物化視圖支持載入中獲取已緩存信息，保證功能的可用性。

HS2 啟動時間從 5min+提升至<5s。

HS2 本身上下線成本較高，需要保證服務上的任務全部執行完成才能進行操作。配置的修改可作為較高頻率的操作，且需要做到熱載入。

在 HS2 的 ThriftServer 層我們增加了介面，與運維系統打通後，配置下推更新的時候自動調用，可實現配置的熱載入生效。

HiveServer2 的 scratchdir 主要用於運行過程中的臨時文件存儲。當 HS2 中的會話創建時，便會創建 scratchdir。在 HDFS 壓力大的時候，大量的會話會阻塞在創建 scratchdir 過程，導致連接數堆積至上限，最終 HS2 服務無法再連入新連接，影響服務可用性。

對此，我們先分離了一般查詢與 create temporay table 查詢的 scratch 目錄，並支持 create temporay table 查詢的 scratch 的懶創建。當 create temporay table 大量創建臨時文件，便會影響 HDFS NameNode 延遲時間的時候，一般查詢的 scratchdir HDFS NameNode 可以正常響應。

此外，HS2 還支持配置多 scratch，不同的 scratch 能設置載入比率，從而實現 HDFS 的均衡負載。

Hive 調度其中存在兩個問題。

一、子 Task 非執行狀態為完成情況的時候，若有多輪父 Task 包含子 Task，導致子 Task 被重復加入調度隊列。這種 Case，需要將非執行狀態修改成初始化狀態。

二、當判斷子 Task 是否可執行的過程中，會因為狀態檢測異常，無法正常加入需要調度的子 Task，從而致使查詢丟失 Stage。而這種 Case，我們的做法是在執行完成後，加入一輪 Stage 的執行結果狀態檢查，一旦發現有下游 Stage 沒有完成，直接拋出錯誤，實現查詢結果狀態的完備性檢查。

•HS2 實現了介面終止查詢 SQL。利用這個功能，可以及時終止異常 SQL。

•metastore JDOQuery 查詢優化，關鍵字異常跳過，防止元數據長時間卡頓或者部分異常查詢影響元數據。

•增加開關控制，強制覆蓋外表目錄，解決 insert overwrite 外表，文件 rename 報錯的問題。

•hive parquet 下推增加關閉配置，避免 parquet 異常地下推 OR 條件，導致結果不正確。

•executeForArray 函數 join 超大字元串導致 OOM，增加限制優化。

•增加根據 table 的 schema 讀取分區數據的功能，避免未級聯修改分區 schema 導致讀取數據異常。

•部分用戶並沒有開發經驗，無法處理處理引擎返回的報錯。

•有些錯誤的報錯信息不明確，用戶無法正確了解錯誤原因。

•失敗的任務排查成本高，需要對 Hadoop 整套系統非常熟悉。

•用戶的錯誤 SQL、以及需要優化的 SQL，大量具有共通性。人力維護成本高，但系統分析成本低。

SQL 專家系統基於 HS2 的 Hook 架構，在 BeaconServer 後端實現了三個主要的模塊，分別是 SQL 規則控制模塊、SQL 錯誤分析模塊，與 SQL 優化建議模塊。SQL 專家系統的知識庫，包含關鍵字、原因說明、處理方案等幾項主要信息，存於後端資料庫中，並一直積累。

通過 SQL 專家系統，後端可以進行查詢 SQL 的異常控制，避免異常 SQL 的資源浪費或者影響集群穩定。用戶在遇到問題時，能直接獲取問題的處理方案，減少了使用成本。

示例：空分區查詢控制。

SQL 專家系統能解決一部分 HS2 的任務執行的錯誤診斷需求，但是比如作業 健康 度、任務執行異常等問題原因的判斷，需要專門的系統來解決，為此我們設計了作業診斷系統。

作業診斷系統在 YARN 的層面，針對不同的執行引擎，對搜集的 Counter 和配置進行分析。在執行層面，提出相關的優化建議。

作業診斷系統的數據也能通過 API 提供給 SQL 專家系統，補充用於分析的問題原因。

作業診斷系統提供了查詢頁面來查詢運行的任務。以下是命中 map 輸入過多規則的任務查詢過程：

J. 貴陽數博會放假通知

2017年貴陽數博會放假通知【1】

尊敬的各位家長：

20XX年5月26日-29日貴陽市將舉行中國大數據產業峰會暨中國電子商務創新發展峰會(以下簡稱“數博會”)，根據《中共貴陽市委辦公廳 貴陽市人民政府辦公廳關於在中國大數據產業峰會暨中國電子商務創新發展峰會期間對貴陽市部分區域內黨政機關、事業單位和社會團體實行調休和放假的通知》及5月17日市教育局會議的精神，學校在數博會期間將調整作息時間，現將相關事項告知如下：

一、作息時間調整情況

1、5月22日——23日，正常入園;

5月24日——27日)，調休放假;

5月28日——29日，正常入園。

2、請家長謹記以上調休時間，監督孩子按時入園。

二、安全注意事項

調休放假期間，家長要加強對孩子的安全監管， 一是道路交通安全，教育孩子外出要自覺遵守交通法律法規，不做闖紅燈，攀越隔離帶等危險性極強的違法行為;不騎摩托車、不乘坐摩的、黑的等非法營運車輛。二是要加強防溺水安全教育和監管，沒有大人陪護，學生不得到靠近河邊、水庫等危險區域遊玩，不去逮魚、釣魚，不與同學結伴遊泳，以免發生意外。三是加強對孩子進行用電、用火等安全教育，引導孩子安全用電、用火，告誡孩子，嚴禁帶火種上山、到林區等處遊玩，加強對孩子進行食品安全教育和監管，嚴禁孩子在外購買、食用“三無”食品，嚴防各種意外事故發生。

家長朋友們，孩子是家庭的`希望，是祖國的未來，教育孩子，保護孩子，是我們共同的職責，讓我們攜起手來，共同編織呵護生命的安全網，呵護每一個孩子安全、健康的成長，守護每一個家庭的和諧幸福。

2017年貴陽數博會放假通知【2】

尊敬的各位家長：

20XX年5月26日-29日貴陽市將舉行中國大數據產業峰會暨中國電子商務創新發展峰會(以下簡稱“數博會”)，根據《中共貴陽市委辦公廳貴陽市人民政府辦公廳關於在中國大數據產業峰會暨中國電子商務創新發展峰會期間對貴陽市部分區域內黨政機關、事業單位和社會團體實行調休和放假的通知》及5月17日市教育局會議的文件精神，幼兒園在數博會期間將調整作息時間、現將相關事項告知日下：

一、調休放假具體安排：

1.調休放假的具體安排為：

1)5月22日----23日正常入園

5月24日----27日調休放假

5月28日----29日正常入園

5月30日起恢復正常教學秩序。

2)請家長謹記以上調休時間，並按時送寶寶入園。

二、安全注意事項

調休放假期間，家長加強對孩子的安全監管。

一)、道路交通安全。教育孩子外出要自覺遵守交通法律法規，不做闖紅燈、攀越隔離帶等危險性極強的違法行為;不騎摩托車、不乘坐摩的、黑的等非法運營車輛。

二)、加強防溺水安全教育和監管，沒有大人陪護、幼兒不得靠近河邊、水庫等危險區域玩耍游泳。不去逮魚、釣魚、以免發生意外。

三)、加強對孩子進行用電、用火等安全教育。嚴禁帶火種上山、到林區等處遊玩。

四)、假期間帶幼兒外出時注意個人形象及飲食衛生，做到不隨地亂扔垃圾，不隨地吐痰，不購買路邊攤和三無產品，不吃冰冷食物。

小騎士幼兒園位於貴州省貴陽市南明區後巢鄉四方河路1號山水黔城內，佔地5340平方米，歐式建築風格，按省一級一類幼兒園標准配置，園內環境優美，是一所具有現代化、高水準，一流教學條件和設施的幼兒園。我園注重國際化、現代化、人性化大都市發展水平的辦學思想和理念，遵循歡笑、夢想、關愛的宗旨，讓幼兒成為有勇、有禮、有信、有智慧的新一代小紳士和小淑女。讓孩子在賞識中生活，在生活中探索，在探索中求知，在求知中獲得自信，在自信中獲得能力。