大數據生產調度

Ⅰ 大數據調度平台分類(Oozie/Azkaban/AirFlow/DolphinScheler)

大數據調度系統，是整個離線批處理任務和准實時計算計算任務的驅動器。這里我把幾個常見的調度系統做了一下分類總結，結合目前阿里雲上的MaxCompute中的調度系統，做個對比。

Oozie是一個workflow(工作流)協調系統,是由Cloudera公司貢獻給Apache的,主要用來管理Hadoop作業(job)。

統一調度hadoop系統中常見的mr任務啟動、java MR、Streaming MR、Pig、Hive、Sqoop、Spark、Shell等。

配置相關的調度任務復雜，依賴關系、時間觸發、事件觸發使用xml語言進行表達。

任務狀態、任務類型、任務運行機器、創建時間、啟動時間、完成時間等。

支持啟動/停止/暫停/恢復/重新運行：支持啟動/停止/暫停/恢復/重新運行。

可以通過DB支持HA(高可用)。調度任務時可能出現死鎖，依賴當前集群版本，如更新最新版，易於現階段集群不兼容。

Azkaban是由Linkedin公司推出的一個批量工作流任務調度器，主要用於在一個工作流內以一個特定的順序運行一組工作和流程，它的配置是通過簡單的key:value對的方式，通過配置中的dependencies 來設置依賴關系，這個依賴關系必須是無環的，否則會被視為無效的工作流。Azkaban使用job配置文件建立任務之間的依賴關系，並提供一個易於使用的web用戶界面維護和跟蹤你的工作流。

command、HadoopShell、Java、HadoopJava、Pig、Hive等，支持插件式擴展。

實際項目中經常有這些場景：每天有一個大任務，這個大任務可以分成A，B，C，D四個小任務，A，B任務之間沒有依賴關系，C任務依賴A，B任務的結果，D任務依賴C任務的結果。一般的做法是，開兩個終端同時執行A,B，兩個都執行完了再執行C，最後再執行D。這樣的話，整個的執行過程都需要人工參加，並且得盯著各任務的進度。但是我們的很多任務都是在深更半夜執行的，通過寫腳本設置crontab執行。其實，整個過程類似於一個有向無環圖（DAG）。每個子任務相當於大任務中的一個流，任務的起點可以從沒有度的節點開始執行，任何沒有通路的節點之間可以同時執行，比如上述的A，B。總結起來的話，我們需要的就是一個工作流的調度器，而Azkaban就是能解決上述問題的一個調度器。

提供job配置文件快速建立任務和任務之間的依賴關系，通過自定義DSL繪制DAG並打包上傳。

只能看到任務狀態。

只能先將工作流殺死在重新運行。

通過DB支持HA，任務太多時會卡死伺服器。

Airflow 是 Airbnb 開源的一個用 Python 編寫的調度工具。於 2014 年啟動，2015 年春季開源，2016 年加入 Apache 軟體基金會的孵化計劃。Airflow 通過 DAG 也即是有向非循環圖來定義整個工作流，因而具有非常強大的表達能力。

支持Python、Bash、HTTP、Mysql等，支持Operator的自定義擴展。

需要使用Python代碼來定義流程。

不直觀。

殺掉任務，重啟。

任務過多會卡死。

XXL-JOB是一個開源的，具有豐富的任務管理功能以及高性能，高可用等特點的輕量級分布式任務調度平台，其核心設計目標是開發迅速、學習簡單、輕量級、易擴展、開箱即用。

基於Java。

無，但是可以配置任務之間的依賴。

無

可以暫停、恢復。

支持HA。任務是基於隊列的，輪詢機制。

DolphinScheler是今年（2019年）中國易觀公司開源的一個調度系統，在今年美國時間2019年8月29號，易觀開源的分布式任務調度引擎DolphinScheler（原EasyScheler）正式通過頂級開源組織Apache基金會的投票決議，根據Apache基金會郵件列表顯示，在包含11個約束性投票(binding votes)和2個無約束性投票(non-binding votes)的投票全部持贊同意見，無棄權票和反對票，投票順利通過，這樣便以全票通過的優秀表現正式成為了Apache孵化器項目。

Apache DolphinScheler是一個分布式、去中心化、易擴展的可視化DAG工作流任務調度系統，其致力於解決數據處理流程中錯綜復雜的依賴關系，使調度系統在數據處理流程中開箱即用。

支持傳統的shell任務，同時支持大數據平台任務調度：MR、Spark、SQL(mysql、postgresql、hive/sparksql)、python、procere、sub_process。

所有流、定時操作都是可視化的，通過拖拽來繪制DAG,配置數據源及資源，同時對於第三方系統，提供api方式的操作。

任務狀態、任務類型、重試次數、任務運行機器、可視化變數，以及任務流執行日誌。

支持暫停、恢復、補數操作。

支持HA，去中心化的多Master和多Worker。DolphinScheler上的用戶可以通過租戶和hadoop用戶實現多對一或一對一的映射關系。無法做到細節的許可權管控。

任務隊列機制，單個機器上可調度的任務數量可以靈活配置，當任務過多時會緩存在任務隊列中，不會操作機器卡死。

調度器使用分布式調度，整體的調度能力會隨集群的規模線性正常，Master和Worker支持動態上下線，可以自由進行配置。

可以通過對用戶進行資源、項目、數據源的訪問授權。支持，可視化管理文件，及相關udf函數等。

Ⅱ 如何架構大數據系統 hadoop

大數據數量龐大，格式多樣化。大量數據由家庭、製造工廠和辦公場所的各種設備、互聯網事務交易、社交網路的活動、自動化感測器、移動設備以及科研儀器等生成。它的爆炸式增長已超出了傳統IT基礎架構的處理能力，給企業和社會帶來嚴峻的數據管理問題。因此必須開發新的數據架構，圍繞「數據收集、數據管理、數據分析、知識形成、智慧行動」的全過程，開發使用這些數據，釋放出更多數據的隱藏價值。

一、大數據建設思路

1）數據的獲得

四、總結

基於分布式技術構建的大數據平台能夠有效降低數據存儲成本，提升數據分析處理效率，並具備海量數據、高並發場景的支撐能力，可大幅縮短數據查詢響應時間，滿足企業各上層應用的數據需求。

Ⅲ 工業大數據包括哪些工業大數據應用在哪些方面

【導讀】眾所周知，第二次世界大戰也稱為工業革命，可見工業在生活中是多麼的重要，現在工業也已經趨於人工智慧化，不過還是處於前期的觀望試運行階段，今天我們就來了解一下大數據在工業方面的應用有哪些，一起來看看吧!

大數據在工業中的應用有哪些?

從需求角度來看，目前國內製造企業對大數據的需求較為明顯，但很多用戶仍處於觀望和試驗階段，不知道如何進行。因此，對於大數據服務提供商來說，有必要結合行業業務，尋找合適的應用場景。

工業大數據的應用有哪些?

互聯網給傳統製造業帶來了挑戰，而互聯網大數據可以為企業管理者和參與者提供一個新的視角，通過技術創新和開發，以及對數據的全面感知、收集、分析和共享，來審視製造業價值鏈。所帶來的巨大價值正在被傳統企業所認可。

然而，不同於目前互聯網大數據的火熱，工業大數據的應用對於企業來說有著很高的門檻。與互聯網不同，行業大數據與行業業務密切相關。因此，對企業的行業積累和對行業業務的深入了解都有很高的要求。此外，行業內的大數據分析比較准確，邏輯關系非常清晰。

工業大數據的應用有哪些?大數據在工業中的應用有哪些?通過大數據分析，企業可以使部門之間的數據更加協調，從而准確預測市場需求缺口。同時，通過更加靈活的工藝管理和更加自動化的生產設備裝配調度，實現智能化生產。然而，據我們所知，在中國從事大數據應用的公司並不多。然而，擁有自主知識產權和核心技術的企業並不多。要做好工業大數據的應用，需要有一套嚴謹的數據推理邏輯，以及平台和工具。目前，國內大數據應用企業還沒有足夠的能力滿足這一需求。

然而，仍有一些大型工業企業處於應用的前沿。以唐山鋼鐵集團為例，通過引進國際最先進的生產線，實現實時數據採集，與涵宇等企業合作，深入挖掘行業大數據價值，實時生產監控、生產調度、產品質量管理、能源控制等。此外，先進製造企業基於大數據在行業中的應用，將產品、機器、資源、人有機結合，推動基於大數據分析和應用的製造業智能化轉型。

綜上所述，在「互聯網+」時代，用戶需求具有實時性、小批量、碎片化、更新快等特點，對傳統製造業提出了挑戰。工業大數據有其鮮明的特點。隨著信息化和工業化的融合，產業大數據的應用為製造業轉型升級開辟了一條新途徑。深入探討工業大數據在製造過程中的應用場景和應用，將有利於更好地發揮其支撐作用。

以上就是小編今天給大家整理的關於「工業大數據包括哪些?工業大數據應用在哪些方面?」的相關內容，希望對大家有所幫助。總的來說，大數據的價值不可估量，未來發展前景也是非常可觀的，因此有興趣的小夥伴，盡早著手學習哦!

Ⅳ 大數據入門(四) - 分布式資源調度——YARN框架

YARN是Hadoop2.x才有的，所以在介紹YARN之前，我們先看一下MapRece1.x時所存在的問題：

可以看到，1.x時,即 Master/Slave 主從結構，在集群上的表現就是一個 JobTracker 帶多個 TaskTracker

由於1.x版本不支持其他框架的作業，所以導致我們需要根據不同的框架去搭建多個集群。這樣就會導致資源利用率比較低以及運維成本過高，因為多個集群會導致服務環境比較復雜

在上圖中我們可以看到，不同的框架不僅需要搭建不同的集群
而且這些集群很多時候並不是總是在工作，如上圖可以看到，Hadoop集群在忙的時候Spark就比較閑，Spark集群比較忙的時候Hadoop集群就比較閑，而MPI集群則是整體並不是很忙
這樣就無法高效的利用資源，因為這些不同的集群無法互相使用資源
除此之外，我們還得運維這些個不同的集群，而且文件系統是無法共享的
如果當需要將Hadoop集群上的HDFS里存儲的數據傳輸到Spark集群上進行計算時，還會耗費相當大的網路IO流量

所以我們就想著要把這些集群都合並在一起，讓這些不同的框架能夠運行在同一個集群上，這樣就能解決這各種各樣的問題了.如下

正是因為在1.x中，有各種各樣的問題，才使得YARN得以誕生，而YARN就可以令這些不同的框架運行在同一個集群上，並為它們調度資源

在上圖中，我們可以看到，集群最底層的是HDFS，在其之上的就是YARN層，而在YARN層上則是各種不同的計算框架。所以不同計算框架可以共享同一個HDFS集群上的數據，享受整體的資源調度，進而提高集群資源的利用率，這也就是所謂的 xxx on YARN

整個集群中會有多個NM，它主要負責自己本身節點的資源管理和使用，以及定時向RM匯報本節點的資源使用情況。接收並處理來自RM的各種命令，例如：啟動Container。NM還需要處理來自AM的命令，例如：AM會告訴NM需要啟動多少個Container來跑task。

每個應用程序都對應著一個AM。例如：MapRece會對應一個、Spark會對應一個。它主要負責應用程序的管理，為應用程序向RM申請資源（Core、Memory），將資源分配給內部的task。AM需要與NM通信，以此來啟動或停止task。task是運行在Container裡面的，所以AM也是運行在Container裡面。

封裝了CPU、Memory等資源的一個容器，相當於是一個任務運行環境的抽象

客戶端，它可以提交作業、查詢作業的運行進度以及結束作業

1.client向yarn提交job，首先找ResourceManager分配資源，
2.ResourceManager開啟一個Container,在Container中運行一個Application manager
3.Application manager找一台nodemanager啟動Application master，計算任務所需的計算
4.Application master向Application manager（Yarn）申請運行任務所需的資源
5.Resource scheler將資源封裝發給Application master
6.Application master將獲取到的資源分配給各個nodemanager
7.各個nodemanager得到任務和資源開始執行map task
8.map task執行結束後，開始執行rece task
9.map task和 rece task將執行結果反饋給Application master
10.Application master將任務執行的結果反饋pplication manager。

另外找到兩篇關於YARN執行流程不錯的文章：

到此為止，我們的yarn環境就搭建完成了.

雖然我們沒有搭建MapRece的環境，但是我們可以使用Hadoop自帶的一些測試例子來演示一下如何提交作業到YARN上執行。Hadoop把example的包放在了如下路徑，可以看到有好幾個jar包：

Ⅳ 汽車製造塗裝-總裝緩存調序調度優化問題

一、背景介紹

汽車製造廠主要由焊裝車間、塗裝車間、總裝車間構成，每個車間有不同的生產偏好，如：焊裝車間由於車身夾具的限制偏向最小車型及配置切換生產，塗裝車間由於噴漆（固定每5輛車清洗噴頭、顏色切換也需清洗噴頭）限制偏向顏色以5的倍數切換生產，總裝車間由於人員工時（不同車型及配置人員工時不同）及硬體（零部件數量等）等限制偏向按照車型及配置按比例切換生產。

由於各車間的約束不同導致生產調度無法按照同一序列連續生產，特別是塗裝車間與總裝車間序列差異較大，這就需要在兩個車間之間建立一個具有調序功能的緩存區，即PBS（Painted Body Store，汽車製造塗裝-總裝緩存調序區），用來將塗裝車間的出車序列調整到滿足總裝車間約束的進車序列。

目前，一天安排上線生產的車輛數介於200-450之間，對於每天要上線生產的車輛，車型、顏色等屬性均有變化，目前車型大類有2種，顏色大約有10種，各個車間的產能不定，主要根據當天生產安排調整，塗裝車間及總裝車間的工藝流程如下：

塗裝車間處理噴漆工藝，主要是將塗料塗覆於白車身表面，最終形成塗膜或者漆膜或者塗層。塗裝車間的詳細流程如圖1所示，主要是將白車身經過前處理電泳-中塗-色漆-清漆，最終得到修飾完整的車身。

 

圖1 塗裝車間工藝流程圖

總裝車間處理裝配工藝，主要是組裝剩餘零部件，得到最終成品車輛。總裝車間的詳細流程如圖2所示，主要由內飾線、底盤線、最終線組成，最終經過測試檢驗後，成品車輛下線入庫。、問題描述

根據塗裝車間的出車序列通過PBS調度調整得到總裝車間的進車序列。PBS具體信息如圖3所示。

 

圖3 塗裝-總裝緩存調序區（PBS）示意圖

PBS由塗裝-PBS出車口、接車橫移機、進車道6條（每條進車道有10個停車位、FIFO結構）、返回道1條（有10個停車位）、送車橫移機及PBS-總裝接車口等7個區域組成。各車道距離等分，每車道寬度2米，兩相鄰車道間間隔1米。橫移機運動時的速度保持一致。

 

Ⅵ 大數據的應用領域有哪些

1.了解和定位客戶

這是大數據目前最廣為人知的應用領域。很多企業熱衷於社交媒體數據、瀏覽器日誌、文本挖掘等各類數據集，通過大數據技術創建預測模型，從而更全面地了解客戶以及他們的行為、喜好。

利用大數據，美國零售商Target公司甚至能推測出客戶何時會有Baby;電信公司可以更好地預測客戶流失;沃爾瑪可以更准確的預測產品銷售情況;汽車保險公司能更真實的了解客戶實際駕駛情況。

滑雪場利用大數據來追蹤和鎖定客戶。如果你是一名狂熱的滑雪者，想像一下，你會收到最喜歡的度假勝地的邀請;或者收到定製化服務的簡訊提醒;或者告知你最合適的滑行線路。。。。。。同時提供互動平台(網站、手機APP)記錄每天的數據——多少次滑坡，多少次翻越等等，在社交媒體上分享這些信息，與家人和朋友相互評比和競爭。

除此之外，政府競選活動也引入了大數據分析技術。一些人認為，奧巴馬在2012年總統大選中獲勝，歸功於他們團隊的大數據分析能力更加出眾。

2.

改善醫療保健和公共衛生

大數據分析的能力可以在幾分鍾內解碼整個DNA序列，有助於我們找到新的治療方法，更好地理解和預測疾病模式。試想一下，當來自所有智能手錶等可穿戴設備的數據，都可以應用於數百萬人及其各種疾病時，未來的臨床試驗將不再局限於小樣本，而是包括所有人!

蘋果公司的一款健康APP ResearchKit有效將手機變成醫學研究設備。通過收集用戶的相關數據，可以追蹤你一天走了多少步，或者提示你化療後感覺如何，帕金森病進展如何等問題。研究人員希望這一過程變得更容易、更自動化，吸引更多的參與者，並提高數據的准確度。

大數據技術也開始用於監測早產兒和患病嬰兒的身體狀況。通過記錄和分析每個嬰兒的每一次心跳和呼吸模式，提前24小時預測出身體感染的症狀，從而及早干預，拯救那些脆弱的隨時可能生命危險的嬰兒。

更重要的是，大數據分析有助於我們監測和預測流行性或傳染性疾病的暴發時期，可以將醫療記錄的數據與有些社交媒體的數據結合起來分析。比如，谷歌基於搜索流量預測流感爆發，盡管該預測模型在2014年並未奏效——因為你搜索「流感症狀」並不意味著真正生病了，但是這種大數據分析的影響力越來越為人所知。

3.提供個性化服務

大數據不僅適用於公司和政府，也適用於我們每個人，比如從智能手錶或智能手環等可穿戴設備採集的數據中獲益。Jawbone的智能手環可以分析人們的卡路里消耗、活動量和睡眠質量等。Jawbone公司已經能夠收集長達60年的睡眠數據，從中分析出一些獨到的見解反饋給每個用戶。從中受益的還有網路平台「尋找真愛」，大多數婚戀網站都使用大數據分析工具和演算法為用戶匹配最合適的對象。

4.

了解和優化業務流程

大數據也越來越多地應用於優化業務流程，比如供應鏈或配送路徑優化。通過定位和識別系統來跟蹤貨物或運輸車輛，並根據實時交通路況數據優化運輸路線。

人力資源業務流程也在使用大數據進行優化。Sociometric Solutions公司通過在員工工牌里植入感測器，檢測其工作場所及社交活動——員工在哪些工作場所走動，與誰交談，甚至交流時的語氣如何。美國銀行在使用中發現呼叫中心表現最好的員工——他們制定了小組輪流休息制度，平均業績提高了23%。

如果在手機、鑰匙、眼鏡等隨身物品上粘貼RFID標簽，萬一不小心丟失就能迅速定位它們。假想一下未來可能創造出貼在任何東西上的智能標簽。它們能告訴你的不僅是物體在哪裡，還可以反饋溫度，濕度，運動狀態等等。這將打開一個全新的大數據時代，「大數據」領域尋求共性的信息和模式，那麼孕育其中的「小數據」著重關注單個產品。

5.

改善城市和國家建設

大數據被用於改善我們城市和國家的方方面面。目前很多大城市致力於構建智慧交通。車輛、行人、道路基礎設施、公共服務場所都被整合在智慧交通網路中，以提升資源運用的效率，優化城市管理和服務。

加州長灘市正在使用智能水表實時檢測非法用水，幫助一些房主減少80%的用水量。洛杉磯利用磁性道路感測器和交通攝像頭的數據來控制交通燈信號，從而優化城市的交通流量。據統計目前已經控制了全市4500個交通燈，將交通擁堵狀況減少了約16%。

6.提升科學研究

大數據帶來的無限可能性正在改變科學研究。歐洲核子研究中心(CERN)在全球遍布了150個數據中心，有65,000個處理器，能同時分析30pb的數據量，這樣的計算能力影響著很多領域的科學研究。比如政府需要的人口普查數據、自然災害數據等，變的更容易獲取和分析，從而為我們的健康和社會發展創造更多的價值。

7.提升機械設備性能

大數據使機械設備更加智能化、自動化。例如，豐田普銳斯配備了攝像頭、全球定位系統以及強大的計算機和感測器，在無人干預的條件下實現自動駕駛。Xcel Energy在科羅拉多州啟動了「智能電網」的首批測試，在用戶家中安裝智能電表，然後登錄網站就可實時查看用電情況。「智能電網」還能夠預測使用情況，以便電力公司為未來的基礎設施需求進行規劃，並防止出現電力耗盡的情況。在愛爾蘭，雜貨連鎖店Tescos的倉庫員工佩戴專用臂帶，追蹤貨架上的商品分配，甚至預測一項任務的完成時間。

8.強化安全和執法能力

大數據在改善安全和執法方面得到了廣泛應用。美國國家安全局(NSA)利用大數據技術，檢測和防止網路攻擊(挫敗恐怖分子的陰謀)。警察運用大數據來抓捕罪犯，預測犯罪活動。信用卡公司使用大數據來檢測欺詐交易等等。

2014年2月，芝加哥警察局對大數據生成的「名單」——有可能犯罪的人員，進行通告和探訪，目的是提前預防犯罪。

9.

提高體育運動技能

如今大多數頂尖的體育賽事都採用了大數據分析技術。用於網球比賽的IBM SlamTracker工具，通過視頻分析跟蹤足球落點或者棒球比賽中每個球員的表現。許多優秀的運動隊也在訓練之外跟蹤運動員的營養和睡眠情況。NFL開發了專門的應用平台，幫助所有球隊根據球場上的草地狀況、天氣狀況、以及學習期間球員的個人表現做出最佳決策，以減少球員不必要的受傷。

還有一件非常酷的事情是智能瑜伽墊：嵌入在瑜伽墊中的感測器能對你的姿勢進行反饋，為你的練習打分，甚至指導你在家如何練習。

10.金融交易

大數據在金融交易領域應用也比較廣泛。大多數股票交易都是通過一定的演算法模型進行決策的，如今這些演算法的輸入會考慮來自社交媒體、新聞網路的數據，以便更全面的做出買賣決策。同時根據客戶的需求和願望，這些演算法模型也會隨著市場的變化而變化。

更多精彩：14_spark體系之分布式計算課程Spark 集群搭建+S

Ⅶ 一種大數據作業容器化的方法

大數據分布式作業調度系統的一般架構是由 master 將任務分發到一批 worker 上執行

大數據作業有很多種不同的任務類型：

按運行方式又可分為兩大類：

每個在 worker 上運行的任務都會消耗一些本地資源，worker 的配置將決定同時可以調度到多少任務上去運行。

對於以上所指的第二類任務，由於任務真正運行的地方是在 Yarn 集群上，所以需要 worker 的資源較少，而對於第一類任務，特別是 python 類的任務，需要消耗較多 CPU 和內存，由於缺乏隔離機制，會導致 worker 的不穩定，從而影響其它任務的運行。

那麼如何解決這個問題呢，首先想到的辦法是能否讓調度系統支持資源隔離機制，即每個任務將被隔離在一個單獨的容器中，限制其資源的使用，進而我們會想到 docker 和 Kubernetes，其實已經有這類調度系統出現，叫 Argo, 這種調度系統完全是基於 Kubernetes 開發的雲原生作業調度系統，使用 CRD 來封裝各種作業類型，任務最終都會以容器化的形式運行在 Kubernetes 上。

本文提供在一個非雲原生調度系統上無縫支持容器化的方式。

這種方式就是圖中的 k8s_exec , 它是一個使用 kubernetes/python sdk 開發的腳本命令，可以將一個任務腳本包裝成一個 on k8s 的任務，提交到 k8s 集群上運行，將管理任務的生命周期。通過這種方式，可以對現在系統較少的傾入方式，實現任務的容器化和資源隔離，更進一步的，特別地，作者將這種方式用在了 Spark on Kubernetes 上，使用調度系統上的 Spark SQL 任務運行在 Kubernetes 上。

k8s_exec 的工作原理如圖，詳情請查看 github

Ⅷ 大數據三大核心技術：拿數據、算數據、賣數據！

大數據的由來

對於「大數據」（Big data）研究機構Gartner給出了這樣的定義。「大數據」是需要新處理模式才能具有更強的決策力、洞察發現力和流程優化能力來適應海量、高增長率和多樣化的信息資產。

1

麥肯錫全球研究所給出的定義是：一種規模大到在獲取、存儲、管理、分析方面大大超出了傳統資料庫軟體工具能力范圍的數據集合，具有海量的數據規模、快速的數據流轉、多樣的數據類型和價值密度低四大特徵。

大數據技術的戰略意義不在於掌握龐大的數據信息，而在於對這些含有意義的數據進行專業化處理。換而言之，如果把大數據比作一種產業，那麼這種產業實現盈利的關鍵，在於提高對數據的「加工能力」，通過「加工」實現數據的「增值」。

從技術上看，大數據與雲計算的關系就像一枚硬幣的正反面一樣密不可分。大數據必然無法用單台的計算機進行處理，必須採用分布式架構。它的特色在於對海量數據進行分布式數據挖掘。但它必須依託雲計算的分布式處理、分布式資料庫和雲存儲、虛擬化技術。

大數據需要特殊的技術，以有效地處理大量的容忍經過時間內的數據。適用於大數據的技術，包括大規模並行處理（MPP）資料庫、數據挖掘、分布式文件系統、分布式資料庫、雲計算平台、互聯網和可擴展的存儲系統。

最小的基本單位是bit，按順序給出所有單位：bit、Byte、KB、MB、GB、TB、PB、EB、ZB、YB、BB、NB、DB。

大數據的應用領域

大數據無處不在，大數據應用於各個行業，包括金融、 汽車 、餐飲、電信、能源、體能和 娛樂 等在內的 社會 各行各業都已經融入了大數據的印跡。

製造業，利用工業大數據提升製造業水平，包括產品故障診斷與預測、分析工藝流程、改進生產工藝，優化生產過程能耗、工業供應鏈分析與優化、生產計劃與排程。

金融行業，大數據在高頻交易、社交情緒分析和信貸風險分析三大金融創新領域發揮重大作用。

汽車 行業，利用大數據和物聯網技術的無人駕駛 汽車 ，在不遠的未來將走入我們的日常生活。

互聯網行業，藉助於大數據技術，可以分析客戶行為，進行商品推薦和針對性廣告投放。

電信行業，利用大數據技術實現客戶離網分析，及時掌握客戶離網傾向，出台客戶挽留措施。

能源行業，隨著智能電網的發展，電力公司可以掌握海量的用戶用電信息，利用大數據技術分析用戶用電模式，可以改進電網運行，合理設計電力需求響應系統，確保電網運行安全。

物流行業，利用大數據優化物流網路，提高物流效率，降低物流成本。

城市管理，可以利用大數據實現智能交通、環保監測、城市規劃和智能安防。

體育 娛樂 ，大數據可以幫助我們訓練球隊，決定投拍哪種 題財的 影視作品，以及預測比賽結果。

安全領域，政府可以利用大數據技術構建起強大的國家安全保障體系，企業可以利用大數據抵禦網路攻擊，警察可以藉助大數據來預防犯罪。

個人生活， 大數據還可以應用於個人生活，利用與每個人相關聯的「個人大數據」，分析個人生活行為習慣，為其提供更加周到的個性化服務。

大數據的價值，遠遠不止於此，大數據對各行各業的滲透，大大推動了 社會 生產和生活，未來必將產生重大而深遠的影響。

大數據方面核心技術有哪些？

大數據技術的體系龐大且復雜，基礎的技術包含數據的採集、數據預處理、分布式存儲、NoSQL資料庫、數據倉庫、機器學習、並行計算、可視化等各種技術范疇和不同的技術層面。首先給出一個通用化的大數據處理框架，主要分為下面幾個方面：數據採集與預處理、數據存儲、數據清洗、數據查詢分析和數據可視化。

數據採集與預處理

對於各種來源的數據，包括移動互聯網數據、社交網路的數據等，這些結構化和非結構化的海量數據是零散的，也就是所謂的數據孤島，此時的這些數據並沒有什麼意義，數據採集就是將這些數據寫入數據倉庫中，把零散的數據整合在一起，對這些數據綜合起來進行分析。數據採集包括文件日誌的採集、資料庫日誌的採集、關系型資料庫的接入和應用程序的接入等。在數據量比較小的時候，可以寫個定時的腳本將日誌寫入存儲系統，但隨著數據量的增長，這些方法無法提供數據安全保障，並且運維困難，需要更強壯的解決方案。

Flume NG

Flume NG作為實時日誌收集系統，支持在日誌系統中定製各類數據發送方，用於收集數據，同時，對數據進行簡單處理，並寫到各種數據接收方(比如文本，HDFS，Hbase等)。Flume NG採用的是三層架構：Agent層，Collector層和Store層，每一層均可水平拓展。其中Agent包含Source，Channel和 Sink，source用來消費(收集)數據源到channel組件中，channel作為中間臨時存儲，保存所有source的組件信息，sink從channel中讀取數據，讀取成功之後會刪除channel中的信息。

NDC

Logstash

Logstash是開源的伺服器端數據處理管道，能夠同時從多個來源採集數據、轉換數據，然後將數據發送到您最喜歡的 「存儲庫」 中。一般常用的存儲庫是Elasticsearch。Logstash 支持各種輸入選擇，可以在同一時間從眾多常用的數據來源捕捉事件，能夠以連續的流式傳輸方式，輕松地從您的日誌、指標、Web 應用、數據存儲以及各種 AWS 服務採集數據。

Sqoop

Sqoop，用來將關系型資料庫和Hadoop中的數據進行相互轉移的工具，可以將一個關系型資料庫(例如Mysql、Oracle)中的數據導入到Hadoop(例如HDFS、Hive、Hbase)中，也可以將Hadoop(例如HDFS、Hive、Hbase)中的數據導入到關系型資料庫(例如Mysql、Oracle)中。Sqoop 啟用了一個 MapRece 作業(極其容錯的分布式並行計算)來執行任務。Sqoop 的另一大優勢是其傳輸大量結構化或半結構化數據的過程是完全自動化的。

流式計算

流式計算是行業研究的一個熱點，流式計算對多個高吞吐量的數據源進行實時的清洗、聚合和分析，可以對存在於社交網站、新聞等的數據信息流進行快速的處理並反饋，目前大數據流分析工具有很多，比如開源的strom，spark streaming等。

Strom集群結構是有一個主節點(nimbus)和多個工作節點(supervisor)組成的主從結構，主節點通過配置靜態指定或者在運行時動態選舉，nimbus與supervisor都是Storm提供的後台守護進程，之間的通信是結合Zookeeper的狀態變更通知和監控通知來處理。nimbus進程的主要職責是管理、協調和監控集群上運行的topology(包括topology的發布、任務指派、事件處理時重新指派任務等)。supervisor進程等待nimbus分配任務後生成並監控worker(jvm進程)執行任務。supervisor與worker運行在不同的jvm上，如果由supervisor啟動的某個worker因為錯誤異常退出(或被kill掉)，supervisor會嘗試重新生成新的worker進程。

Zookeeper

Zookeeper是一個分布式的，開放源碼的分布式應用程序協調服務，提供數據同步服務。它的作用主要有配置管理、名字服務、分布式鎖和集群管理。配置管理指的是在一個地方修改了配置，那麼對這個地方的配置感興趣的所有的都可以獲得變更，省去了手動拷貝配置的繁瑣，還很好的保證了數據的可靠和一致性，同時它可以通過名字來獲取資源或者服務的地址等信息，可以監控集群中機器的變化，實現了類似於心跳機制的功能。

數據存儲

Hadoop作為一個開源的框架，專為離線和大規模數據分析而設計，HDFS作為其核心的存儲引擎，已被廣泛用於數據存儲。

HBase

HBase，是一個分布式的、面向列的開源資料庫，可以認為是hdfs的封裝，本質是數據存儲、NoSQL資料庫。HBase是一種Key/Value系統，部署在hdfs上，克服了hdfs在隨機讀寫這個方面的缺點，與hadoop一樣，Hbase目標主要依靠橫向擴展，通過不斷增加廉價的商用伺服器，來增加計算和存儲能力。

Phoenix

Phoenix，相當於一個Java中間件，幫助開發工程師能夠像使用JDBC訪問關系型資料庫一樣訪問NoSQL資料庫HBase。

Yarn

Yarn是一種Hadoop資源管理器，可為上層應用提供統一的資源管理和調度，它的引入為集群在利用率、資源統一管理和數據共享等方面帶來了巨大好處。Yarn由下面的幾大組件構成：一個全局的資源管理器ResourceManager、ResourceManager的每個節點代理NodeManager、表示每個應用的Application以及每一個ApplicationMaster擁有多個Container在NodeManager上運行。

Mesos

Mesos是一款開源的集群管理軟體，支持Hadoop、ElasticSearch、Spark、Storm 和Kafka等應用架構。

Redis

Redis是一種速度非常快的非關系資料庫，可以存儲鍵與5種不同類型的值之間的映射，可以將存儲在內存的鍵值對數據持久化到硬碟中，使用復制特性來擴展性能，還可以使用客戶端分片來擴展寫性能。

Atlas

Atlas是一個位於應用程序與MySQL之間的中間件。在後端DB看來，Atlas相當於連接它的客戶端，在前端應用看來，Atlas相當於一個DB。Atlas作為服務端與應用程序通訊，它實現了MySQL的客戶端和服務端協議，同時作為客戶端與MySQL通訊。它對應用程序屏蔽了DB的細節，同時為了降低MySQL負擔，它還維護了連接池。Atlas啟動後會創建多個線程，其中一個為主線程，其餘為工作線程。主線程負責監聽所有的客戶端連接請求，工作線程只監聽主線程的命令請求。

Ku

Ku是圍繞Hadoop生態圈建立的存儲引擎，Ku擁有和Hadoop生態圈共同的設計理念，它運行在普通的伺服器上、可分布式規模化部署、並且滿足工業界的高可用要求。其設計理念為fast analytics on fast data。作為一個開源的存儲引擎，可以同時提供低延遲的隨機讀寫和高效的數據分析能力。Ku不但提供了行級的插入、更新、刪除API，同時也提供了接近Parquet性能的批量掃描操作。使用同一份存儲，既可以進行隨機讀寫，也可以滿足數據分析的要求。Ku的應用場景很廣泛，比如可以進行實時的數據分析，用於數據可能會存在變化的時序數據應用等。

在數據存儲過程中，涉及到的數據表都是成千上百列，包含各種復雜的Query，推薦使用列式存儲方法，比如parquent,ORC等對數據進行壓縮。Parquet 可以支持靈活的壓縮選項，顯著減少磁碟上的存儲。

數據清洗

MapRece作為Hadoop的查詢引擎，用於大規模數據集的並行計算，」Map(映射)」和」Rece(歸約)」，是它的主要思想。它極大的方便了編程人員在不會分布式並行編程的情況下，將自己的程序運行在分布式系統中。

隨著業務數據量的增多，需要進行訓練和清洗的數據會變得越來越復雜，這個時候就需要任務調度系統，比如oozie或者azkaban，對關鍵任務進行調度和監控。

Oozie

Oozie是用於Hadoop平台的一種工作流調度引擎，提供了RESTful API介面來接受用戶的提交請求(提交工作流作業)，當提交了workflow後，由工作流引擎負責workflow的執行以及狀態的轉換。用戶在HDFS上部署好作業(MR作業)，然後向Oozie提交Workflow，Oozie以非同步方式將作業(MR作業)提交給Hadoop。這也是為什麼當調用Oozie 的RESTful介面提交作業之後能立即返回一個JobId的原因，用戶程序不必等待作業執行完成(因為有些大作業可能會執行很久(幾個小時甚至幾天))。Oozie在後台以非同步方式，再將workflow對應的Action提交給hadoop執行。

Azkaban

Azkaban也是一種工作流的控制引擎，可以用來解決有多個hadoop或者spark等離線計算任務之間的依賴關系問題。azkaban主要是由三部分構成：Relational Database，Azkaban Web Server和Azkaban Executor Server。azkaban將大多數的狀態信息都保存在MySQL中，Azkaban Web Server提供了Web UI，是azkaban主要的管理者，包括project的管理、認證、調度以及對工作流執行過程中的監控等;Azkaban Executor Server用來調度工作流和任務，記錄工作流或者任務的日誌。

流計算任務的處理平台Sloth，是網易首個自研流計算平台，旨在解決公司內各產品日益增長的流計算需求。作為一個計算服務平台，其特點是易用、實時、可靠，為用戶節省技術方面(開發、運維)的投入，幫助用戶專注於解決產品本身的流計算需求

數據查詢分析

Hive

Hive的核心工作就是把SQL語句翻譯成MR程序，可以將結構化的數據映射為一張資料庫表，並提供 HQL(Hive SQL)查詢功能。Hive本身不存儲和計算數據，它完全依賴於HDFS和MapRece。可以將Hive理解為一個客戶端工具，將SQL操作轉換為相應的MapRece jobs，然後在hadoop上面運行。Hive支持標準的SQL語法，免去了用戶編寫MapRece程序的過程，它的出現可以讓那些精通SQL技能、但是不熟悉MapRece 、編程能力較弱與不擅長Java語言的用戶能夠在HDFS大規模數據集上很方便地利用SQL 語言查詢、匯總、分析數據。

Hive是為大數據批量處理而生的，Hive的出現解決了傳統的關系型資料庫(MySql、Oracle)在大數據處理上的瓶頸 。Hive 將執行計劃分成map->shuffle->rece->map->shuffle->rece…的模型。如果一個Query會被編譯成多輪MapRece，則會有更多的寫中間結果。由於MapRece執行框架本身的特點，過多的中間過程會增加整個Query的執行時間。在Hive的運行過程中，用戶只需要創建表，導入數據，編寫SQL分析語句即可。剩下的過程由Hive框架自動的完成。

Impala

Impala是對Hive的一個補充，可以實現高效的SQL查詢。使用Impala來實現SQL on Hadoop，用來進行大數據實時查詢分析。通過熟悉的傳統關系型資料庫的SQL風格來操作大數據，同時數據也是可以存儲到HDFS和HBase中的。Impala沒有再使用緩慢的Hive+MapRece批處理，而是通過使用與商用並行關系資料庫中類似的分布式查詢引擎(由Query Planner、Query Coordinator和Query Exec Engine三部分組成)，可以直接從HDFS或HBase中用SELECT、JOIN和統計函數查詢數據，從而大大降低了延遲。Impala將整個查詢分成一執行計劃樹，而不是一連串的MapRece任務，相比Hive沒了MapRece啟動時間。

Hive 適合於長時間的批處理查詢分析，而Impala適合於實時互動式SQL查詢，Impala給數據人員提供了快速實驗，驗證想法的大數據分析工具，可以先使用Hive進行數據轉換處理，之後使用Impala在Hive處理好後的數據集上進行快速的數據分析。總的來說：Impala把執行計劃表現為一棵完整的執行計劃樹，可以更自然地分發執行計劃到各個Impalad執行查詢，而不用像Hive那樣把它組合成管道型的map->rece模式，以此保證Impala有更好的並發性和避免不必要的中間sort與shuffle。但是Impala不支持UDF，能處理的問題有一定的限制。

Spark

Spark擁有Hadoop MapRece所具有的特點，它將Job中間輸出結果保存在內存中，從而不需要讀取HDFS。Spark 啟用了內存分布數據集，除了能夠提供互動式查詢外，它還可以優化迭代工作負載。Spark 是在 Scala 語言中實現的，它將 Scala 用作其應用程序框架。與 Hadoop 不同，Spark 和 Scala 能夠緊密集成，其中的 Scala 可以像操作本地集合對象一樣輕松地操作分布式數據集。

Nutch

Nutch 是一個開源Java 實現的搜索引擎。它提供了我們運行自己的搜索引擎所需的全部工具，包括全文搜索和Web爬蟲。

Solr

Solr用Java編寫、運行在Servlet容器(如Apache Tomcat或Jetty)的一個獨立的企業級搜索應用的全文搜索伺服器。它對外提供類似於Web-service的API介面，用戶可以通過http請求，向搜索引擎伺服器提交一定格式的XML文件，生成索引;也可以通過Http Get操作提出查找請求，並得到XML格式的返回結果。

Elasticsearch

Elasticsearch是一個開源的全文搜索引擎，基於Lucene的搜索伺服器，可以快速的儲存、搜索和分析海量的數據。設計用於雲計算中，能夠達到實時搜索，穩定，可靠，快速，安裝使用方便。

還涉及到一些機器學習語言，比如，Mahout主要目標是創建一些可伸縮的機器學習演算法，供開發人員在Apache的許可下免費使用;深度學習框架Caffe以及使用數據流圖進行數值計算的開源軟體庫TensorFlow等，常用的機器學習演算法比如，貝葉斯、邏輯回歸、決策樹、神經網路、協同過濾等。

數據可視化

對接一些BI平台，將分析得到的數據進行可視化，用於指導決策服務。主流的BI平台比如，國外的敏捷BI Tableau、Qlikview、PowrerBI等，國內的SmallBI和新興的網易有數等。

在上面的每一個階段，保障數據的安全是不可忽視的問題。

基於網路身份認證的協議Kerberos，用來在非安全網路中，對個人通信以安全的手段進行身份認證，它允許某實體在非安全網路環境下通信，向另一個實體以一種安全的方式證明自己的身份。

控制許可權的ranger是一個Hadoop集群許可權框架，提供操作、監控、管理復雜的數據許可權，它提供一個集中的管理機制，管理基於yarn的Hadoop生態圈的所有數據許可權。可以對Hadoop生態的組件如Hive，Hbase進行細粒度的數據訪問控制。通過操作Ranger控制台，管理員可以輕松的通過配置策略來控制用戶訪問HDFS文件夾、HDFS文件、資料庫、表、欄位許可權。這些策略可以為不同的用戶和組來設置，同時許可權可與hadoop無縫對接。

簡單說有三大核心技術：拿數據，算數據，賣數據。

Ⅸ 大數據開發：Azkaban和Oozie調度系統對比

大數據處理的各個環節當中，涉及到諸多的任務執行，為了保證系統的性能和運行效率，就需要對這些任務進行合理的安排，這就需要到調度系統。在調度系統當中，DAG工作流類調度系統以Azkaban和Oozie為代表。今天的大數據開發分享，我們就主要來講講Azkaban和Oozie調度系統對比。

所謂DAG工作流類調度系統，這一類系統的方向，重點定位於任務的調度依賴關系的正確處理，分片執行的邏輯通常不是系統關注的核心，或者不是系統核心流程的關鍵組成部分，如果某些任務真的關注分片邏輯，往往交給後端集群（比如MR任務自帶分片能力）或者具體類型的任務執行後端去實現。

DAG工作流類調度系統所服務的往往是作業繁多，作業之間的流程依賴比較復雜的場景，比如大數據開發平台的離線數倉報表處理業務，從數據採集，清洗，到各個層級的報表的匯總運算，到最後數據導出到外部業務系統，一個完整的業務流程，可能涉及到成百上千個相互交叉依賴關聯的作業。

這類系統的代表，包括Oozie，Azkaban，Chronos，Zeus，Lhotse等，這里我們選取前兩者，從功能、工作流定義、工作流傳參、定時執行、資源管理、工作流執行等方面來進行分析比對：

1、功能

Azkaban與Oozie均可以調度maprece、pig、java腳本工作流任務。

Azkaban與Oozie均可以定時執行工作流任務。

2、工作流定義

Azkaban使用Properties文件定義工作流。

Oozie使用XML文件定義工作流。

3、工作流傳參

Azkaban支持直接傳參，例如${input}。

Oozie支持參數和EL表達式，例如${fs:dirSize(myInputDir)}。

4、定時執行

Azkaban的定時執行任務是基於時間的。

Oozie的定時執行任務是基於時間和輸入數據資源管理。

5、工作流執行

Azkaban有兩種運行模式，分別是solo server mode(executor server和web server部署在同⼀台節點)和multi server mode(executor server和web server可以部署在不同節點)。

Oozie作為工作流服務運行，支持多用戶和多工作流。

綜上所述，Ooize相比Azkaban是一個重量級的任務調度系統，功能全面，但配置使用也更復雜(xml)。如果可以不在意某些功能的缺失，輕量級調度Azkaban是很不錯的候選對象。

關於大數據開發，Azkaban和Oozie調度系統，以上就為大家做了簡單的介紹了。相對來說，Oozie調度系統更加全面，但是也更加復雜，在學習當中，也要多花精力去掌握。

Ⅹ 大數據分析技術應用領域有哪些啊，生活中有用嗎

應該有用的吧