大數據工作流系統

❶ 大數據系統有哪些

大數據可視化系統（一）思邁特軟體Smartbi

思邁特軟體Smartbi是一款商業智能BI工具，做數據分析和可視化數據展現，以分析為主，提供多種數據接入方式，可視化功能強大，平台更適合掌握分析方法了解分析的思路的用戶，其他用戶的使用則依賴於分析師的結果輸出。

Smartbi也是小編找了很久感覺很不錯的一款大數據可視化系統。其中還有很多對數據處理的公式和方法，圖表也比較全面。相對於網路的echarts，Smartbi還是一款比較容易入手的數據分析工具。最後，Smartbi提供了免費的版本，功能齊全，更加適合個人對數據分析的學習和使用。

大數據可視化系統（二）ChartBlocks

ChartBlocks是一款網頁版的大數據可視化系統，在線使用。通過導入電子表格或者資料庫來構建可視化圖表。整個過程可以在圖表的向導指示下完成。它的圖表在HTML5的框架下，使用強大的javaScript庫D3js來創建圖表。

圖表是響應式的，可以和任何的屏幕尺寸及設備兼容。還可以將圖表嵌入任何網頁中。

大數據可視化系統（三）Tableau

Tableau公司將數據運算與美觀的圖表完美地嫁接在一起。它的程序很容易上手，各公司可以用它將大量數據拖放到數字」畫布」上，轉眼間就能創建好各種圖表。這一軟體的理念是，界面上的數據越容易操控，公司對自己在所在業務領域里的所作所為到底是正確還是錯誤，就能了解得越透徹。

它們都是為與大數據有關的組織設計的。企業使用這個工具非常方便，而且提供了閃電般的速度。還有一件事對這個工具是肯定的，Tableau具有用戶友好的特性，並與拖放功能兼容。但是在大數據方面的性能有所缺陷，每次都是實時查詢數據，如果數據量大，會卡頓。

大數據可視化系統（四）AntV

AntV是螞蟻金服的大數據可視化系統，主要包含專註解決流程與關系分析的圖表庫G6、適於對性能、體積、擴展性要求嚴苛場景下使用的移動端圖表庫F2以及一套完整的圖表使用指引和可視化設計規范。

已為阿里集團內外2000+個業務系統提供數據可視化能力，其中不乏日均千萬UV級的產品。

❷ 大數據調度平台分類(Oozie/Azkaban/AirFlow/DolphinScheler)

大數據調度系統，是整個離線批處理任務和准實時計算計算任務的驅動器。這里我把幾個常見的調度系統做了一下分類總結，結合目前阿里雲上的MaxCompute中的調度系統，做個對比。

Oozie是一個workflow(工作流)協調系統,是由Cloudera公司貢獻給Apache的,主要用來管理Hadoop作業(job)。

統一調度hadoop系統中常見的mr任務啟動、Java MR、Streaming MR、Pig、Hive、Sqoop、Spark、Shell等。

配置相關的調度任務復雜，依賴關系、時間觸發、事件觸發使用xml語言進行表達。

任務狀態、任務類型、任務運行機器、創建時間、啟動時間、完成時間等。

支持啟動/停止/暫停/恢復/重新運行：支持啟動/停止/暫停/恢復/重新運行。

可以通過DB支持HA(高可用)。調度任務時可能出現死鎖，依賴當前集群版本，如更新最新版，易於現階段集群不兼容。

Azkaban是由Linkedin公司推出的一個批量工作流任務調度器，主要用於在一個工作流內以一個特定的順序運行一組工作和流程，它的配置是通過簡單的key:value對的方式，通過配置中的dependencies 來設置依賴關系，這個依賴關系必須是無環的，否則會被視為無效的工作流。Azkaban使用job配置文件建立任務之間的依賴關系，並提供一個易於使用的web用戶界面維護和跟蹤你的工作流。

command、HadoopShell、Java、HadoopJava、Pig、Hive等，支持插件式擴展。

實際項目中經常有這些場景：每天有一個大任務，這個大任務可以分成A，B，C，D四個小任務，A，B任務之間沒有依賴關系，C任務依賴A，B任務的結果，D任務依賴C任務的結果。一般的做法是，開兩個終端同時執行A,B，兩個都執行完了再執行C，最後再執行D。這樣的話，整個的執行過程都需要人工參加，並且得盯著各任務的進度。但是我們的很多任務都是在深更半夜執行的，通過寫腳本設置crontab執行。其實，整個過程類似於一個有向無環圖（DAG）。每個子任務相當於大任務中的一個流，任務的起點可以從沒有度的節點開始執行，任何沒有通路的節點之間可以同時執行，比如上述的A，B。總結起來的話，我們需要的就是一個工作流的調度器，而Azkaban就是能解決上述問題的一個調度器。

提供job配置文件快速建立任務和任務之間的依賴關系，通過自定義DSL繪制DAG並打包上傳。

只能看到任務狀態。

只能先將工作流殺死在重新運行。

通過DB支持HA，任務太多時會卡死伺服器。

Airflow 是 Airbnb 開源的一個用 Python 編寫的調度工具。於 2014 年啟動，2015 年春季開源，2016 年加入 Apache 軟體基金會的孵化計劃。Airflow 通過 DAG 也即是有向非循環圖來定義整個工作流，因而具有非常強大的表達能力。

支持Python、Bash、HTTP、Mysql等，支持Operator的自定義擴展。

需要使用Python代碼來定義流程。

不直觀。

殺掉任務，重啟。

任務過多會卡死。

XXL-JOB是一個開源的，具有豐富的任務管理功能以及高性能，高可用等特點的輕量級分布式任務調度平台，其核心設計目標是開發迅速、學習簡單、輕量級、易擴展、開箱即用。

基於Java。

無，但是可以配置任務之間的依賴。

無

可以暫停、恢復。

支持HA。任務是基於隊列的，輪詢機制。

DolphinScheler是今年（2019年）中國易觀公司開源的一個調度系統，在今年美國時間2019年8月29號，易觀開源的分布式任務調度引擎DolphinScheler（原EasyScheler）正式通過頂級開源組織Apache基金會的投票決議，根據Apache基金會郵件列表顯示，在包含11個約束性投票(binding votes)和2個無約束性投票(non-binding votes)的投票全部持贊同意見，無棄權票和反對票，投票順利通過，這樣便以全票通過的優秀表現正式成為了Apache孵化器項目。

Apache DolphinScheler是一個分布式、去中心化、易擴展的可視化DAG工作流任務調度系統，其致力於解決數據處理流程中錯綜復雜的依賴關系，使調度系統在數據處理流程中開箱即用。

支持傳統的shell任務，同時支持大數據平台任務調度：MR、Spark、SQL(mysql、postgresql、hive/sparksql)、python、procere、sub_process。

所有流、定時操作都是可視化的，通過拖拽來繪制DAG,配置數據源及資源，同時對於第三方系統，提供api方式的操作。

任務狀態、任務類型、重試次數、任務運行機器、可視化變數，以及任務流執行日誌。

支持暫停、恢復、補數操作。

支持HA，去中心化的多Master和多Worker。DolphinScheler上的用戶可以通過租戶和hadoop用戶實現多對一或一對一的映射關系。無法做到細節的許可權管控。

任務隊列機制，單個機器上可調度的任務數量可以靈活配置，當任務過多時會緩存在任務隊列中，不會操作機器卡死。

調度器使用分布式調度，整體的調度能力會隨集群的規模線性正常，Master和Worker支持動態上下線，可以自由進行配置。

可以通過對用戶進行資源、項目、數據源的訪問授權。支持，可視化管理文件，及相關udf函數等。

❸ 大數據分析系統平台方案有哪些

目前常用的大數據解決方案包括以下幾類
一、Hadoop。Hadoop 是一個能夠對大量數據進行分布式處理的軟體框架。但是 Hadoop 是以一種可靠、高效、可伸縮的方式進行處理的。此外，Hadoop 依賴於社區伺服器，因此它的成本比較低，任何人都可以使用。
二、HPCC。HPCC，High Performance Computing and Communications(高性能計算與通信)的縮寫。HPCC主要目標要達到：開發可擴展的計算系統及相關軟體，以支持太位級網路傳輸性能，開發千兆 比特網路技術，擴展研究和教育機構及網路連接能力。

三、Storm。Storm是自由的開源軟體，一個分布式的、容錯的實時計算系統。Storm可以非常可靠的處理龐大的數據流，用於處理Hadoop的批量數據。 Storm支持許多種編程語言，使用起來非常有趣。Storm由Twitter開源而來
四、Apache Drill。為了幫助企業用戶尋找更為有效、加快Hadoop數據查詢的方法，Apache軟體基金會近日發起了一項名為「Drill」的開源項目。該項目幫助谷歌實現海量數據集的分析處理，包括分析抓取Web文檔、跟蹤安裝在Android Market上的應用程序數據、分析垃圾郵件、分析谷歌分布式構建系統上的測試結果等等。

❹ 大數據操作系統

大數據操作系統（英文：BigData-Operating System）是一款全流程、可視化、智能化的企業級大數據操作版系統。
其亮點主要有三個權方面：
1、開創了面向數據流程的架構(DPOA)的方法論，基於既定的業務邏輯，DPOA定義相應的數據處理流程，並自動生成底層技術架構，將業務語言轉化為大數據處理語言。
2、操作系統是一個高效的數據作業平台，它融入了數據流程管理(DPM)的思想，將業務鏈條中的各個環節和相互之間的關系，映射成對數據集、數據關系和處理邏輯的管理，通過對數據流程的創建、組合、調度和監控，將業務流程管理轉化為數據流程管理。
3、系統採用了企業級服務匯流排(ESB)的理念，支持以熱插拔的方式靈活集成各種異構系統及數據服務。即使是企業的傳統IT系統，也能便捷並低成本地融入主流大數據架構。

❺ 協同辦公系統中的大數據知多少

協同辦公系統中的大數據知多少

協同辦公系統中有哪些重要的數據，可以做到這么多事情呢?可以說，企業內的人事數據、財務數據、業務數據、生產數據、項目數據、調查數據等都可以在協同辦公系統中生成，它們是如何生成的呢?

通過對華天動力協同辦公系統用戶的調研，我們發現數據來自兩個方面：

一方面，數據來自協同辦公系統自身的生成。

首先，協同辦公系統的工作流表單中包含了大量財務、人事、業務、行政等數據，這些數據在審批完畢後就會保存在協同辦公系統中，日積月累，就成為一個龐大的資料庫，也是一筆寶貴的財富。

其次，協同辦公系統的任務管理、人事管理、知識管理、客戶管理等功能中也會產生大量的數據，當這些功能中的數據積累到一定量級後，就會形成各種有意義的統計報表，為經營管理和決策提供科學依據。

另一方面，數據來自協同辦公系統外部的整合。

作為一種面向企業管理的工具，協同辦公系統正成為一個數據集成和展示的平台，各種數據在這里匯總，統一提供給管理者使用。有的企業在協同辦公系統中構建介面，提取第三方業務系統的數據;有的企業在協同辦公系統中設置數據窗口，直接由人工錄入數據。這些工作使得協同辦公系統中的數據越來越多，也越來越有價值。

既然數據有了，那麼問題來了，怎麼利用好這些數據呢?

優秀的協同辦公系統提供了強大的報表工具，可以對系統內的數據進行及時、准確的匯總和統計。

以華天動力協同辦公系統為例，它集成了國內最為領先的報表工具，可以讓用戶輕松自定義各種類型的統計報表和展示圖形，如條狀圖、餅狀圖等，對系統內的數據實現360度無死角的統計匯總。

這些統計報表設置完成後，就可以自動實時更新，並且可以直接推送給相關主管查閱。重要的`是，所有的數據都支持穿透查詢，可以一直追溯到數據的源頭。

華天動力協同辦公系統還提供了“管理駕駛艙”的功能，在一個界面上向管理者集中展示各種統計報表和圖形，這就是充分利用大數據的直觀表現。

在優秀的協同辦公系統身上，對數據的應用已經非常好。基於商業智能的理念，協同辦公系統可以將數據以不同訴求、不同緯度、更細的粒度呈現給管理者，讓管理者通過這種直觀、客觀、美觀的方式，更智慧更理性地做出判斷以及預測，從而制定合理的決策。 ;

❻ 大數據開發：Azkaban和Oozie調度系統對比

大數據處理的各個環節當中，涉及到諸多的任務執行，為了保證系統的性能和運行效率，就需要對這些任務進行合理的安排，這就需要到調度系統。在調度系統當中，DAG工作流類調度系統以Azkaban和Oozie為代表。今天的大數據開發分享，我們就主要來講講Azkaban和Oozie調度系統對比。

所謂DAG工作流類調度系統，這一類系統的方向，重點定位於任務的調度依賴關系的正確處理，分片執行的邏輯通常不是系統關注的核心，或者不是系統核心流程的關鍵組成部分，如果某些任務真的關注分片邏輯，往往交給後端集群（比如MR任務自帶分片能力）或者具體類型的任務執行後端去實現。

DAG工作流類調度系統所服務的往往是作業繁多，作業之間的流程依賴比較復雜的場景，比如大數據開發平台的離線數倉報表處理業務，從數據採集，清洗，到各個層級的報表的匯總運算，到最後數據導出到外部業務系統，一個完整的業務流程，可能涉及到成百上千個相互交叉依賴關聯的作業。

這類系統的代表，包括Oozie，Azkaban，Chronos，Zeus，Lhotse等，這里我們選取前兩者，從功能、工作流定義、工作流傳參、定時執行、資源管理、工作流執行等方面來進行分析比對：

1、功能

Azkaban與Oozie均可以調度maprece、pig、java腳本工作流任務。

Azkaban與Oozie均可以定時執行工作流任務。

2、工作流定義

Azkaban使用Properties文件定義工作流。

Oozie使用XML文件定義工作流。

3、工作流傳參

Azkaban支持直接傳參，例如${input}。

Oozie支持參數和EL表達式，例如${fs:dirSize(myInputDir)}。

4、定時執行

Azkaban的定時執行任務是基於時間的。

Oozie的定時執行任務是基於時間和輸入數據資源管理。

5、工作流執行

Azkaban有兩種運行模式，分別是solo server mode(executor server和web server部署在同⼀台節點)和multi server mode(executor server和web server可以部署在不同節點)。

Oozie作為工作流服務運行，支持多用戶和多工作流。

綜上所述，Ooize相比Azkaban是一個重量級的任務調度系統，功能全面，但配置使用也更復雜(xml)。如果可以不在意某些功能的缺失，輕量級調度Azkaban是很不錯的候選對象。

關於大數據開發，Azkaban和Oozie調度系統，以上就為大家做了簡單的介紹了。相對來說，Oozie調度系統更加全面，但是也更加復雜，在學習當中，也要多花精力去掌握。

❼ 大數據分析系統具體指的是什麼

隨著大數據時代的來臨，大數據分析應運而生。據我所知，九舞數字已經擁有了大數內據分析系統容。這個系統包括：智能大數據分析、智能招商成果統計、獨立賬號管理。再詳細點就是智能大數據分析是根據二維碼微沙盤掃描成果，在後台生成大數據追蹤系統，形成不同時段的大數據分析，並分析傳播效果；智能招商成果的統計是根據不同客戶的訪問量，分析出意向客戶的存在，篩選優質客戶，確定意向後拜訪交流，節約人力輸出，減少時間浪費；獨立賬號管理是根據不同招商主體，設定不同許可權的賬號，每個賬號旗下的招商信息均可生成獨立報表。