大數據架構的開源項目

㈠ python有什麼好的大數據/並行處理框架

從GitHub中整理出的15個最受歡迎的Python開源框架。這些框架包括事件I/O，OLAP，Web開發，高性能網路通信，測試，爬蟲等。

Django: Python Web應用開發框架
Django 應該是最出名的Python框架，GAE甚至Erlang都有框架受它影響。Django是走大而全的方向，它最出名的是其全自動化的管理後台：只需要使用起ORM，做簡單的對象定義，它就能自動生成資料庫結構、以及全功能的管理後台。

Diesel：基於Greenlet的事件I/O框架
Diesel提供一個整潔的API來編寫網路客戶端和伺服器。支持TCP和UDP。

Flask：一個用Python編寫的輕量級Web應用框架
Flask是一個使用Python編寫的輕量級Web應用框架。基於Werkzeug WSGI工具箱和Jinja2
模板引擎。Flask也被稱為「microframework」，因為它使用簡單的核心，用extension增加其他功能。Flask沒有默認使用的數
據庫、窗體驗證工具。

Cubes：輕量級Python OLAP框架
Cubes是一個輕量級Python框架，包含OLAP、多維數據分析和瀏覽聚合數據（aggregated data）等工具。

Kartograph.py：創造矢量地圖的輕量級Python框架
Kartograph是一個Python庫，用來為ESRI生成SVG地圖。Kartograph.py目前仍處於beta階段，你可以在virtualenv環境下來測試。

Pulsar：Python的事件驅動並發框架
Pulsar是一個事件驅動的並發框架，有了pulsar，你可以寫出在不同進程或線程中運行一個或多個活動的非同步伺服器。

Web2py：全棧式Web框架
Web2py是一個為Python語言提供的全功能Web應用框架，旨在敏捷快速的開發Web應用，具有快速、安全以及可移植的資料庫驅動的應用，兼容Google App Engine。

Falcon：構建雲API和網路應用後端的高性能Python框架
Falcon是一個構建雲API的高性能Python框架，它鼓勵使用REST架構風格，盡可能以最少的力氣做最多的事情。

Dpark：Python版的Spark
DPark是Spark的Python克隆，是一個Python實現的分布式計算框架，可以非常方便地實現大規模數據處理和迭代計算。DPark由豆瓣實現，目前豆瓣內部的絕大多數數據分析都使用DPark完成，正日趨完善。

Buildbot：基於Python的持續集成測試框架
Buildbot是一個開源框架，可以自動化軟體構建、測試和發布等過程。每當代碼有改變，伺服器要求不同平台上的客戶端立即進行代碼構建和測試，收集並報告不同平台的構建和測試結果。

Zerorpc：基於ZeroMQ的高性能分布式RPC框架
Zerorpc是一個基於ZeroMQ和MessagePack開發的遠程過程調用協議（RPC）實現。和 Zerorpc 一起使用的 Service API 被稱為 zeroservice。Zerorpc 可以通過編程或命令行方式調用。

Bottle: 微型Python Web框架
Bottle是一個簡單高效的遵循WSGI的微型python Web框架。說微型，是因為它只有一個文件，除Python標准庫外，它不依賴於任何第三方模塊。

Tornado：非同步非阻塞IO的Python Web框架
Tornado的全稱是Torado Web Server，從名字上看就可知道它可以用作Web伺服器，但同時它也是一個Python Web的開發框架。最初是在FriendFeed公司的網站上使用，FaceBook收購了之後便開源了出來。

webpy: 輕量級的Python Web框架
webpy的設計理念力求精簡（Keep it simple and powerful），源碼很簡短，只提供一個框架所必須的東西，不依賴大量的第三方模塊，它沒有URL路由、沒有模板也沒有資料庫的訪問。

Scrapy：Python的爬蟲框架
Scrapy是一個使用Python編寫的，輕量級的，簡單輕巧，並且使用起來非常的方便。

㈡ 漫談工業大數據9：開源工業大數據軟體簡介（上）

今天真是一個美好的時代，有無數的開源系統可以為我們提供服務，現在有許多開發軟體可以用到工業大數據中，當然很多系統還不成熟，應用到工業中還需要小心，並且需要開發人員對其進行一定的優化和調整。下面就簡單介紹一些開源的大數據工具軟體，看看有哪些能夠應用到工業大數據領域。

下面這張圖是我根據網上流傳的一張開源大數據軟體分類圖整理的：

我們可以把開源大數據軟體分成幾類，有一些可以逐步應用到工業大數據領域，下面就一一介紹一下這些軟體。（以下系統介紹大都來源於網路）

1、數據存儲類

（1）關系資料庫MySQL

這個就不用太多介紹了吧，關系型資料庫領域應用最廣泛的開源軟體，目前屬於 Oracle 旗下產品。

（2）文件資料庫Hadoop

Hadoop是大數據時代的明星產品，它最大的成就在於實現了一個分布式文件系統（Hadoop Distributed FileSystem），簡稱HDFS。HDFS有高容錯性的特點，並且設計用來部署在低廉的硬體上，而且它提供高吞吐量來訪問應用程序的數據，適合那些有著超大數據集的應用程序。

Hadoop可以在工業大數據應用中用來作為底層的基礎資料庫，由於它採用了分布式部署的方式，如果是私有雲部署，適用於大型企業集團。如果是公有雲的話，可以用來存儲文檔、視頻、圖像等資料。

（3）列資料庫Hbase

HBase是一個分布式的、面向列的開源資料庫，HBase是Apache的Hadoop項目的子項目。HBase不同於一般的關系資料庫，它是一個適合於非結構化數據存儲的資料庫。另一個不同的是HBase基於列的而不是基於行的模式。

基於Hbase開發的OpenTSDB，可以存儲所有的時序（無須采樣）來構建一個分布式、可伸縮的時間序列資料庫。它支持秒級數據採集所有metrics，支持永久存儲，可以做容量規劃，並很容易的接入到現有的報警系統里。

這樣的話，它就可以替代在工業領域用得最多的實時資料庫。

（4）文檔資料庫MongoDB

MongoDB是一個介於關系資料庫和非關系資料庫之間的產品，是非關系資料庫當中功能最豐富，最像關系資料庫的。他支持的數據結構非常鬆散，是類似json的bson格式，因此可以存儲比較復雜的數據類型。Mongo最大的特點是他支持的查詢語言非常強大，其語法有點類似於面向對象的查詢語言，幾乎可以實現類似關系資料庫單表查詢的絕大部分功能，而且還支持對數據建立索引。

MongoDB適合於存儲工業大數據中的各類文檔，包括各類圖紙、文檔等。

（5）圖資料庫Neo4j/OrientDB

圖資料庫不是存放圖片的，是基於圖的形式構建的數據系統。

Neo4j是一個高性能的,NOSQL圖形資料庫，它將結構化數據存儲在網路上而不是表中。它是一個嵌入式的、基於磁碟的、具備完全的事務特性的java持久化引擎，但是它將結構化數據存儲在網路(從數學角度叫做圖)上而不是表中。Neo4j也可以被看作是一個高性能的圖引擎，該引擎具有成熟資料庫的所有特性。程序員工作在一個面向對象的、靈活的網路結構下而不是嚴格、靜態的表中——但是他們可以享受到具備完全的事務特性、 企業級 的資料庫的所有好處。

OrientDB是兼具文檔資料庫的靈活性和圖形資料庫管理 鏈接 能力的可深層次擴展的文檔-圖形資料庫管理系統。可選無模式、全模式或混合模式下。支持許多高級特性，諸如ACID事務、快速索引，原生和SQL查詢功能。可以JSON格式導入、導出文檔。若不執行昂貴的JOIN操作的話，如同關系資料庫可在幾毫秒內可檢索數以百記的鏈接文檔圖。

這些資料庫都可以用來存儲非結構化數據。

2、數據分析類

（1）批處理MapRece/Spark

MapRece是一種編程模型，用於大規模數據集（大於1TB）的並行運算。概念"Map（映射）"和"Rece（歸約）"，是它們的主要思想，都是從函數式編程語言里借來的，還有從矢量編程語言里借來的特性。它極大地方便了編程人員在不會分布式並行編程的情況下，將自己的程序運行在分布式系統上。 當前的軟體實現是指定一個Map（映射）函數，用來把一組鍵值對映射成一組新的鍵值對，指定並發的Rece（歸約）函數，用來保證所有映射的鍵值對中的每一個共享相同的鍵組。

Apache Spark 是專為大規模數據處理而設計的快速通用的計算引擎。Spark 是一種與 Hadoop 相似的開源集群計算環境，但是兩者之間還存在一些不同之處，這些有用的不同之處使 Spark 在某些工作負載方面表現得更加優越，換句話說，Spark 啟用了內存分布數據集，除了能夠提供互動式查詢外，它還可以優化迭代工作負載。盡管創建 Spark 是為了支持分布式數據集上的迭代作業，但是實際上它是對 Hadoop 的補充，可以在 Hadoop 文件系統中並行運行。

這些大數據的明星產品可以用來做工業大數據的處理。

（2）流處理Storm

Storm是一個開源的分布式實時計算系統，可以簡單、可靠的處理大量的數據流。Storm有很多使用場景：如實時分析，在線機器學習，持續計算，分布式RPC，ETL等等。Storm支持水平擴展，具有高容錯性，保證每個消息都會得到處理，而且處理速度很快（在一個小集群中，每個結點每秒可以處理數以百萬計的消息）。Storm的部署和運維都很便捷，而且更為重要的是可以使用任意編程語言來開發應用。

（3）圖處理Giraph

Giraph是什麼？Giraph是Apache基金會開源項目之一，被定義為迭代式圖處理系統。他架構在Hadoop之上，提供了圖處理介面，專門處理大數據的圖問題。

Giraph的存在很有必要，現在的大數據的圖問題又很多，例如表達人與人之間的關系的有社交網路，搜索引擎需要經常計算網頁與網頁之間的關系，而map-rece介面不太適合實現圖演算法。

Giraph主要用於分析用戶或者內容之間的聯系或重要性。

（4）並行計算MPI/OpenCL

OpenCL（全稱Open Computing Language，開放運算語言）是第一個面向 異構系統 通用目的並行編程的開放式、免費標准，也是一個統一的編程環境，便於軟體開發人員為高性能計算 伺服器 、桌面計算系統、手持設備編寫高效輕便的代碼，而且廣泛適用於多核心處理器(CPU)、圖形處理器(GPU)、Cell類型架構以及數字信號處理器(DSP)等其他並行處理器，在 游戲 、 娛樂 、科研、醫療等各種領域都有廣闊的發展前景。

（5）分析框架Hive

Hive是基於Hadoop的一個數據倉庫工具，可以將結構化的數據文件映射為一張資料庫表，並提供簡單的sql查詢功能，可以將sql語句轉換為MapRece任務進行運行。 其優點是學習成本低，可以通過類SQL語句快速實現簡單的MapRece統計，不必開發專門的MapRece應用，十分適合數據倉庫的統計分析。

（6）分析框架Pig

Apache Pig 是apache平台下的一個免費開源項目，Pig為大型數據集的處理提供了更高層次的抽象，很多時候數據的處理需要多個MapRece過程才能實現，使得數據處理過程與該模式匹配可能很困難。有了Pig就能夠使用更豐富的數據結構。[2]

Pig LatinPig Latin 是一個相對簡單的語言，一條語句 就是一個操作，與資料庫的表類似，可以在關系資料庫中找到它（其中，元組代錶行，並且每個元組都由欄位組成）。

Pig 擁有大量的數據類型，不僅支持包、元組和映射等高級概念，還支持簡單的數據類型，如 int、long、float、double、chararray 和 bytearray。並且，還有一套完整的比較運算符，包括使用正則表達式的豐富匹配模式。

㈢ 一場替換傳統資料庫的行動正在全球范圍悄然進行

隨著全球各大 科技 巨頭的競相加入，開源軟體技術已經活躍在各個信息技術領域當中。其中，大數據生態成為開源技術的直接受益者。開源技術適用於龐雜的數據管理系統，帶來敏捷、高效、可擴展以及可自控的管理能力，並幫助企業降低IT建設及維護成本。2018年雙11當天，阿里雲原生資料庫PolarDB輕松應對了0點0分0秒瞬時提升122倍的數據洪峰。Netflix也採用自研開源架構Metacat將海量數據集合成一個「單一」的數據倉庫，大幅提升管理能效。

當前，我國有越來越多的企業、人才加入到開源社區，貢獻力也「後來居上」，共同推進開源項目、開源生態的繁榮和可持續發展。

大數據生態成為開源技術重大「受益者」

近年來，在互聯網服務、多媒體以及科學研究等多個領域，都可見到大數據的身影。在大數據時代，不斷增長的數據量、快速處理數據的需求以及數據類型、結構和來源的多樣性給資料庫敏捷、高效、可擴展性以及個性化管理帶來了全新挑戰。

開源技術賦能了大數據生態的高質量發展。賽迪智庫信息化和軟體服務業所博士蒲松濤表示，經過了數十年的發展，開源軟體和開源工具已經應用到了大數據產業發展的各個環節，基於開源軟體，企業可以快速構建大數據應用平台，提供豐富的大數據開發和應用工具。

當前，幾乎各種規模的企業都在使用開源軟體和工具做大數據處理和基於數據的預測分析。開源界也涌現出了Hadoop、OpenStack、OpenShift、Maprece、docker等引領行業技術創新方向的重量級開源項目。

華泰人壽基於OpenShift架構打造易於管理的新IT系統，以提升企業競爭力，實現業務數字化轉型。在基礎設施上，引入紅帽OpenShift容器雲解決方案和紅帽Ceph分布式存儲。通過將保險業務上docker雲，實現華泰人壽業務的彈性伸縮和快速上線，加速其互聯網保險項目快速落地。

美國知名在線影片租賃提供商Netflix也採用了大數據發現服務的開源框架Metacat。由於Netflix的數據倉庫由許多大型的數據集組成，為了確保數據平台能夠基臘橫跨這些數據集成為一個「單一」的數據倉庫，Netflix開發的元數據服務Metacat，能讓數據的發生、發現、處理和管理變得更加快捷高效、處理搏逗滑精度大幅提升;同時還可兼容Spark、Presto、Pig和Hive架構。Netflix軟體架構師Ajoy Majumdar指出，開放開源是身為技術公司的競爭戰略，既能夠將自己的解決方案建立為行業標准和最佳實踐，又能建立Netflix的技術品牌，還能從共享生態中獲得反饋輸入並受益。

事實上，推動大數據應用高質量發展的主流開源平台還有很多，例如Spark、Shark、Bagel等。蒲松濤表示，這些開源平台大幅降低應用門檻，有效幫助企業實現工業級應用，進而帶動各行業大規模部署。此外，大數據還涌現出了一批開源支線平台。其中，Storm完全擺脫了經典的MapRece架構，重新設計了一個適用於流式計算的架構，以數據流為驅動觸發計算，計算時效性高，適應有向無環圖計算拓撲的設計，計算方式較為靈活，在業界得到了一定的部署應用。

開源社區供需「雙贏」中國力量已崛起

開源社區的建立為推動開源軟體發展、構建行業競爭優勢做出突出貢獻，隊伍的壯大需要每一位使用者持續不斷的貢獻智慧，以實現真正的「共贏」。開源的發展歷程中，極客、大公司、商業顛覆者輪番登場，開源技術的訴求也從商業驅動向生態驅動發展。中國工程院院士廖湘科指出，開源是軟體創新技術的主要來源，是生態抓手，而非贏利的切入點。

開源軟體的「共享和貢獻」機制吸引了眾多開發者的參與，給了每一位開發者「顛覆 游戲 規則」的權利。有了這種生態的加持，信息技術將被快速推進，各個參與者將持續獲利。對此，李飛飛表示，開源生態的受益者是開源技術的需求側和供給側雙方。從供給側角度來看，參與的人越多，思維碰撞而引發的迭代演進就會越快;從需求側角度來看，各個企業不僅可以免除被閉源系統「技術指攜綁定」，還可以在開源社區實現資料庫技術遷移，企業還可針對企業技術特徵進行資料庫的個性定製化，實現大量的應用和代碼的改造且系統間互相兼容。

中國開源軟體推進聯盟副 主席 兼秘書長劉澎在PostgreSQL .CN 2019上表示，當前國內越來越多的企業為開源做出重要貢獻，我國的開源實力已經崛起。以華為、阿里等為代表的開源軟體開發者已經逐漸與亞馬遜、微軟站到了同一高度，實現了從「使用者」到「引領者」的身份轉變。

目前，中國企業在Linux基金會中有1個白金會員(華為)，1個金牌會員(阿里雲)和數十家銀牌會員(包括騰訊、中國移動、聯想等)。華為在多個開源社區貢獻排名前列。中國工程院院士倪光南認為，華為是開源軟體的優秀開發代表，通過引進、消化，實現創新發展，進而貢獻給整個開源社區。

阿里雲也成為 游戲 規則的重要改變者和全球雲資料庫領跑者之一。2018年，阿里雲資料庫成功進入Gartner資料庫魔力象限，這是該榜單首次出現中國公司。近日，Gartner發布的全球雲資料庫市場份額榜單中，阿里雲位居第三，超越了Oracle、IBM和谷歌。5月21日，阿里雲提供傳統資料庫一鍵遷移上雲能力，可以幫助企業將線下的MySQL、PostgreSQL和Oracle等資料庫輕松上雲，最快數小時內遷移完成。李飛飛表示，阿里雲自研的PolarDB雲原生資料庫的分布式存儲架構具有一寫多度、計算與存儲分離等優勢，幫助淘寶交易平台應對了雙11當天瞬時提升122倍的數據洪峰。

此外，國內還有包括網路、浪潮、瀚高等在內的眾多企業積極參與並貢獻到開源社區當中。人工智慧、自動駕駛等新興信息技術也成為開源項目的重要應用領域。

㈣ 開源的大數據框架有哪些

文件存儲：Hadoop HDFS、Tachyon、KFS離線計算：Hadoop MapRece、Spark流式、實時計算：Storm、Spark Streaming、S4、HeronK-V、NOSQL資料庫：HBase、Redis、MongoDB資源管理：YARN、Mesos日誌收集：Flume、Scribe、Logstash、Kibana消息系統：Kafka、StormMQ、ZeroMQ、RabbitMQ查詢分析：Hive、Impala、Pig、Presto、Phoenix、SparkSQL、Drill、Flink、Kylin、Druid分布式協調服務：Zookeeper集群管理與監控：Ambari、Ganglia、Nagios、Cloudera

㈤ 大數據開發能做什麼能開發什麼項目

零售業：主要集中在客戶營銷分析上，通過大數據技術可以對客戶的消費信息進行專分析。獲知

客戶的消屬費習慣、消費方向等，以便商場做好更合理商品、貨架擺放，規劃市場營銷方案、產品推薦手段等。

金融業：在金融行業里頭，數據即是生命，其信息系統中積累了大量客戶的交易數據。通過大數據可以對客戶的行為進行分析、防堵詐騙、金融風險分析等。

醫療業：通過大數據可以輔助分析疫情信息，對應做出相應的防控措施。對人體健康的趨勢分析在電子病歷、醫學研發和臨床試驗中，可提高診斷准確性和葯物有效性等。

製造業：該行業對大數據的需求主要體現在產品研發與設計、供應鏈管理、生產、售後服務等。通過數據分析，在產品研發過程中免除掉一些不必要的步驟，並且及時改善產品的製造與組裝的流程。

㈥ 這幾個大數據GitHub項目，太強了吧

大家好，我是 夢想家 Alex 。我們都知道 github 對於程序員們而言，就是一個巨大的「聚寶盆」，上面不僅有很多優質的開源項目，還有很多熱愛開源分享的開發者。但如何從浩如煙海的寶藏中，篩選出適合自己的優質項目呢？本期內容，我就為大家推薦幾個我認為還不錯的大數據學習必備的 牛 X 項目，希望大家看完有所收獲。

首推 heiying 的 BigData-Notes，該項目目前已經有高達 10.2K 的star，正如該倉庫的介紹上簡短幾個字：大數據入門指南。這個項目也是我認為目前 最適合初學者學習和參考的項目 。

為什麼說這個項目適合大數據初學者呢，可以通過觀察項目的介紹文檔，該項目包含了大數據學習必須要掌握的幾種組件，包括 Hadoop，Hive，Spark，Flink，Kafka，Zookeeper，Flume，Sqoop，Azkaban，以及 Scala 函數式編程語言的教程 ，可謂是非常的系統全面

我們再藉助谷歌插件 Octotree 觀察項目的結構，可以看到該項目主要分為 code，notes，pictures，resources 四個目錄

其中 code 目錄主要用來存放各個組件使用相關的代碼，正如統計的結果一樣，這個項目中 Java 代碼佔了 94.8%，Scala 佔了 5.2%，所以對於喜歡用 Java 編寫代碼的小夥伴們來說，這是一個不容錯過的寶藏學習機會。

notes 部分主要存放相關組件的介紹和使用文檔，其中 installation 子目錄主要存放了相關組件編譯，以及在Linux環境下各個組件的安裝，單機/集群環境搭建的教程，我看過了內容，介紹的非常清晰詳細。

另外兩個目錄 pictures 和 resources 就不做過多介紹了，一個是存放相關的圖片教程，另一個是存放編寫的代碼中所需要用到的文本文件。

這個項目同樣給力，是由 BAT 高級大數據架構師 王知無 創建的，該項目目前也已經斬獲高達 5.2k star，是為數不多， 集基礎學習和進階實戰 於一體的優質項目。

該項目按照大數據不同階段的學習，所列舉不同的文章干貨

大數據開發基礎篇

大數據框架學習篇

大數據開發實戰進階篇

大數據開發面試篇

從不同的分類足以見 王老師 的用心。同時，王知無前輩也是 51CTO 上的認證講師，來看看官方的介紹 。

相信很多同學在學習大數據的過程中，不清楚 Java 需要學習哪些內容，掌握到什麼程度，這個時候完全可以借鑒王老師的這個倉庫內容。

同時，學習這個倉庫的內容，可以學習到作者作為架構師本身對於 JVM，分布式理論和基礎，大數據框架基石之網路通信Netty，以及各個框架的源碼學習，可謂「 真.寶藏倉庫 」

除了基礎的理論學習以外，還有大量實戰性的內容可以借鑒參考

以及大量的面試題，還有自己從零到大數據專家一路走來的心路歷程，學習路徑指南，和自己對於技術學習的一些深入思考，相信大家拜讀過後一定能收獲滿滿，

這個項目比較特殊，是一個國外開發者開源的項目，英文翻譯過來的意思是「很棒的大數據」，實際上呢~他列舉的是很多很棒的大數據框架、資源和其他很棒的精選列表。靈感來自 awesome-php 、 awesome-python 、 awesome-ruby 、 hadoopecosystemtable 和 big-data 。目前也已經斬獲 10.2K 的 star，非常強勢。

為了方便閱讀，我將其全部翻譯成中文進行展示。

我們跳轉到 分布式編程，可以看到很多我們熟悉的技術，例如 Flink，Spark，Pig，MapRece 等等 ....

亦或者「分布式文件系統」，我們所熟知的 HDFS，Ku，GFS ...

點擊對應的鏈接，可以跳轉到對應的官方介紹頁，方便我們減少搜索成本，快速了解不同領域大數據常用的技術組件，為我們之後做技術調研省了很多的時間。

讓我厚顏無恥的夾帶一下「私貨」。這是我在今年年初的時候，創建的一個倉庫，目前也已經有了快 200 的star 。從資歷和star的數量顯然不能跟前面幾個大佬相比，但卻是我第一次花費了大量精力，將一個項目像孩子一樣進行「培養」。

為了設計一個好看的圖標，還花了不少的精力。設置不同媒體平台的徽標設計，還參考了像 JavaGuide 這樣的頭部項目，也算是在親力親為的這個過程中，學到了不少東西。

可以放點內容給大家show一下

另外，我還開設了「福利」專欄，將自己學習過程中收集到的學習干貨毫無保留地分享給大家，方便大家獲取。

顯而易見，這個是專注於 flink 學習的開源項目，其中的內容包含Flink 入門、概念、原理、實戰、性能調優、源碼解析等等，目前已經斬獲了 10.5k 的 star，非常強勢。

其維護的開發人員也是非常用心負責，一路跟隨 flink 的版本，不停的在維護更新 。

同時，主要維護者 zisheng 還將 flink 的研究做到了極致，不僅有 flink 成體系的博客鏈接，還有對應的源碼系列。

還自己創建了專欄《從1到100深入學習Flink》，並將大家學習過程中有疑惑的地方解決過程統一記錄下來，方便有需要的同學查看。雖然是付費的星球專享，但我覺得是真的值！感興趣的話大家可以自行去了解。

㈦ 大數據和Java有什麼關系呀

Java是計算機的一門編程語言；可以用來做很多工作，大數據開發屬於其中一種。

大數據屬於互聯網方向，就像現在建立在大數據基礎上的AI方向一樣，它們兩不是一個同類，但是屬於包含和被包含的關系；

Java可以用來做大數據工作，大數據開發或者應用不必要用Java，也可以用Python，Scala，Go語言等。
目前最火的大數據開發平台是Hadoop，而Hadoop則是採用Java語言編寫。一方面由於Hadoop的歷史原因，Hadoop的項目誕生於一個Java高手；另一方面，也有Java跨平台方面的優勢；基於這兩個方面的原因，所以Hadoop採用了Java語言。但是也因為Hadoop使用了Java所以就出現了「Java大數據」。
Java是我們耳熟能詳的編程語言，大數據更是當今科技的明星技術。而java大數據則是Java和大數據的結合產物，也可以說是Java程序員向大數據程序員的過渡階段。

㈧ hadoop是干什麼用的

提供海量數據存儲和計算的。需要java語言基礎。

Hadoop實現了一個分布式文件系統（Hadoop Distributed File System），簡稱HDFS。有高容錯性的特點，並且設計用來部署在低廉的（low-cost）硬體上；而且它提供高吞吐量來訪問應用程序的數據，適合那些有著超大數據集（large data set）的應用程序。

Hadoop的框架最核心的設計就是：HDFS和MapRece。HDFS為海量的數據提供了存儲，而MapRece則為海量的數據提供了計算。

(8)大數據架構的開源項目擴展閱讀

Hadoop是一個能夠讓用戶輕松架構和使用的分布式計算平台。用戶可以輕松地在Hadoop上開發和運行處理海量數據的應用程序。能夠對大量數據進行分布式處理的軟體框架Hadoop 以一種可靠、高效、可伸縮的方式進行數據處理。

Hadoop 是可靠的，因為它假設計算元素和存儲會失敗，因此它維護多個工作數據副本，確保能夠針對失敗的節點重新分布處理。Hadoop 是高效的，因為它以並行的方式工作，通過並行處理加快處理速度。

㈨ 數據治理大數據湖倉一體開源框架

數據治理大數據湖倉一體開源框架分為4部分:

1、數據源

業務庫數據、用戶日誌、系統日誌、爬蟲數據

2、構建集群

Hadoop,HDFS,Yarn

3.1 數據採集

數據採集工具:Sqoop、Flume、Canal、Sparkstreaming

3.2 數據預處理

數據預處理工具:消息系統Kafka,寬表工具SparkSql、FlinkSql

3.3數據存儲

Hbase資料庫集群、Clickhouse

3.4數據挖掘

Spark,Flink

4、數據可視化

FineBI 、PowerBI

開發工具:Intellij IDEA