用什麼系統做大數據

① 大數據是python好還是java好 應該選擇哪個

Java和Python這兩個語言應該都算是行業的標志性語言了，Java的需求量大，但是Java的從業者也多，經驗豐富的更多，而Python因為近幾年人工智慧，機器學習，數據分析等這些技術的發展，Python在編程行業占據的地位越來越多，發展前景是很好的。

Java、Python大數據的區別

1、Java大數據

Java語言猛悉應用廣泛，可以應用的領域也非常多，有完整的生態體系，另外Java語言的性能也非常不錯。Java與大數據的關系非常密切，一方面目前做大數據開發的程序員很多都是從Java程序員轉過去的，另一方面Hadoop平台本身就是基於Java開發的，所以目前Java在大數據開發中的使用還是非常普遍的。但是Java語言自身的復雜性讓很多程序員感覺它有點「重」，格式化的東西有仔仔點多。

單學Java以後的就業方向單一，薪資就是Java程序員的枝戚乎基本水平，而Java大數據工程師，以後的就業可以從事Java方面的工作，也可以涉獵大數據方面的工作。

2、Python大數據

Python語言目前在大數據和人工智慧領域有廣泛的應用，原因就是Python語言簡單、直接、方便。Python語言是腳本式語言，所以學習起來比較簡單，腳本語言的天然屬性就是直接，所以Python在語法結構上比Java要「輕」很多。另外，由於Python有豐富的庫支持，所以Python做軟體開發也非常「直接」，程序員的作用有點像做「集成」的感覺。

但是Python缺點也比較明顯，那就是Python的性能遠不及Java，另外與大數據平台的耦合度也不如Java好。但是如果你使用Python做演算法實現、數據分析、數據呈現等應用是完全沒有問題的，效率也比較高。

學習大數據應該選擇什麼

java主要用於商業邏輯強的領域，如商城系統，erp，oa,金融，保險等傳統資料庫事務領域，通過類似ssh框架事務代碼，對商業資料庫，如oralce，db2，sql server等支持較好，軟體工程理念較強，適合軟體工程式的多人開發模式。python主要用於web數據分析，科學計算，金融分析，信號分析，圖像演算法，數學計算，統計分析，演算法建模，伺服器運維，自動化操作，快速開發理念強，適合快速開發團隊或個人敏捷模式。

數據統計分析和大數據挖掘基礎應用Python。Python既是一種面向對象的編程語言又因為其簡單、易學、開源、腳本語言范兒的「人設」，是一種既適合數據科學又適合大數技術從業者學習的語言。

如果你想學一門語言，可以從語言的適用性、學習的難易程度、企業主的要求幾個方面考慮，從這幾個角度看，學習Python都沒有什麼可挑剔的。

想從事大數據，Java和Python兩種語言較合適，無論你選擇哪一種語言做大數據開發，只要是適合的就是最好的，語言本身就是工具，學習起來並不是十分困難，想大數據行業發展的就要快速成長起來。

② 大數據分析系統平台方案有哪些

目前常用的大數據解決方案包括以下幾類
一、Hadoop。Hadoop 是一個能夠對大量數據進行分布式處理的軟體框架。但是 Hadoop 是以一種可靠、高效、可伸縮的方式進行處理的。此外，Hadoop 依賴於社區伺服器，因此它的成本比較低，任何人都可以使用。
二、HPCC。HPCC，High Performance Computing and Communications(高性能計算與通信)的縮寫。HPCC主要目標要達到：開發可擴展的計算系統及相關軟體，以支持太位級網路傳輸性能，開發千兆 比特網路技術，擴展研究和教育機構及網路連接能力。

三、Storm。Storm是自由的開源軟體，一個分布式的、容錯的實時計算系統。Storm可以非常可靠的處理龐大的數據流，用於處理Hadoop的批量數據。 Storm支持許多種編程語言，使用起來非常有趣。Storm由Twitter開源而來
四、Apache Drill。為了幫助企業用戶尋找更為有效、加快Hadoop數據查詢的方法，Apache軟體基金會近日發起了一項名為「Drill」的開源項目。該項目幫助谷歌實現海量數據集的分析處理，包括分析抓取Web文檔、跟蹤安裝在Android Market上的應用程序數據、分析垃圾郵件、分析谷歌分布式構建系統上的測試結果等等。

③ 做大數據分析系統Hadoop需要用哪些軟體

1、ApacheMesos

代碼託管地址：ApacheSVN

Mesos提供了高效、跨分布式應用程序和框架的資源隔離和共享，支持Hadoop、MPI、Hypertable、Spark等。

Mesos是Apache孵化器中的一個開源項目，使用ZooKeeper實現容錯復制，使用linuxContainers來隔離任務，支持多種資源計劃分配(內存和CPU)。提供Java、Python和C++APIs來開發新的並行應用程序，提供基於Web的用戶界面來提查看集群狀態。

2、HadoopYARN

代碼託管地址：ApacheSVN

YARN又被稱為MapRece2.0，借鑒Mesos，YARN提出了資源隔離解決方案Container，但是目前尚未成熟，僅僅提供Java虛擬機內存的隔離。

對比MapRece1.x，YARN架構在客戶端上並未做太大的改變，在調用API及介面上還保持大部分的兼容，然而在YARN中，開發人員使用ResourceManager、ApplicationMaster與NodeManager代替了原框架中核心的JobTracker和TaskTracker。其中ResourceManager是一個中心的服務，負責調度、啟動每一個Job所屬的ApplicationMaster，另外還監控ApplicationMaster的存在情況;NodeManager負責Container狀態的維護，並向RM保持心跳。ApplicationMaster負責一個Job生命周期內的所有工作，類似老的框架中JobTracker。

Hadoop上的實時解決方案

前面我們有說過，在互聯網公司中基於業務邏輯需求，企業往往會採用多種計算框架，比如從事搜索業務的公司：網頁索引建立用MapRece，自然語言處理用Spark等。

3、ClouderaImpala

代碼託管地址：GitHub

Impala是由Cloudera開發，一個開源的MassivelyParallelProcessing(MPP)查詢引擎。與Hive相同的元數據、SQL語法、ODBC驅動程序和用戶介面(HueBeeswax)，可以直接在HDFS或HBase上提供快速、互動式SQL查詢。Impala是在Dremel的啟發下開發的，第一個版本發布於2012年末。

Impala不再使用緩慢的Hive+MapRece批處理，而是通過與商用並行關系資料庫中類似的分布式查詢引擎(由QueryPlanner、QueryCoordinator和QueryExecEngine三部分組成)，可以直接從HDFS或者HBase中用SELECT、JOIN和統計函數查詢數據，從而大大降低了延遲。

4、Spark

代碼託管地址：Apache

Spark是個開源的數據分析集群計算框架，最初由加州大學伯克利分校AMPLab開發，建立於HDFS之上。Spark與Hadoop一樣，用於構建大規模、低延時的數據分析應用。Spark採用Scala語言實現，使用Scala作為應用框架。

Spark採用基於內存的分布式數據集，優化了迭代式的工作負載以及互動式查詢。與Hadoop不同的是，Spark和Scala緊密集成，Scala像管理本地collective對象那樣管理分布式數據集。Spark支持分布式數據集上的迭代式任務，實際上可以在Hadoop文件系統上與Hadoop一起運行(通過YARN、Mesos等實現)。

5、Storm

代碼託管地址：GitHub

Storm是一個分布式的、容錯的實時計算系統，由BackType開發，後被Twitter捕獲。Storm屬於流處理平台，多用於實時計算並更新資料庫。Storm也可被用於「連續計算」(continuouscomputation)，對數據流做連續查詢，在計算時就將結果以流的形式輸出給用戶。它還可被用於「分布式RPC」，以並行的方式運行昂貴的運算。

Hadoop上的其它解決方案

就像前文說，基於業務對實時的需求，各個實驗室發明了Storm、Impala、Spark、Samza等流實時處理工具。而本節我們將分享的是實驗室基於性能、兼容性、數據類型研究的開源解決方案，其中包括Shark、Phoenix、ApacheAccumulo、ApacheDrill、ApacheGiraph、ApacheHama、ApacheTez、ApacheAmbari。

6、Shark

代碼託管地址：GitHub

Shark，代表了「HiveonSpark」，一個專為Spark打造的大規模數據倉庫系統，兼容ApacheHive。無需修改現有的數據或者查詢，就可以用100倍的速度執行HiveQL。

Shark支持Hive查詢語言、元存儲、序列化格式及自定義函數，與現有Hive部署無縫集成，是一個更快、更強大的替代方案。

7、Phoenix

代碼託管地址：GitHub

Phoenix是構建在ApacheHBase之上的一個SQL中間層，完全使用Java編寫，提供了一個客戶端可嵌入的JDBC驅動。Phoenix查詢引擎會將SQL查詢轉換為一個或多個HBasescan，並編排執行以生成標準的JDBC結果集。直接使用HBaseAPI、協同處理器與自定義過濾器，對於簡單查詢來說，其性能量級是毫秒，對於百萬級別的行數來說，其性能量級是秒。Phoenix完全託管在GitHub之上。

Phoenix值得關注的特性包括：1，嵌入式的JDBC驅動，實現了大部分的java.sql介面，包括元數據API;2，可以通過多個行鍵或是鍵/值單元對列進行建模;3，DDL支持;4，版本化的模式倉庫;5，DML支持;5，通過客戶端的批處理實現的有限的事務支持;6，緊跟ANSISQL標准。

8、ApacheAccumulo

代碼託管地址：ApacheSVN

ApacheAccumulo是一個可靠的、可伸縮的、高性能、排序分布式的鍵值存儲解決方案，基於單元訪問控制以及可定製的伺服器端處理。使用GoogleBigTable設計思路，基於ApacheHadoop、Zookeeper和Thrift構建。Accumulo最早由NSA開發，後被捐獻給了Apache基金會。

對比GoogleBigTable，Accumulo主要提升在基於單元的訪問及伺服器端的編程機制，後一處修改讓Accumulo可以在數據處理過程中任意點修改鍵值對。

9、ApacheDrill

代碼託管地址：GitHub

本質上，ApacheDrill是GoogleDremel的開源實現，本質是一個分布式的mpp查詢層，支持SQL及一些用於NoSQL和Hadoop數據存儲系統上的語言，將有助於Hadoop用戶實現更快查詢海量數據集的目的。當下Drill還只能算上一個框架，只包含了Drill願景中的初始功能。

Drill的目的在於支持更廣泛的數據源、數據格式及查詢語言，可以通過對PB位元組數據的快速掃描(大約幾秒內)完成相關分析，將是一個專為互動分析大型數據集的分布式系統。

10、ApacheGiraph

代碼託管地址：GitHub

ApacheGiraph是一個可伸縮的分布式迭代圖處理系統，靈感來自BSP(bulksynchronousparallel)和Google的Pregel，與它們區別於則是是開源、基於Hadoop的架構等。

Giraph處理平台適用於運行大規模的邏輯計算，比如頁面排行、共享鏈接、基於個性化排行等。Giraph專注於社交圖計算，被Facebook作為其OpenGraph工具的核心，幾分鍾內處理數萬億次用戶及其行為之間的連接。

11、ApacheHama

代碼託管地址：GitHub

ApacheHama是一個建立在Hadoop上基於BSP(BulkSynchronousParallel)的計算框架，模仿了Google的Pregel。用來處理大規模的科學計算，特別是矩陣和圖計算。集群環境中的系統架構由BSPMaster/GroomServer(ComputationEngine)、Zookeeper(DistributedLocking)、HDFS/HBase(StorageSystems)這3大塊組成。

12、ApacheTez

代碼託管地址：GitHub

ApacheTez是基於HadoopYarn之上的DAG(有向無環圖，DirectedAcyclicGraph)計算框架。它把Map/Rece過程拆分成若干個子過程，同時可以把多個Map/Rece任務組合成一個較大的DAG任務，減少了Map/Rece之間的文件存儲。同時合理組合其子過程，減少任務的運行時間。由Hortonworks開發並提供主要支持。

13、ApacheAmbari

代碼託管地址：ApacheSVN

ApacheAmbari是一個供應、管理和監視ApacheHadoop集群的開源框架，它提供一個直觀的操作工具和一個健壯的HadoopAPI,可以隱藏復雜的Hadoop操作，使集群操作大大簡化，首個版本發布於2012年6月。

ApacheAmbari現在是一個Apache的頂級項目，早在2011年8月，Hortonworks引進Ambari作為ApacheIncubator項目，制定了Hadoop集群極致簡單管理的願景。在兩年多的開發社區顯著成長，從一個小團隊，成長為Hortonworks各種組織的貢獻者。Ambari用戶群一直在穩步增長，許多機構依靠Ambari在其大型數據中心大規模部署和管理Hadoop集群。

目前ApacheAmbari支持的Hadoop組件包括：HDFS、MapRece、Hive、HCatalog、HBase、ZooKeeper、Oozie、Pig及Sqoop。

④ 好用的外貿大數據客戶開發系統有哪些

想要做外貿客戶開發，首先要明確你們公司的需求。

其次是，要看客戶開發系統的數據要配燃飢考慮到質量和真實性、准確性、全面性。並且能夠定期更新維護數據的軟體才靠譜。

操作的簡易程度，軟體功能是否可擴展，支持定製化，且系統穩定的，才能算得上是好的軟體系統。

外貿大數據客戶開發系統推薦

快啟精線索，它是基於人工智慧和大數據分析技術的外貿客戶開發軟體，用戶能夠根據自己的需求去設置行業、企業類型、經營范圍、地域等作為條件。然後去篩選出精準的客戶資源。可以根據條件設置篩選項，如下：

大數據智能分析和處理，通過多種渠道的數據收集，然後進行整合並分析出你的潛在客戶，從而保證了數據段旅的准確性。

獲取多渠道的聯系人，從而找到企業關鍵人。收集了企業在多個渠道公示的聯系方式，有效找到企業負責人，開展合作。（許培返多系統是找企業工商信息，獲取的法人聯系方式，法人一般不是決策人，留下的號碼不是空號，就是打不通）

因此，系統能獲取大量的企業資源不能代表資源的有效性，找對企業資源、找到企業決策人才是關鍵！

數據定期更新和維護，保證數據是通過多種渠道獲取最新數據，從而做到客戶開發的可實施性。避免找到了客戶，卻合作了其他公司的情況發生，保證有效性。

其次是一些個性化的推送，會根據客戶的行為和偏好，提供個性化的營銷方案，提高客戶體驗和需求的滿足。操作起來方便易上手，加快員工的使用和客戶開發進度，提升辦公效率。

⑤ 大數據處理軟體用什麼比較好

常見的數據處理軟體有Apache Hive、SPSS、Excel、Apache Spark、Jaspersoft BI 套件。

1、Apache Hive

Hive是一個建立在Hadoop上的開源數據倉庫基礎設施，通過Hive可以很容易的進行數據的ETL,對數據進行結構化處理,並對Hadoop上大數據文件進行查詢和處理等。 Hive提供了一種簡單的類似SQL的查詢語言—HiveQL,這為熟悉SQL語言的用戶查詢數據提供了方便。

數據分析與處理方法：

採集

在大數據的採集過程中，其主要特點和挑戰是並發數高，因為同時有可能會有成千上萬的用戶來進行訪問和操作，比如火車票售票網站和淘寶，它們並發的訪問量在峰值時達到上百萬，所以需要在採集端部署大量資料庫才能支撐。

並且如何在這些資料庫之間進行負載均衡和分片的確是需要深入的思考和設計。

統計/分析

統計與分析主要利用分布式資料庫，或者分布式計算集群來對存儲於其內的大量數據進行普通的分析和分類匯總等，以滿足大多數常見的分析需求，在這方面，一些實時性需求會用到EMC的GreenPlum、Oracle的Exadata，以及基於MySQL的列式存儲Infobright等。

而一些批處理，或者基於半結構化數據的需求可以使用Hadoop。統計與分析這部分的主要特點和挑戰是分析涉及的數據量大，其對系統資源，特別是I/O會有極大的佔用。

導入/預處理

雖然採集端本身會有很多資料庫，但是如果要對這些大量數據進行有效的分析，還是應該將這些來自前端的數據導入到一個集中的大型分布式資料庫，或者分布式存儲集群，並且可以在導入基礎上做一些簡單的清洗和預處理工作。

也有一些用戶會在導入時使用來自Twitter的Storm來對數據進行流式計算，來滿足部分業務的實時計算需求。導入與預處理過程的特點和挑戰主要是導入的數據量大，每秒鍾的導入量經常會達到百兆，甚至千兆級別。

⑥ 如何架構大數據系統 hadoop

大數據數量龐大，格式多樣化。大量數據由家庭、製造工廠和辦公場所的各種設備、互聯網事務交易、社交網路的活動、自動化感測器、移動設備以及科研儀器等生成。它的爆炸式增長已超出了傳統IT基礎架構的處理能力，給企業和社會帶來嚴峻的數據管理問題。因此必須開發新的數據架構，圍繞「數據收集、數據管理、數據分析、知識形成、智慧行動」的全過程，開發使用這些數據，釋放出更多數據的隱藏價值。

一、大數據建設思路

1）數據的獲得

四、總結

基於分布式技術構建的大數據平台能夠有效降低數據存儲成本，提升數據分析處理效率，並具備海量數據、高並發場景的支撐能力，可大幅縮短數據查詢響應時間，滿足企業各上層應用的數據需求。

⑦ 大數據背景管理信息系統有哪些

大數據背景管理信息系統有騰訊純孝分析、阿里雲大數據、國家電網智能化管理信息系統。
1、騰訊分析：騰訊分析是騰訊公司推出的一款大數據分析工具，主要用於對社交媒體、電子商務、游戲等業務數據進行分析和挖掘，以幫助企業做出更好的決策。
2、阿里雲大數據：阿里雲大數據是阿里雲推出的一整套大數據解決方案，包括數據存儲、計算、分析和可視化等各個環節，能夠滿足企業在大數據管理和應用方面的需求。
3、國家電網智能化管理信息系統：國家電網智能化管理信息系統是叢褲液中國國家電網公司推出的一款大滲物數據管理和決策支持系統，主要用於電力系統的數據採集、存儲、分析和決策支持。

⑧ 大數據系統有哪些

大數據可視化系統（一）思邁特軟體Smartbi

思邁特軟體Smartbi是一款商業智能BI工具，做數據分析和可視化數據展現，以分析為主，提供多種數據接入方式，可視化功能強大，平台更適合掌握分析方法了解分析的思路的用戶，其他用戶的使用則依賴於分析師的結果輸出。

Smartbi也是小編找了很久感覺很不錯的一款大數據可視化系統。其中還有很多對數據處理的公式和方法，圖表也比較全面。相對於網路的echarts，Smartbi還是一款比較容易入手的數據分析工具。最後，Smartbi提供了免費的版本，功能齊全，更加適合個人對數據分析的學習和使用。

大數據可視化系統（二）ChartBlocks

ChartBlocks是一款網頁版的大數據可視化系統，在線使用。通過導入電子表格或者資料庫來構建可視化圖表。整個過程可以在圖表的向導指示下完成。它的圖表在HTML5的框架下，使用強大的JavaScript庫D3js來創建圖表。

圖表是響應式的，可以和任何的屏幕尺寸及設備兼容。還可以將圖表嵌入任何網頁中。

大數據可視化系統（三）Tableau

Tableau公司將數據運算與美觀的圖表完美地嫁接在一起。它的程序很容易上手，各公司可以用它將大量數據拖放到數字」畫布」上，轉眼間就能創建好各種圖表。這一軟體的理念是，界面上的數據越容易操控，公司對自己在所在業務領域里的所作所為到底是正確還是錯誤，就能了解得越透徹。

它們都是為與大數據有關的組織設計的。企業使用這個工具非常方便，而且提供了閃電般的速度。還有一件事對這個工具是肯定的，Tableau具有用戶友好的特性，並與拖放功能兼容。但是在大數據方面的性能有所缺陷，每次都是實時查詢數據，如果數據量大，會卡頓。

大數據可視化系統（四）AntV

AntV是螞蟻金服的大數據可視化系統，主要包含專註解決流程與關系分析的圖表庫G6、適於對性能、體積、擴展性要求嚴苛場景下使用的移動端圖表庫F2以及一套完整的圖表使用指引和可視化設計規范。

已為阿里集團內外2000+個業務系統提供數據可視化能力，其中不乏日均千萬UV級的產品。

⑨ 2、請討論大數據平台搭建在windows中還是搭建在linux中更好

linux更好
因為：Linux做為開源免費的操作系統，也有些優點是Windows無論如何也趕不上的。
1.不用花錢
正版的Windows系統是要花錢購買的，而且價錢還不低（買筆記本帶Windows系統其實系統錢是包含在裡面的）。而Linux是開源免費的，任何人不用花錢都可以下載使用，而且有多個發行版可供選擇。
2.穩定性/流暢度高
使用Windows系統時不時會出現卡頓，不穩定的問題，但Linux不會。選擇一個好的發行版做為個人電腦系統使用的話一般不會出現卡頓的情況。而且Windows系統長時間使用的話要重啟一下，不然可能就沒有開機時流暢了。
在Windows中由於空間不夠用都會安裝一款清理垃圾文件的軟體，Windows系統本身會佔用很大的空間，隨便安裝幾個軟體系統盤也許就滿了。但在Linux中一般不需要，因為Linux系統本身不會佔用多大的磁碟空間，安裝軟體也都是規范的位置，系統臨時目錄重啟時會自動清理，不會佔用大量的磁碟空間。
在我的使用體驗中，Linux的流暢度是比Windows高的。比如我使用的編程軟體IDEA，同一台電腦同一塊硬碟，在Windows上打開一個項目要3到5秒，但在Linux（Ubuntu18.04）中打開同一個項目只要不到1秒。
4.安全性高
在Windows系統中是一定要安裝殺毒軟體的。就算你不安裝，Windows系統自帶的也會啟動。但在Linux中不用，因為Linux是一個有嚴格許可權控制的系統，平常使用的時候一般不會使用root用戶，就算有惡意腳本也不至於對系統造成大破壞。而且Linux的病毒數量也極少。
5.可定製性高
由於Linux系統是開源的，所以每個人都可以下載其源代碼進行定製。就算是已經存在的發行版桌面環境也都是可以換的。如果你有能力，可以把Linux系統改的它親爹都不認識。
6.性能高
Linux的開發都可能比使用者還要多，這就意味著Linux從內核到軟體都是經過多次的優化的。性能高自然也是不奇怪。這個性能不僅表現在軟體性能，現在還表現在游戲性能上，我在同一台電腦上在Windows系統中玩我的世界不限制幀率能跑800多幀，但在Linux裡面使用同一個顯卡，載入同一個游戲，同一個場景，能跑1000多幀。

⑩ 建立大數據需要設計一個什麼大型系統

建立大數據需要設計一個大型系統步驟。
1、數據收集從外部數據源收集各種原始數據，並進行整合和清洗。
2、數據存儲存儲原始數據和清洗過的數據，支持大數據計算框架的存儲。
3、數據分析使用機器學習、深度學習等技術對殲喚數據進行分析，挖掘數據中的模式和規律。
4、.數據可視化使用可視化工具，將分析出的信息展示出來，以便更好返知的理解和掌握數據的規律，以及發現潛在的問題和機會。
5、數據安全保護數漏改消據安全，防止數據被惡意篡改或濫用。