1、HDFS
Hadoop分布式文件體系(Hadoop Distributed File System,HDFS)現在是Apache Hadoop項目的一個子項目,與已有的分布式文件體系有許多相似之處。
此外,作為專門針對商業化硬體(commodity hardware)規劃的文件體系,HDFS的獨特之處也很明顯:首要其具有很高的容錯性,其次能夠布置在較為廉價的硬體上,最後能夠供給高吞吐量的應用數據拜訪能力。
2、Sqoop
Sqoop是一個在Hadoop和聯系資料庫伺服器之間傳送數據的東西,便利大量數據的導入導出工作,其支持多種類型的數據存儲軟體。
Sqoop的中心功能為數據的導入和導出。
導入數據:從諸如MySQL、SQL Server和Oracle等聯系資料庫將數據導入到Hadoop下的HDFS、Hive和HBase等數據存儲體系。 導出數據:從Hadoop的文件體系中將數據導出至聯系資料庫。
3、Flume
Flume是由Hadoop生態體系中聞名的軟體公司Cloudera於2011年發布,該軟體能夠支持分布式海量日誌的採集、集成與傳輸,以實時的方式從數據發送方獲取數據,並傳輸給數據接收方。
Flume具有兩個顯著的特點:可靠性和可擴展性。
針對可靠性,其供給了從強到弱的三級保障,即End-to-end、Store on failure和Best effort。 針對可擴展性,其選用三層的體系結構,即Agent、Collector和Storage,每層都能夠在水平方向上進行擴展。
4、Scribe
Scribe是由Facebook開發的分布式日誌體系,在Facebook內部現已得到了廣泛的應用。Scribe能夠針對坐落不同數據源的日誌信息進行收集,然後存儲至某個一致的存儲體系,這個存儲體系可所以網路文件體系(Network File System,NFS),也可所以分布式文件體系。
5、HBase
HBase的全稱為Hadoop Database,是基於谷歌BigTable的開源實現,其運用Hadoop體系結構中的HDFS作為根本的文件體系。谷歌根據BigTable的理念規劃實現了谷歌文件體系GFS,可是該計劃未開源。HBase能夠稱為BigTable的山寨版,是開源的。
關於盤點5種大數據處理的典型工具,青藤小編就和您分享到這里了。如果您對大數據工程有濃厚的興趣,希望這篇文章可以為您提供幫助。如果您還想了解更多關於數據分析師、大數據工程師的技巧及素材等內容,可以點擊本站的其他文章進行學習。
B. 大數據工具有哪些
大數據日益成為研究行業的重要研究目標,面對其高數據量、多維度與異構化的特點,以及分析方法思路的擴展,傳統統計工具已經難以應對。
傳統數據分析所用工具
1、Excel作為電子表格軟體,適合簡單統計(分組/求和等)需求,由於其方便好用,功能也能滿足很多場景需要,所以實際成為研究人員最常用的軟體工具。其缺點在於功能單一,且可處理數據規模小。這兩年Excel在大數據方面(如地理可視化和網路關系分析)上也作出了一些增強,但應用能力有限。
2、SPSS(SPSS Statistics)和SAS作為商業統計軟體,提供研究常用的經典統計分析(如回歸、方差、因子、多變數分析等)處理。SPSS輕量、易於使用,但功能相對較少,適合常規基本統計分析
3、SAS功能豐富而強大(包括繪圖能力),且支持編程擴展其分析能力,適合復雜與高要求的統計性分析。
數據存儲和管理所用工具
Hadoop現在幾乎已經等同於大數據。它是存儲在計算機集群中的超大數據集的一個開源的分布式的基礎架構。你可以隨意增大或減小你的數據量而不用擔心硬體故障。Hadoop提供了對任何種類的海量數據的存儲、強大的處理能力和幾乎無限的並行工作能力。
Hadoop並不適合數據初學者。要想充分發揮Hadoop的能力,你需要了解Java。學習Java可能耗時,但是Hadoop絕對值得你付出,因為大量的公司和技術都依賴於它甚至和它融為了一體。
數據清洗所用工具
在你進行數據挖掘之前,應該先對你的數據進行清洗。OpenRefine現在是一款用來專門清洗混亂數據的開源工具。從而使你能夠輕松和快速的探索有一定程度非結構化的大數據集。
數據挖掘所用工具
數據挖掘作為大數據應用的重要領域,在傳統統計分析基礎上,更強調提供機器學習的方法,關注高維空間下復雜數據關聯關系和推演能力。代表是SPSS Modeler,SPSS Modeler的統計功能相對有限,主要是提供面向商業挖掘的機器學習演算法(決策樹、神經元網路、分類、聚類和預測等)的實現。同時,其數據預處理和結果輔助分析方面也相當方便,這一點尤其適合商業環境下的快速挖掘。不過就處理能力而言,實際感覺難以應對億級以上的數據規模。
大數據常用的編程語言
1、R語言是用來進行統計分析和繪圖的一種語言。如果上述的數據挖掘和統計軟體無法滿足你的需求的話,那麼R語言一定會有所幫助。實際上如果你要成為一個數據科學家,了解R語言是一項必備技能。2、Python語言——最大的優勢是在文本處理以及大數據量處理場景,且易於開發。在相關分析領域,Python代替R的勢頭越來越明顯。
在你的數據生涯中學會單一工具很難一招鮮吃遍天。現在的工具雖然使用起來越來越簡便,功能也越來越強大,但是有的時候還是自己編程更好一些。即使你不是一個專業程序員,理解這些語言的基本工作原理對諸多的工具的運行和使用方法的理解也是大有裨益。
C. 大數據分析的工具有哪些
1、Hadoop
Hadoop 是一個能夠對大量數據進行分布式處理的軟體框架。但是 Hadoop 是以一種可靠、高效、可伸縮的方式進行處理的。Hadoop 是可靠的,因為它假設計算元素和存儲會失敗,因此它維護多個工作數據副本,確保能夠針對失敗的節點重新分布處理。Hadoop 是高效的,因為它以並行的方式工作,通過並行處理加快處理速度。Hadoop 還是可伸縮的,能夠處理 PB 級數據。此外,Hadoop 依賴於社區伺服器,因此它的成本比較低,任何人都可以使用。
2、HPCC
HPCC,High Performance Computing and Communications(高性能計算與通信)的縮寫。1993年,由美國科學、工程、技術聯邦協調理事會向國會提交了“重大挑戰項目:高性能計算與 通信”的報告,也就是被稱為HPCC計劃的報告,即美國總統科學戰略項目,其目的是通過加強研究與開發解決一批重要的科學與技術挑戰問題。HPCC是美國 實施信息高速公路而上實施的計劃,該計劃的實施將耗資百億美元,其主要目標要達到:開發可擴展的計算系統及相關軟體,以支持太位級網路傳輸性能,開發千兆 比特網路技術,擴展研究和教育機構及網路連接能力。
3、Storm
Storm是自由的開源軟體,一個分布式的、容錯的實時計算系統。Storm可以非常可靠的處理龐大的數據流,用於處理Hadoop的批量數據。Storm很簡單,支持許多種編程語言,使用起來非常有趣。
4、Apache Drill
為了幫助企業用戶尋找更為有效、加快Hadoop數據查詢的方法,Apache軟體基金會近日發起了一項名為“Drill”的開源項目。Apache Drill 實現了 Google's Dremel.
據Hadoop廠商MapR Technologies公司產品經理Tomer Shiran介紹,“Drill”已經作為Apache孵化器項目來運作,將面向全球軟體工程師持續推廣。
5、RapidMiner
RapidMiner是世界領先的數據挖掘解決方案,在一個非常大的程度上有著先進技術。它數據挖掘任務涉及范圍廣泛,包括各種數據藝術,能簡化數據挖掘過程的設計和評價。
6、Pentaho BI
Pentaho BI 平台不同於傳統的BI 產品,它是一個以流程為中心的,面向解決方案(Solution)的框架。其目的在於將一系列企業級BI產品、開源軟體、API等等組件集成起來,方便商務智能應用的開發。它的出現,使得一系列的面向商務智能的獨立產品如Jfree、Quartz等等,能夠集成在一起,構成一項項復雜的、完整的商務智能解決方案。
D. 大數據常用的軟體工具有哪些
眾所周知,現如今,大數據越來越受到大家的重視,也逐漸成為各個行業研究的重點。正所謂「工欲善其事必先利其器」,大數據想要搞的好,使用的工具必須合格。而大數據行業因為數據量巨大的特點,傳統的工具已經難以應付,因此就需要我們使用更為先進的現代化工具,那麼大數據常用的軟體工具有哪些呢?
首先,對於傳統分析和商業統計來說,常用的軟體工具有Excel、SPSS和SAS。
Excel是一個電子表格軟體,相信很多人都在工作和學習的過程中,都使用過這款軟體。Excel方便好用,容易操作,並且功能多,為我們提供了很多的函數計算方法,因此被廣泛的使用,但它只適合做簡單的統計,一旦數據量過大,Excel將不能滿足要求。
SPSS和SAS都是商業統計才會用到的軟體,為我們提供了經典的統計分析處理,能讓我們更好的處理商業問題。同時,SPSS更簡單,但功能相對也較少,而SAS的功能就會更加豐富一點。
第二,對於數據挖掘來說,由於數據挖掘在大數據行業中的重要地位,所以使用的軟體工具更加強調機器學習,常用的軟體工具就是SPSS Modeler。
SPSS Modeler主要為商業挖掘提供機器學習的演算法,同時,其數據預處理和結果輔助分析方面也相當方便,這一點尤其適合商業環境下的快速挖掘,但是它的處理能力並不是很強,一旦面對過大的數據規模,它就很難使用。
第三,大數據可視化。在這個領域,最常用目前也是最優秀的軟體莫過於TableAU了。
TableAU的主要優勢就是它支持多種的大數據源,還擁有較多的可視化圖表類型,並且操作簡單,容易上手,非常適合研究員使用。不過它並不提供機器學習演算法的支持,因此不難替代數據挖掘的軟體工具。
第四,關系分析。關系分析是大數據環境下的一個新的分析熱點,其最常用的是一款可視化的輕量工具——Gephi。
Gephi能夠解決網路分析的許多需求,功能強大,並且容易學習,因此很受大家的歡迎。但由於它是由Java編寫的,導致處理性能並不是那麼優秀,在處理大規模數據的時候顯得力不從心,所以也是有著自己的局限性。
上面四種軟體,就是筆者為大家盤點的在大數據行業中常用到的軟體工具了,這些工具的功能都是比較強大的,雖然有著不少的局限性,但由於大數據行業分工比較明確,所以也能使用。希望大家能從筆者的文章中,獲取一些幫助。
E. 大數據開發工具有哪些
大數據研究的出現,為企業、研究機構、政府決策提供了新的行之有效思路和手段,想要做好大數據的管理和分析,一些大數據開發工具 的使用是必不可少的,以下是大數據開發過程中常用的工具:
1. Apache Hive
Hive是一個建立在Hadoop上的開源數據倉庫基礎設施,通過Hive可以很容易的進行數據的ETL,對數據進行結構化處理,並對Hadoop上大數據文件進行查詢和處理等。 Hive提供了一種簡單的類似SQL的查詢語言—HiveQL,這為熟悉SQL語言的用戶查詢數據提供了方便。
2. Apache Spark
Apache Spark是Hadoop開源生態系統的新成員。它提供了一個比Hive更快的查詢引擎,因為它依賴於自己的數據處理框架而不是依靠Hadoop的HDFS服務。同時,它還用於事件流處理、實時查詢和機器學習等方面。
3. Jaspersoft BI 套件
Jaspersoft包是一個通過資料庫列生成報表的開源軟體。行業領導者發現Jaspersoft軟體是一流的, 許多企業已經使用它來將SQL表轉化為pdf,,這使每個人都可以在會議上對其進行審議。另外,JasperReports提供了一個連接配置單元來替代HBase。
4. Keen IO
Keen IO是個強大的移動應用分析工具。開發者只需要簡單到一行代碼, 就可以跟蹤他們想要的關於他們應用的任何信息。開發者接下來只需要做一些Dashboard或者查詢的工作就可以了。
5. Mortar Data
Mortar Data是專為開發者打造的Hadoop開發平台,它用Pig和Python的組合替代了MapRece以便開發者能簡單地編寫Hadoop管道(Pipeline)。
6. Placed Analytics
利用腳本語言以及API, PlacedAnalytics能夠提供針對移動和網路應用的詳細用戶行為分析。包括, 用戶使用時間和地理位置信息。 這些可以幫助開發者的應用更好地吸引廣告商, 也可以幫助開發者對自己的應用進行改善。
7. Ingres Corp
它擁有超過一萬客戶而且正在擴增。它通過Vectorwise以及對ParAccel實現了擴展。這些發展分別導致了Actian Vector和Actian Matrix的創建。它有Apache,Cloudera,Hortonworks以及其他發行版本可供選擇。
8. Talend Open Studio
Talend是一個統一的平台,它通過提供一個統一的,跨企業邊界生命周期管理的環境,使數據管理和應用更簡單便捷。這種設計可以幫助企業構建靈活、高性能的企業架構,在次架構下,集成並啟用百分之百開源服務的分布式應用程序變為可能。
9. Cloudera
Cloudera正在努力為開源Hadoop,提供支持,Hadoop可以作為目標數據倉庫,高效的數據平台,或現有數據倉庫的ETL來源。企業規模可以用作集成Hadoop與傳統數據倉庫的基礎。 Cloudera致力於成為數據管理的「重心」。
10. Pentaho Business Analytics
Pentaho的工具可以連接到NoSQL資料庫,有很多內置模塊,可以把它們拖放到一個圖片上, 然後將它們連接起來。
工具的熟練使用可以起到事半功倍的效果,以上僅僅是一些數據開發過程中常用的工具,對於大數據開發人員來說是需要熟練掌握的,當然,大數據開發 過程中也會需要藉助一些其他的工具,這就需要大數據開發人員 具有發現和解決問題的能力,以及養成善於積累的習慣!
F. 大數據專業都需要學習哪些軟體啊
大數據處理分析能力在21世紀至關重要。使用正確的大數據工具是企業提高自身優勢、戰勝競爭對手的必要條件。下面讓我們來了解一下最常用的30種大數據工具,緊跟大數據發展腳步。
第一部分、數據提取工具
Octoparse是一種簡單直觀的網路爬蟲,可以從網站上直接提取數據,不需要編寫代碼。無論你是初學者、大數據專家、還是企業管理層,都能通過其企業級的服務滿足需求。為了方便操作,Octoparse還添加了涵蓋30多個網站的「任務模板 (Task Templates)」,操作簡單易上手。用戶無需任務配置即可提取數據。隨著你對Octoparse的操作更加熟悉,你還可以使用其「向導模式 (Wizard Mode)」來構建爬蟲。除此之外,大數據專家們可以使用「高級模式 (Advanced Mode)」在數分鍾內提取企業批量數據。你還可以設置「自動雲提取 (Scheled Cloud Extraction)」,以便實時獲取動態數據,保持跟蹤記錄。
02
Content Graber
Content Graber是比較進階的網路爬網軟體,具有可用於開發、測試和生產伺服器的編程操作環境。用戶可以使用C#或VB.NET調試或編寫腳本來構建爬蟲。Content Graber還允許你在爬蟲的基礎上添加第三方擴展軟體。憑借全面的功能,Content Grabber對於具有基本技術知識的用戶來說功能極其強大。
Import.io是基於網頁的數據提取工具。Import.io於2016年首次啟動,現已將其業務模式從B2C轉變為B2B。2019年,Import.io並購了Connotate,成為了一個網路數據集成平台 (Web Data Integration Platform)。憑借廣泛的網路數據服務,Import.io成為了商業分析的絕佳選擇。
Parsehub是基於網頁的數據爬蟲。它可以使用AJax,JavaScript等等從網站上提取動態的的數據。Parsehub提供為期一周的免費試用,供用戶體驗其功能。
Mozenda是網路數據抓取軟體,提供企業級數據抓取服務。它既可以從雲端也可以從內部軟體中提取可伸縮的數據。
第二部分、開源數據工具
01Knime
KNIME是一個分析平台,可以幫助你分析企業數據,發現潛在的趨勢價值,在市場中發揮更大潛能。KNIME提供Eclipse平台以及其他用於數據挖掘和機器學習的外部擴展。KNIME為數據分析師提供了2,000多個模塊。
02OpenRefine(過去的Google Refine)是處理雜亂數據的強有力工具,可用於清理、轉換、鏈接數據集。藉助其分組功能,用戶可以輕松地對數據進行規范化。
03R-Programming
R大家都不陌生,是用於統計計算和繪制圖形的免費軟體編程語言和軟體環境。R語言在數據挖掘中很流行,常用於開發統計軟體和數據分析。近年來,由於其使用方便、功能強大,得到了很大普及。
04RapidMiner
與KNIME相似,RapidMiner通過可視化程序進行操作,能夠進行分析、建模等等操作。它通過開源平台、機器學習和模型部署來提高數據分析效率。統一的數據科學平台可加快從數據准備到實施的數據分析流程,極大地提高了效率。
第三部分、數據可視化工具
01
Datawrapper
Microsoft PowerBI既提供本地服務又提供雲服務。它最初是作為Excel附加組件引入的,後來因其強大的功能而廣受歡迎。截至目前,它已被視為數據分析領域的領頭羊,並且可以提供數據可視化和商業智能功能,使用戶能夠以較低的成本輕松創建美觀的報告或BI儀錶板。
02
Solver
Solver專用於企業績效管理 (CPM) 數據可視化。其BI360軟體既可用於雲端又可用於本地部署,該軟體側重於財務報告、預算、儀錶板和數據倉庫的四個關鍵分析領域。
03
Qlik
Qlik是一種自助式數據分析和可視化工具。可視化的儀錶板可幫助公司有效地「理解」其業務績效。
04
Tableau Public
Tableau是一種互動式數據可視化工具。與大多數需要腳本的可視化工具不同,Tableau可幫助新手克服最初的困難並動手實踐。拖放功能使數據分析變得簡單。除此之外,Tableau還提供了入門工具包和豐富的培訓資源來幫助用戶創建報告。
05
Google Fusion Tables
Fusion Table是Google提供的數據管理平台。你可以使用它來收集,可視化和共享數據。Fusion Table與電子表格類似,但功能更強大、更專業。你可以通過添加CSV,KML和電子表格中的數據集與同事進行協作。你還可以發布數據作品並將其嵌入到其他網路媒體資源中。
06
Infogram
Infogram提供了超過35種互動式圖表和500多種地圖,幫助你進行數據可視化。多種多樣的圖表(包括柱形圖,條形圖,餅形圖和文字雲等等)一定會使你的聽眾印象深刻。
第四部分、情感分析工具
01
HubSpot』s ServiceHub
HubSpot具有客戶反饋工具,可以收集客戶反饋和評論,然後使用自然語言處理 (NLP) 分析數據以確定積極意圖或消極意圖,最終通過儀錶板上的圖形和圖表將結果可視化。你還可以將HubSpot』s ServiceHub連接到CRM系統,將調查結果與特定聯系人聯系起來。這樣,你可以識別不滿意的客戶,改善服務,以增加客戶保留率。
02
Semantria
Semantria是一款從各種社交媒體收集帖子、推文和評論的工具。Semantria使用自然語言處理來解析文本並分析客戶的態度。通過Semantria,公司可以了解客戶對於產品或服務的感受,並提出更好的方案來改善產品或服務。
03
Trackur
Trackur的社交媒體監控工具可跟蹤提到某一用戶的不同來源。它會瀏覽大量網頁,包括視頻、博客、論壇和圖像,以搜索相關消息。用戶可以利用這一功能維護公司聲譽,或是了解客戶對品牌和產品的評價。
04
SAS Sentiment Analysis
SAS Sentiment Analysis是一款功能全面的軟體。網頁文本分析中最具挑戰性的部分是拼寫錯誤。SAS可以輕松校對並進行聚類分析。通過基於規則的自然語言處理,SAS可以有效地對消息進行分級和分類。
05
Hootsuit Insight
Hootsuit Insight可以分析評論、帖子、論壇、新聞站點以及超過50種語言的上千萬種其他來源。除此之外,它還可以按性別和位置對數據進行分類,使用戶可以制定針對特定群體的戰略營銷計劃。你還可以訪問實時數據並檢查在線對話。
第五部分、資料庫
01
Oracle
毫無疑問,Oracle是開源資料庫中的佼佼者,功能豐富,支持不同平台的集成,是企業的最佳選擇。並且,Oracle可以在AWS中輕松設置,是關系型資料庫的可靠選擇。除此之外,Oracle集成信用卡等私人數據的高安全性是其他軟體難以匹敵的。
02
PostgreSQL
PostgreSQL超越了Oracle、MySQL和Microsoft SQL Server,成為第四大最受歡迎的資料庫。憑借其堅如磐石的穩定性,它可以處理大量數據。
03
Airtable
Airtable是基於雲端的資料庫軟體,善於捕獲和顯示數據表中的信息。Airtable提供一系列入門模板,例如:潛在客戶管理、錯誤跟蹤和申請人跟蹤等,使用戶可以輕松進行操作。
04
MariaDB
MariaDB是一個免費的開源資料庫,用於數據存儲、插入、修改和檢索。此外,Maria提供強大的社區支持,用戶可以在這里分享信息和知識。
05
Improvado
Improvado是一種供營銷人員使用自動化儀錶板和報告將所有數據實時地顯示在一個地方的工具。作為營銷和分析領導者,如果你希望在一個地方查看所有營銷平台收集的數據,那麼Inprovado對你再合適不過了。你可以選擇在Improvado儀錶板中查看數據,也可以將其通過管道傳輸到你選擇的數據倉庫或可視化工具中,例如Tableau、Looker、Excel等。品牌,代理商和大學往往都喜歡使用Improvado,以大大節省人工報告時間和營銷花費。
G. 常用的大數據工具有哪些
1. 開源大數據生態圈
Hadoop HDFS、Hadoop MapRece, HBase、Hive 漸次誕生,早期Hadoop生態圈逐步形成。
開源生態圈活躍,版並免費,但Hadoop對技術要求權高,實時性稍差。
2. 商用大數據分析工具
一體機資料庫/數據倉庫(費用很高)
IBM PureData(Netezza), Oracle Exadata, SAP Hana等等。
數據倉庫(費用較高)
Teradata AsterData, EMC GreenPlum, HP Vertica 等等。
數據集市(費用一般)
QlikView、 Tableau 、國內永洪科技Yonghong Data Mart 等等。
前端展現
用於展現分析的前端開源工具有JasperSoft,Pentaho, Spagobi, Openi, Birt等等。
用於展現分析商用分析工具有Cognos,BO, Microsoft, Oracle,Microstrategy,QlikView、 Tableau 、國內永洪科技Yonghong Z-Suite等等。
H. 大數據常用工具有哪些
第一,Hadoop
Hadoop是用於分布式處理的大量數據軟體框架。但是Hadoop以可靠,高效和可擴展的方式進行處理。Hadoop是可靠的,因為它假定計算元素和存儲將發生故障,因此它維護工作數據的多個副本以確保可以為故障節點重新分配處理。Hadoop之所以高效是因為它可以並行工作,並通過並行處理來加快處理速度。Hadoop還具有可伸縮性,可以處理PB級的數據。此外,Hadoop依賴社區伺服器,因此其成本相對較低,任何人都可以使用它。
第二,HPCC
HPCC,高性能計算和通信(High Performance Performance and Communications,高性能計算和通信)的縮寫。1993年,美國科學,工程和技術聯邦協調委員會向國會提交了有關“重大挑戰項目:高性能計算和通信”的報告,也被稱為HPCC計劃的報告,即美國。總統的科學戰略項目。目的是通過加強研發來解決許多重要的科學技術挑戰。HPCC是一項計劃在美國實施信息高速公路。該計劃的實施將耗資數百億美元。它的主要目標是開發可擴展的計算系統和相關軟體,以支持TB級網路傳輸性能並開發數千美元。兆位網路技術擴展了研究和教育機構以及網路連接能力。
第三,暴風雨
Storm是免費的開源軟體,是一種分布式的,容錯的實時計算系統。Storm可以非常可靠地處理大量數據流,並用於處理Hadoop批處理數據。Storm非常簡單,支持多種編程語言,並且使用起來非常有趣。Storm由Twitter開源,其他知名的應用程序公司包括Groupon,淘寶,支付寶,阿里巴巴,Le Element,Admaster等。
I. 大數據處理必備的十大工具!
大數據的日益增長,給企業管理大量的數據帶來了挑戰的同時也帶來了一些機遇。下面是用於信息化管理的大數據工具列表:
1.ApacheHive
Hive是一個建立在hadoop上的開源數據倉庫基礎設施,通過Hive可以很容易的進行數據的ETL,對數據進行結構化處理,並對Hadoop上大數據文件進行查詢和處理等。Hive提供了一種簡單的類似SQL的查詢語言—HiveQL,這為熟悉SQL語言的用戶查詢數據提供了方便。
2JaspersoftBI套件
Jaspersoft包是一個通過資料庫列生成報表的開源軟體。行業領導者發現Jaspersoft軟體是一流的,許多企業已經使用它來將SQL表轉化為pdf,,這使每個人都可以在會議上對其進行審議。另外,JasperReports提供了一個連接配置單元來替代HBase。
3.1010data
1010data創立於2000年,是一個總部設在紐約的分析型雲服務,旨在為華爾街的客戶提供服務,甚至包括NYSEEuronext、 游戲 和電信的客戶。它在設計上支持可伸縮性的大規模並行處理。它也有它自己的查詢語言,支持SQL函數和廣泛的查詢類型,包括圖和時間序列分析。這個私有雲的方法減少了客戶在基礎設施管理和擴展方面的壓力。
4.Actian
Actian之前的名字叫做IngresCorp,它擁有超過一萬客戶而且正在擴增。它通過Vectorwise以及對ParAccel實現了擴展。這些發展分別導致了ActianVector和ActianMatrix的創建。它有Apache,Cloudera,Hortonworks以及其他發行版本可供選擇。
5.PentahoBusinessAnalytics
從某種意義上說,Pentaho與Jaspersoft相比起來,盡管Pentaho開始於報告生成引擎,但它目前通過簡化新來源中獲取信息的過程來支持大數據處理。Pentaho的工具可以連接到NoSQL資料庫,例如MongoDB和Cassandra。PeterWayner指出,PentahoData(一個更有趣的圖形編程界面工具)有很多內置模塊,你可以把它們拖放到一個圖片上,然後將它們連接起來。
6.KarmasphereStudioandAnalyst
KarsmasphereStudio是一組構建在Eclipse上的插件,它是一個更易於創建和運行Hadoop任務的專用IDE。在配置一個Hadoop工作時,Karmasphere工具將引導您完成每個步驟並顯示部分結果。當出現所有數據處於同一個Hadoop集群的情況時,KarmaspehereAnalyst旨在簡化篩選的過程,。
7.Cloudera
Cloudera正在努力為開源Hadoop,提供支持,同時將數據處理框架延伸到一個全面的「企業數據中心」范疇,這個數據中心可以作為首選目標和管理企業所有數據的中心點。Hadoop可以作為目標數據倉庫,高效的數據平台,或現有數據倉庫的ETL來源。企業規模可以用作集成Hadoop與傳統數據倉庫的基礎。Cloudera致力於成為數據管理的「重心」。
8.
HP提供了用於載入Hadoop軟體發行版所需的參考硬體配置,因為它本身並沒有自己的Hadoop版本。計算機行業領袖將其大數據平台架構命名為HAVEn(意為Hadoop,Autonomy,Vertica,EnterpriseSecurityand「n」applications)。惠普在Vertica7版本中增加了一個「FlexZone」,允許用戶在定義資料庫方案以及相關分析、報告之前 探索 大型數據集中的數據。這個版本通過使用HCatalog作為元數據存儲,與Hadoop集成後為用戶提供了一種 探索 HDFS數據表格視圖的方法。
9.TalendOpenStudio
Talend』s工具用於協助進行數據質量、數據集成和數據管理等方面工作。Talend是一個統一的平台,它通過提供一個統一的,跨企業邊界生命周期管理的環境,使數據管理和應用更簡單便捷。這種設計可以幫助企業構建靈活、高性能的企業架構,在次架構下,集成並啟用百分之百開源服務的分布式應用程序變為可能。
10.ApacheSpark
ApacheSpark是Hadoop開源生態系統的新成員。它提供了一個比Hive更快的查詢引擎,因為它依賴於自己的數據處理框架而不是依靠Hadoop的HDFS服務。同時,它還用於事件流處理、實時查詢和機器學習等方面。