1.Hadoop
Hadoop是一個由Apache基金會所開發的分布式體系基礎架構。用戶能夠在不了解分布式底層細節的情況下，開發分布式程序。充分利用集群的威力進行高速運算和存儲。Hadoop是一個能夠對很多數據進行分布式處理的軟體結構。Hadoop 以一種牢靠、高效、可伸縮的方式進行數據處理。
2.Apache Hive
Hive是一個建立在Hadoop上的開源數據倉庫基礎設施，經過Hive能夠很簡略的進行數據的ETL,對數據進行結構化處理,並對Hadoop上大數據文件進行查詢和處理等。 Hive供給了一種簡略的類似SQL的查詢言語—HiveQL,這為了解SQL言語的用戶查詢數據供給了便利。
3. Apache Spark
Apache Spark是Hadoop開源生態體系的新成員。它供給了一個比Hive更快的查詢引擎，由於它依賴於自己的數據處理結構而不是依靠Hadoop的HDFS服務。一起，它還用於事情流處理、實時查詢和機器學習等方面。
4. Keen IO
Keen IO是個強壯的移動應用分析東西。開發者只需要簡略到一行代碼， 就能夠跟蹤他們想要的關於他們應用的任何信息。開發者接下來只需要做一些Dashboard或者查詢的工作就能夠了。
5. Ambari
Apache Ambari是一種基於Web的東西，支撐Apache Hadoop集群的供給、管理和監控。Ambari已支撐大多數Hadoop組件，包含HDFS、MapRece、Hive、Pig、 Hbase、Zookeper、Sqoop和Hcatalog等。
6. Flume
Flume是Cloudera供給的一個高可用的，高牢靠的，分布式的海量日誌搜集、聚合和傳輸的體系，Flume支撐在日誌體系中定製各類數據發送方，用於搜集數據;一起，Flume供給對數據進行簡略處理，並寫到各種數據接受方(可定製)的才能。
7.MapRece
MapRece是一種編程模型，用於大規模數據集(大於1TB)的並行運算。概念"Map(映射)"和"Rece(歸約)"，是它們的首要思維，都是從函數式編程言語里借來的，還有從矢量編程言語里借來的特性。它極大地便利了編程人員在不會分布式並行編程的情況下，將自己的程序運行在分布式體繫上。
關於常見的大數據開發工具有哪些，青藤小編就和您分享到這里了。如果您對大數據工程有濃厚的興趣，希望這篇文章可以為您提供幫助。如果您還想了解更多關於數據分析師、大數據工程師的技巧及素材等內容，可以點擊本站的其他文章進行學習。
B. 大數據工程師需要學哪些軟體
IntelliJ IDEA 2021.3 為開發者打造最高效智能的開發工具
DataGrip 2021.2.2非常實用專業的資料庫管理編程軟體
Navicat 15 for MySQL 針對MySQL資料庫而開發的第三方mysql管理工具
Xshell 7 是一款最好用的linux遠程連接工具
Xftp7是一種靈活且輕量級的SFFT/FTP客戶端
Sublime Text 3一款跨平台代碼編輯器
DBeaver是知名的通用資料庫管理客戶端
VMware Workstation Pro是一個「虛擬 PC」軟體
Notepad++程序員必備的文本編輯器
Typora 是一款 Markdown 編輯器
EZDML是一款表結構設計器，是一個數據模型創建管理的小軟體超好用的 Kafka 客戶端管理工具
Offset Explorer超好用的 Kafka 客戶端管理工具
PrettyZoo(zookeeper管理工具)是一款支持多個zookeeper伺服器圖形化管理的工具
SmartGit 就是一款非常出色 Git，Mercurial，以及 Subversion 圖形化客戶端軟體
C. 大數據專業需要用到什麼軟體啊
1，分步閱讀
數據分析報告類：Microsoft Office軟體等，如果連excel表格基本的處理操作都不會，連PPT報告都不會做，那我只好說離數據分析的崗位還差的很遠。現在的數據呈現不再單單只是表格的形式，而是更多需要以可視化圖表去展示你的數據結果，因此數據可視化軟體就不能少，BDP個人版、ECharts等這些必備的，就看你自己怎麼選了。
2，專業數據分析軟體：Office並不是全部，要從在數據分析方面做的比較好，你必須會用（至少要了解）一些比較常用的專業數據分析軟體工具，比如SPSS、SAS、Matlab等等，這些軟體可以很好地幫助我們完成專業性的演算法或模型分析，還有高級的python、R等。
3，資料庫：hive、hadoop、impala等資料庫相關的知識可以學習；
4，輔助工具：比如思維導圖軟體（如MindManager、MindNode Pro等）也可以很好地幫助我們整理分析思路。
D. 大數據專業需要學什麼軟體
一般就是學習一些編程的程序語言和一些編程的軟體。另外，有可能會學習一些資料庫的軟體。
E. 大數據專業都需要學習哪些軟體啊
大數據需要學習的軟體有：SQL資料庫、PythonorR軟體、Excel軟體、SPSS軟體。等這樣的一些必要的軟體。
F. 大數據專業學什麼軟體
大數據需要用到的軟體有很多的，學習大數據的基礎是java和linux，主流的大數據處理平台如hadoop，爬取數據如python，ETL常用sql，等等。. 另外，面向就業的大數據學習是有一定要求的，最低大專學歷