大數據專業編程有哪些

A. 大數據學哪些編程

大數據需要的語言

java

java可以說是大數據最基礎的編程語言，據我這些年的經驗，我接觸的很大一部分的大數據開發都是從Jave Web開發轉崗過來的（當然也不是絕對我甚至見過產品轉崗大數據開發的，逆了個天）。

• 一是因為大數據的本質無非就是海量數據的計算，查詢與存儲，後台開發很容易接觸到大數據量存取的應用場景

• 二就是java語言本事了，天然的優勢，因為大數據的組件很多都是用java開發的像HDFS,Yarn,Hbase,MR,Zookeeper等等，想要深入學習，填上生產環境中踩到的各種坑，必須得先學會java然後去啃源碼。

說到啃源碼順便說一句，開始的時候肯定是會很難，需要對組件本身和開發語言都有比較深入的理解，熟能生巧慢慢來，等你過了這個階段，習慣了看源碼解決問題的時候你會發現源碼真香。

Scala

scala和java很相似都是在jvm運行的語言，在開發過程中是可以無縫互相調用的。Scala在大數據領域的影響力大部分都是來自社區中的明星Spark和kafka,這兩個東西大家應該都知道（後面我會有文章多維度介紹它們），它們的強勢發展直接帶動了Scala在這個領域的流行。

Python和Shell

shell應該不用過多的介紹非常的常用，屬於程序猿必備的通用技能。python更多的是用在數據挖掘領域以及寫一些復雜的且shell難以實現的日常腳本。

B. 大數據開發常用的編程語言有哪些

R語言：它的有點在於簡單易上手，通過R語言，你可以從復雜的數據集中篩選你想要的數據，從負責的模型函數中操作數據，建立有序的圖表呈現數字，只需要幾行代碼就可以了，比如說，像是好動版本的Excel表格。
Pythom語言：Python結合了R語言的快速，處理復雜數據的能力以及更務實的語言特質，迅速地成為主流，也更簡單和直觀了，尤其是近幾年的成長很快。在數據處理范疇內，通常在規模與復雜之間要有個取捨，Python以折中的姿態出現，是相當好的數據處理工具。
java語言：java沒有和Python和R語言一樣好的可視化功能，也不是統計建模的最佳工具，但是如果你需要建立一個龐大的系統，使用過去的原型，java是最基本的選擇了。
Hadoop pand
Hive：為了迎合大量數據處理的需求，以java為基礎的大數據開始了。Hadoop為一批數據處理，發展以java為基礎的架構關鍵，相對於其他處理工具，Hadoop慢許多，但是無比的准確可被後端資料庫分析廣泛使用，和Hive搭配的很好。
Scala：另一個以java為基礎的語言，和java很像，對任何想要進行大規模的機械學習或是建立高階的演算法，Scala是逐漸興起的工具，善於呈現且擁有建立可靠系統的能力。
Kafkaand Storm：是一個特別快速的查詢信息系統，缺點是太快了，因此在實施操作時會犯錯，有時候會漏掉東西。使用Scala寫出來的架構，大幅增加他在串流處理的受歡迎程度。
www.okeycar.com

C. 大數據技術與應用專業學什麼的 有哪些課程

大數據技術與應用作為高校計算機類專業，學習的課程包括面向對象程序設計、Hadoop實用技術、數據挖掘、機器學習、數據統計分析等。

大數據技術與應用專業課程

面向對象程序設計、Hadoop實用技術、數據挖掘、機器學習、數據統計分析、高等數學、Python編程、JAVA編程、資料庫技術、Web開發、Linux操作系統、大數據平台搭建及運維、大數據應用開發、可視化設計與開發等。

大數據技術與應用專業

大數據技術被滲透到社會的方方面面，醫療衛生、商業分析、國家安全、食品安全、金融安全等方面。2014年，從大數據作為國家重要的戰略資源和加快實現創新發展的高度，在全社會形成「用數據來說話、用數據來管理、用數據來決策、用數據來創新」的文化氛圍與時代特徵。大數據科學將成為計算機科學、人工智慧技術（虛擬現實、商業機器人、自動駕駛、全能的自然語言處理）、數字經濟及商業、物聯網應用、還有各個人文社科領域發展的核心。

大數據技術與應用的前景和方向：

1、大數據系統研發工程師

該專業人才負責大數據系統研發，包括大規模非結構化數據業務模型構建、大數據存儲、資料庫構設、優化資料庫構架、解決資料庫中心設計等。

2、大數據應用開發工程師

此類人才負責搭建大數據應用平台以及開發分析應用程序，他們必須熟悉工具或演算法、編程、優化以及部署不同的MapRece，他們研發各種基於大數據技術的應用程序及行業解決方案。其中，ETL開發者是很搶手的人才。

3、大數據分析師

此類人才主要從事數據挖掘工作，運用演算法來解決和分析問題，讓數據顯露出真相，同時，他們還推動數據解決方案的不斷更新。

D. 大數據專業主要學習什麼語言

目前在大數據領域比較常見的編程語言包括Java、Python、Scala、R、Go等語言，具體選擇哪種編程語言與所處崗位和技術團隊的技術選型有比較直接的關系，比如目前在Hadoop系列平台下，Java語言用的要稍微多一些，而且由於Java語言的技術生態體系比較健全，很多開發團隊也比較願意採用Java語言。

E. 大數據專業是學什麼

(5)大數據專業編程有哪些擴展閱讀

其次大數據專業還需要學習布式存儲技術原理與應用、分布式計算技術、集群搭建、運維以及HDFS高可靠、源碼分析、項目實戰等。

最後大數據專業還需要學習PYTHON語言、機器學習演算法、FLUME+KAFKA、機器學習演算法庫應用、實時分析計算框架、SPARK技術、PYTHON高級語言應用、分布式爬蟲與反爬蟲技術等。

就業前景

近幾年來，互聯網行業發展風起雲涌，而移動互聯網、電子商務、物聯網以及社交媒體的快速發展更促使我們快速進入了大數據時代，因此大數據專業的就業前景非常樂觀，在「大數據」背景之下，精通「大數據」的專業人才將成為企業最重要的業務角色，「大數據」從業人員薪酬持續增長，人才缺口巨大。

大數據專業都採用的校企合作專業共建的.形式辦學，並且由於是新興前沿專業，更加註重對技能的要求和掌握，所以大家在選擇就讀學校的時候不僅要注意學校的層次和水平，也要注意企業的資質和經驗等。

F. 大數據開發常用的編程語言有哪些

1、Python語言
如果你的數據科學家不使用R，他們可能就會徹底了解Python。十多年來，在學術界當中一直很流行，尤其是在自然語言處理（NLP）等領域。因而，如果你有一個需要NLP處理的項目，就會面臨數量多得讓人眼花繚亂的選擇，包括經典的NTLK、使用GenSim的主題建模，或者超快、准確的spaCy。同樣，說到神經網路，Python同樣游刃有餘，有Theano和Tensorflow；隨後還有面向機器學習的scikit-learn，以及面向數據分析的NumPy和Pandas。
還有Juypter/iPython――這種基於Web的筆記本伺服器框架讓你可以使用一種可共享的日誌格式，將代碼、圖形以及幾乎任何對象混合起來。這一直是Python的殺手級功能之一，不過這年頭，這個概念證明大有用途，以至於出現在了奉行讀取－讀取－輸出－循環（REPL）概念的幾乎所有語言上，包括Scala和R。
Python往往在大數據處理框架中得到支持，但與此同時，它往往又不是「一等公民」。比如說，Spark中的新功能幾乎總是出現在Scala/Java綁定的首位，可能需要用PySpark編寫面向那些更新版的幾個次要版本（對Spark Streaming/MLLib方面的開發工具而言尤為如此）。
與R相反，Python是一種傳統的面向對象語言，所以大多數開發人員用起來會相當得心應手，而初次接觸R或Scala會讓人心生畏懼。一個小問題就是你的代碼中需要留出正確的空白處。這將人員分成兩大陣營，一派覺得「這非常有助於確保可讀性」，另一派則認為，我們應該不需要就因為一行代碼有個字元不在適當的位置，就要迫使解釋器讓程序運行起來。
2、R語言
在過去的幾年時間中，R語言已經成為了數據科學的寵兒——數據科學現在不僅僅在書獃子一樣的統計學家中人盡皆知，而且也為華爾街交易員，生物學家，和矽谷開發者所家喻戶曉。各種行業的公司，例如Google，Facebook，美國銀行，以及紐約時報都使用R語言，R語言正在商業用途上持續蔓延和擴散。
R語言有著簡單而明顯的吸引力。使用R語言，只需要短短的幾行代碼，你就可以在復雜的數據集中篩選，通過先進的建模函數處理數據，以及創建平整的圖形來代表數字。它被比喻為是Excel的一個極度活躍版本。
R語言最偉大的資本是已圍繞它開發的充滿活力的生態系統：R語言社區總是在不斷地添加新的軟體包和功能到它已經相當豐富的功能集中。據估計，超過200萬的人使用R語言，並且最近的一次投票表明，R語言是迄今為止在科學數據中最流行的語言，被61%的受訪者使用(其次是Python，39%)。
3、JAVA
Java，以及基於Java的框架，被發現儼然成為了矽谷最大的那些高科技公司的骨骼支架。 「如果你去看Twitter，LinkedIn和Facebook，那麼你會發現，Java是它們所有數據工程基礎設施的基礎語言，」Driscoll說。
Java不能提供R和Python同樣質量的可視化，並且它並非統計建模的最佳選擇。但是，如果你移動到過去的原型製作並需要建立大型系統，那麼Java往往是你的最佳選擇。
4、Hadoop和Hive
一群基於Java的工具被開發出來以滿足數據處理的巨大需求。Hadoop作為首選的基於Java的框架用於批處理數據已經點燃了大家的熱情。Hadoop比其他一些處理工具慢，但它出奇的准確，因此被廣泛用於後端分析。它和Hive——一個基於查詢並且運行在頂部的框架可以很好地結對工作。

G. 大數據開發常用的編程語言有哪些

大數據常用的編程語言是Java。Java可以用來做大數據工作，大數據開發或者應用不必要用Java。目前最火的大數據開發平台是Hadoop，而Hadoop則是採用Java語言編寫。一方面由於hadoop的歷史原因，Hadoop的項目誕生於一個Java高手；另一方面，也有Java跨平台方面的優勢；基於這兩個方面的原因，所以Hadoop採用了Java語言。

H. 大數據專業主要學習什麼語言

大數據是近五年興起的行業，發展迅速，很多技術經過這些年的迭代也變得比較成熟了，同時新的東西也不斷涌現，想要保持自己競爭力的唯一辦法就是不斷學習。但是，大數據需要學習什麼？1 思維導圖下面的是我之前整理的一張思維導圖，內容分成幾大塊，包括了分布式計算與查詢，分布式調度與管理，持久化存儲，大數據常用的編程語言等等內容，每個大類下有很多的開源工具。2大數據需要的語言Javajava可以說是大數據最基礎的編程語言，據我這些年的經驗，我接觸的很大一部分的大數據開發都是從Jave Web開發轉崗過來的（當然也不是絕對我甚至見過產品轉崗大數據開發的，逆了個天）。一是因為大數據的本質無非就是海量數據的計算，查詢與存儲，後台開發很容易接觸到大數據量存取的應用場景二就是java語言本事了，天然的優勢，因為大數據的組件很多都是用java開發的像HDFS,Yarn,Hbase,MR,Zookeeper等等，想要深入學習，填上生產環境中踩到的各種坑，必須得先學會java然後去啃源碼。說到啃源碼順便說一句，開始的時候肯定是會很難，需要對組件本身和開發語言都有比較深入的理解，熟能生巧慢慢來，等你過了這個階段，習慣了看源碼解決問題的時候你會發現源碼真香。Scalascala和java很相似都是在jvm運行的語言，在開發過程中是可以無縫互相調用的。Scala在大數據領域的影響力大部分都是來自社區中的明星Spark和kafka,這兩個東西大家應該都知道（後面我會有文章多維度介紹它們），它們的強勢發展直接帶動了Scala在這個領域的流行。Python和Shellshell應該不用過多的介紹非常的常用，屬於程序猿必備的通用技能。python更多的是用在數據挖掘領域以及寫一些復雜的且shell難以實現的日常腳本。3分布式計算什麼是分布式計算？分布式計算研究的是如何把一個需要非常巨大的計算能力才能解決的問題分成許多小的部分，然後把這些部分分配給許多伺服器進行處理，最後把這些計算結果綜合起來得到最終的結果。舉個栗子，就像是組長把一個大項目拆分，讓組員每個人開發一部分，最後將所有人代碼merge，大項目完成。聽起來好像很簡單，但是真正參與過大項目開發的人一定知道中間涉及的內容可不少。分布式計算目前流行的工具有：離線工具Spark，MapRece等實時工具Spark Streaming，Storm，Flink等這幾個東西的區別和各自的應用場景我們之後再聊。4分布式存儲傳統的網路存儲系統採用的是集中的存儲伺服器存放所有數據，單台存儲伺服器的io能力是有限的，這成為了系統性能的瓶頸，同時伺服器的可靠性和安全性也不能滿足需求，尤其是大規模的存儲應用。分布式存儲系統，是將數據分散存儲在多台獨立的設備上。採用的是可擴展的系統結構，利用多台存儲伺服器分擔存儲負荷，利用位置伺服器定位存儲信息，它不但提高了系統的可靠性、可用性和存取效率，還易於擴展。上圖是hdfs的存儲架構圖，hdfs作為分布式文件系統，兼備了可靠性和擴展性，數據存儲3份在不同機器上（兩份存在同一機架，一份存在其他機架）保證數據不丟失。由NameNode統一管理元數據，可以任意擴展集群。主流的分布式資料庫有很多hbase，mongoDB，GreenPlum，redis等等等等，沒有孰好孰壞之分，只有合不合適，每個資料庫的應用場景都不同，其實直接比較是沒有意義的，後續我也會有文章一個個講解它們的應用場景原理架構等。5分布式調度與管理現在人們好像都很熱衷於談"去中心化"，也許是區塊鏈帶起的這個潮流。但是"中心化"在大數據領域還是很重要的，至少目前來說是的。分布式的集群管理需要有個組件去分配調度資源給各個節點，這個東西叫yarn;需要有個組件來解決在分布式環境下"鎖"的問題，這個東西叫zookeeper；需要有個組件來記錄任務的依賴關系並定時調度任務，這個東西叫azkaban。當然這些「東西」並不是唯一的，其實都是有很多替代品的，本文只舉了幾個比較常用的例子。

I. 大數據處理需要用到的編程語言有哪些

R語言:為統計人員開來發的一種語言，可自以用R語言構建深奧的統計模型、數據探索以及統計分析等
Python語言：Python是數據分析利器，使用Python進行科學計算可以提高效率，Python可以替代Excel進行更高效的數據處理
java語言：Java是一門很適合大數據項目的編程語言，Hadoop、Spark、Storm、Flink、Flume、Kafka、Sqoop等大數據框架和工具都是用Java編寫的，因此，大數據會不可避免的使用到Java。
Scala語言:Scala是一門輕松的語言，在JVM上運行，成功地結合了函數範式和面向對象範式