大數據用的編程語言

⑴ 大數據用什麼語言

1、Python語言

Python往往在大數據處理框架中得到支持，但與此同時，它往往又不是“一等公民”。比如說，Spark中的新功能幾乎總是出現在Scala/java綁定的首位，可能需要用PySpark編寫面向那些更新版的幾個次要版本(對Spark Streaming/MLLib方面的開發工具而言尤為如此)。

與R相反，Python是一種傳統的面向對象語言，所以大多數開發人員用起來會相當得心應手，而初次接觸R或Scala會讓人心生畏懼。一個小問題就是你的代碼中需要留出正確的空白處。這將人員分成兩大陣營，一派覺得“這非常有助於確保可讀性”，另一派則認為，我們應該不需要就因為一行代碼有個字元不在適當的位置，就要迫使解釋器讓程序運行起來。

2、R語言

R語言有著簡單而明顯的吸引力。使用R語言，只需要短短的幾行代碼，你就可以在復雜的數據集中篩選，通過先進的建模函數處理數據，以及創建平整的圖形來代表數字。它被比喻為是Excel的一個極度活躍版本。

R語言最偉大的資本是已圍繞它開發的充滿活力的生態系統：R語言社區總是在不斷地添加新的軟體包和功能到它已經相當豐富的功能集中。據估計，超過200萬的人使用R語言，並且最近的一次投票表明，R語言是迄今為止在科學數據中最流行的語言，被61%的受訪者使用(其次是Python，39%)。

3、JAVA

Java，以及基於Java的框架，被發現儼然成為了矽谷最大的那些高科技公司的骨骼支架。 “如果你去看Twitter，LinkedIn和Facebook，那麼你會發現，Java是它們所有數據工程基礎設施的基礎語言，”Driscoll說。

⑵ 大數據學那些編程

大數據主要學習以下語言：JAVA,,PYTHON,MYSQL,JAVASCRIPT，演算法結構等另外就是各個語言的框架，提高開發速度的。下面是跟數據相關的知識。

數據的連接首先需要載入一個代碼塊。如果 chunk 是一個字元串，代碼塊指這個字元串。如果 chunk 是一個函數， load 不斷地調用它獲取代碼塊的片段。 每次對 chunk 的調用都必須返回一個字元串緊緊連接在上次調用的返回串之後。 當返回空串、nil、或是不返回值時，都表示代碼塊結束。
1.如果沒有語法錯誤， 則以函數形式返回編譯好的代碼塊；否則，返回 nil 加上錯誤消息。
如果結果函數有上值， env 被設為第一個上值。 若不提供此參數，將全局環境替代它。 所有其它上值初始化為 nil。 （當你載入主代碼塊時候，結果函數一定有且僅有一個上值 _ENV ））。 然而，如果你載入一個用函數（參見 string.mp， 結果函數可以有任意數量的上值） 創建出來的二進制代碼塊時，所有的上值都是新創建出來的。 也就是說它們不會和別的任何函數共享。
2.接下來就是根據以上信息進行下面的操作，chunkname 在錯誤消息和調試消息中，用於代碼塊的名字。 如果不提供此參數，它默認為字元串chunk 。 chunk 不是字元串時，則為 "=(load)" 。
字元串 mode 用於控制代碼塊是文本還是二進制（即預編譯代碼塊）。 它可以是字元串 "b" （只能是二進制代碼塊）， "t" （只能是文本代碼塊）， 或 "bt" （可以是二進制也可以是文本）。 默認值為 "bt"。
3.Lua 不會對二進制代碼塊做健壯性檢查。惡意構造一個二進制塊有可能把解釋器弄崩潰。
運行程序來遍歷表中的所有域。 第一個參數是要遍歷的表，第二個參數是表中的某個鍵。 next 返回該鍵的下一個鍵及其關聯的值。 如果用 nil 作為第二個參數調用 next 將返回初始鍵及其關聯值。 當以最後一個鍵去調用，或是以 nil 調用一張空表時， next 返回 nil。 如果不提供第二個參數，將認為它就是 nil。 特別指出，你可以用 next(t) 來判斷一張表是否是空的。
索引在遍歷過程中的次序無定義， 即使是數字索引也是這樣。 （如果想按數字次序遍歷表，可以使用數字形式的 for 。）
4.當在遍歷過程中你給表中並不存在的域賦值，next的行為是未定義的。然而你可以去修改那些已存在的域。 特別指出，你可以清除一些已存在的域。
如果 t 有元方法 __pairs， 以 t 為參數調用它，並返回其返回的前三個值。
否則，返回三個值：next 函數， 表 t，以及 nil。 因此以下代碼
能迭代表 t 中的所有鍵值對。
參見函數 next 中關於迭代過程中修改表的風險。
pcall (f [, arg1, ···])
5.傳入參數，以 保護模式 調用函數 f 。這意味著 f 中的任何錯誤不會拋出；取而代之的是，pcall 會將錯誤捕獲到，並返回一個狀態碼。 第一個返回值是狀態碼（一個布爾量）， 當沒有錯誤時，其為真。 此時，pcall 同樣會在狀態碼後返回所有調用的結果。 在有錯誤時，pcall 返回 false 加錯誤消息。

希望能幫到你，謝謝！

⑶ 大數據處理需要用到的九種編程語言

大數據處理需要用到的九種編程語言

隨著大數據的熱潮不斷升溫，幾乎各個領域都有洪水傾瀉般的信息涌來，面對用戶成千上萬的瀏覽記錄、記錄行為數據，如果就單純的Excel來進行數據處理是遠遠不能滿足的。但如果只用一些操作軟體來分析，而不怎麼如何用邏輯數據來分析的話，那也只是簡單的數據處理。

替代性很高的工作，而無法深入規劃策略的核心。

當然，基本功是最不可忽略的環節，想要成為數據科學家，對於這幾個程序你應該要有一定的認識：

若要列出所有程序語言，你能忘記其他的沒關系，但最不能忘的就是R。從1997年悄悄地出現，最大的優勢就是它免費，為昂貴的統計軟體像是Matlab或SAS的另一種選擇。

但是在過去幾年來，它的身價大翻轉，變成了資料科學界眼中的寶。不只是木訥的統計學家熟知它，包括WallStreet交易員、生物學家，以及矽谷開發者，他們都相當熟悉R。多元化的公司像是Google、Facebook、美國銀行以及NewYorkTimes通通都使用R，它的商業效用持續提高。

R的好處在於它簡單易上手，透過R，你可以從復雜的數據集中篩選你要的數據，從復雜的模型函數中操作數據，建立井然有序的圖表來呈現數字，這些都只需要幾行程序代碼就可以了，打個比方，它就像是好動版本的Excel。

R最棒的資產就是活躍的動態系統，R社群持續地增加新的軟體包，還有以內建豐富的功能集為特點。目前估計已有超過200萬人使用R，最近的調查顯示，R在數據科學界里，到目前為止最受歡迎的語言，佔了回復者的61%（緊追在後的是39%的Python）。

它也吸引了WallStreet的注目。傳統而言，證券分析師在Excel檔從白天看到晚上，但現在R在財務建模的使用率逐漸增加，特別是可視化工具，美國銀行的副總裁NiallO』Conno說，「R讓我們俗氣的表格變得突出」。

在數據建模上，它正在往逐漸成熟的專業語言邁進，雖然R仍受限於當公司需要製造大規模的產品時，而有的人說他被其他語言篡奪地位了。

「R更有用的是在畫圖，而不是建模。」頂尖數據分析公司Metamarkets的CEO，MichaelDriscoll表示，

「你不會在Google的網頁排名核心或是Facebook的朋友們推薦演算法時看到R的蹤影，工程師會在R里建立一個原型，然後再到Java或Python里寫模型語法」。

舉一個使用R很有名的例子，在2010年時，PaulButler用R來建立Facebook的世界地圖，證明了這個語言有多豐富多強大的可視化數據能力，雖然他現在比以前更少使用R了。

「R已經逐漸過時了，在龐大的數據集底下它跑的慢又笨重」Butler說。

所以接下來他用什麼呢?

如果說R是神經質又令人喜愛的Geek，那Python就是隨和又好相處的女生。

Python結合了R的快速、處理復雜數據采礦的能力以及更務實的語言等各個特質，迅速地成為主流，Python比起R，學起來更加簡單也更直觀，而且它的生態系統近幾年來不可思議地快速成長，在統計分析上比起R功能更強。

Butler說，「過去兩年間，從R到Python地顯著改變，就像是一個巨人不斷地推動向前進」。

在數據處理范疇內，通常在規模與復雜之間要有個取捨，而Python以折衷的姿態出現。IPythonNotebook（記事本軟體）和NumPy被用來暫時存取較低負擔的工作量，然而Python對於中等規模的數據處理是相當好的工具；Python擁有豐富的資料族，提供大量的工具包和統計特徵。

美國銀行用Python來建立新產品和在銀行的基礎建設介面，同時也處理財務數據，「Python是更廣泛又相當有彈性，所以大家會對它趨之若鶩。」O』Donnell如是說。

然而，雖然它的優點能夠彌補R的缺點，它仍然不是最高效能的語言，偶爾才能處理龐大規模、核心的基礎建設。Driscoll是這么認為的。

今日大多數的數據科學都是透過R、Python、Java、Matlab及SAS為主，但仍然存在著鴻溝要去彌補，而這個時候，新進者Julia看到了這個痛點。

Julia仍太過於神秘而尚未被業界廣泛的採用，但是當談到它的潛力足以搶奪R和Python的寶座時，數據黑客也難以解釋。原因在於Julia是個高階、不可思議的快速和善於表達的語言，比起R要快的許多，比起Python又有潛力處理更具規模的數據，也很容易上手。

「Julia會變的日漸重要，最終，在R和Python可以做的事情在Julia也可以」。Butler是這么認為的。

就現在而言，若要說Julia發展會倒退的原因，大概就是它太年輕了。Julia的數據小區還在初始階段，在它要能夠和R或Python競爭前，它還需要更多的工具包和軟體包。

Driscoll說，它就是因為它年輕，才會有可能變成主流又有前景。

Driscoll說，Java和以Java為基礎的架構，是由矽谷里最大的幾家科技公司的核心所建立的，如果你從Twitter、Linkedin或是Facebook里觀察，你會發現Java對於所有數據工程基礎架構而言，是非常基礎的語言。

Java沒有和R和Python一樣好的可視化功能，它也不是統計建模的最佳工具，但是如果你需要建立一個龐大的系統、使用過去的原型，那Java通常會是你最基的選擇。

Hadoop and Hive

為了迎合大量數據處理的需求，以Java為基礎的工具群興起。Hadoop為處理一批批數據處理，發展以Java為基礎的架構關鍵；相較於其他處理工具，Hadoop慢許多，但是無比的准確和可被後端資料庫分析廣泛使用。和Hive搭配的很好，Hive是基於查詢的架構下，運作的相當好。

又是另一個以Java為基礎的語言，和Java很像，對任何想要進行大規模的機械學習或是建立高階的演算法，Scala會是逐漸興起的工具。它是善於呈現且擁有建立可靠系統的能力。

「Java像是用鋼鐵建造的；Scala則是讓你能夠把它拿進窯烤然後變成鋼的黏土」Driscoll說。

說到當你需要快速的、實時的分析時，你會想到什麼?Kafka將會是你的最佳夥伴。其實它已經出現五年有了，只是因為最近串流處理興起才變的越來越流行。

Kafka是從Linkedin內誕生的，是一個特別快速的查詢訊息系統。Kafka的缺點呢?就是它太快了，因此在實時操作時它會犯錯，有時候會漏掉東西。

魚與熊掌不可兼得，「必須要在准確度跟速度之間做一個選擇」，Driscoll說。所以全部在矽谷的科技大公司都利用兩個管道：用Kafka或Storm處理實時數據，接下來打開Hadoop處理一批批處理數據系統，這樣聽起來有點麻煩又會有些慢，但好處是，它非常非常精準。

Storm是另一個從Scala寫出來的架構，在矽谷逐漸大幅增加它在串流處理的受歡迎程度，被Twitter並購，這並不意外，因為Twitter對快速事件處理有極大的興趣。

Matlab可以說是歷久不衰，即使它標價很高；在非常特定的利基市場它使用的相當廣泛，包括密集的研究機器學習、信號處理、圖像辨識等等。

Octave和Matlab很像，除了它是免費的之外。然而，在學術信號處理的圈子，幾乎都會提到它。

GO是另一個逐漸興起的新進者，從Google開發出來的，放寬點說，它是從C語言來的，並且在建立強大的基礎架構上，漸漸地成為Java和Python的競爭者。

這么多的軟體可以使用，但我認為不見得每個都一定要會才行，知道你的目標和方向是什麼，就選定一個最適合的工具使用吧!可以幫助你提升效率又達到精準的結果。

以上是小編為大家分享的關於大數據處理需要用到的九種編程語言的相關內容，更多信息可以關注環球青藤分享更多干貨

⑷ 大數據學習需要什麼語言

1，大數據需要的語言Java

java可以說是大數據最基礎的編程語言，據我這些年的經驗，我接觸的很大一部分的大數據開發都是從Jave Web開發轉崗過來的（當然也不是絕對我甚至見過產品轉崗大數據開發的，逆了個天）。

一是因為大數據的本質無非就是海量數據的計算，查詢與存儲，後台開發很容易接觸到大數據量存取的應用場景

二就是java語言本事了，天然的優勢，因為大數據的組件很多都是用java開發的像HDFS,Yarn,Hbase,MR,Zookeeper等等，想要深入學習，填上生產環境中踩到的各種坑，必須得先學會java然後去啃源碼。
說到啃源碼順便說一句，開始的時候肯定是會很難，需要對組件本身和開發語言都有比較深入的理解，熟能生巧慢慢來，等你過了這個階段，習慣了看源碼解決問題的時候你會發現源碼真香。

scala和java很相似都是在jvm運行的語言，在開發過程中是可以無縫互相調用的。Scala在大數據領域的影響力大部分都是來自社區中的明星Spark和kafka,這兩個東西大家應該都知道（後面我會有文章多維度介紹它們），它們的強勢發展直接帶動了Scala在這個領域的流行。

Python和Shell

shell應該不用過多的介紹非常的常用，屬於程序猿必備的通用技能。python更多的是用在數據挖掘領域以及寫一些復雜的且shell難以實現的日常腳本。

2，分布式計算，
什麼是分布式計算？分布式計算研究的是如何把一個需要非常巨大的計算能力才能解決的問題分成許多小的部分，然後把這些部分分配給許多伺服器進行處理，最後把這些計算結果綜合起來得到最終的結果。

舉個栗子，就像是組長把一個大項目拆分，讓組員每個人開發一部分，最後將所有人代碼merge，大項目完成。聽起來好像很簡單，但是真正參與過大項目開發的人一定知道中間涉及的內容可不少。

分布式計算目前流行的工具有：

離線工具Spark，MapRece等
實時工具Spark Streaming，Storm，Flink等
這幾個東西的區別和各自的應用場景我們之後再聊。

3，分布式存儲
傳統的網路存儲系統採用的是集中的存儲伺服器存放所有數據，單台存儲伺服器的io能力是有限的，這成為了系統性能的瓶頸，同時伺服器的可靠性和安全性也不能滿足需求，尤其是大規模的存儲應用。

分布式存儲系統，是將數據分散存儲在多台獨立的設備上。採用的是可擴展的系統結構，利用多台存儲伺服器分擔存儲負荷，利用位置伺服器定位存儲信息，它不但提高了系統的可靠性、可用性和存取效率，還易於擴展。

⑸ 大數據開發常用的編程語言有哪些

1、Python語言
如果你的數據科學家不使用R，他們可能就會徹底了解Python。十多年來，在學術界當中一直很流行，尤其是在自然語言處理（NLP）等領域。因而，如果你有一個需要NLP處理的項目，就會面臨數量多得讓人眼花繚亂的選擇，包括經典的NTLK、使用GenSim的主題建模，或者超快、准確的spaCy。同樣，說到神經網路，Python同樣游刃有餘，有Theano和Tensorflow；隨後還有面向機器學習的scikit-learn，以及面向數據分析的NumPy和Pandas。
還有Juypter/iPython――這種基於Web的筆記本伺服器框架讓你可以使用一種可共享的日誌格式，將代碼、圖形以及幾乎任何對象混合起來。這一直是Python的殺手級功能之一，不過這年頭，這個概念證明大有用途，以至於出現在了奉行讀取－讀取－輸出－循環（REPL）概念的幾乎所有語言上，包括Scala和R。
Python往往在大數據處理框架中得到支持，但與此同時，它往往又不是「一等公民」。比如說，Spark中的新功能幾乎總是出現在Scala/Java綁定的首位，可能需要用PySpark編寫面向那些更新版的幾個次要版本（對Spark Streaming/MLLib方面的開發工具而言尤為如此）。
與R相反，Python是一種傳統的面向對象語言，所以大多數開發人員用起來會相當得心應手，而初次接觸R或Scala會讓人心生畏懼。一個小問題就是你的代碼中需要留出正確的空白處。這將人員分成兩大陣營，一派覺得「這非常有助於確保可讀性」，另一派則認為，我們應該不需要就因為一行代碼有個字元不在適當的位置，就要迫使解釋器讓程序運行起來。
2、R語言
在過去的幾年時間中，R語言已經成為了數據科學的寵兒——數據科學現在不僅僅在書獃子一樣的統計學家中人盡皆知，而且也為華爾街交易員，生物學家，和矽谷開發者所家喻戶曉。各種行業的公司，例如Google，Facebook，美國銀行，以及紐約時報都使用R語言，R語言正在商業用途上持續蔓延和擴散。
R語言有著簡單而明顯的吸引力。使用R語言，只需要短短的幾行代碼，你就可以在復雜的數據集中篩選，通過先進的建模函數處理數據，以及創建平整的圖形來代表數字。它被比喻為是Excel的一個極度活躍版本。
R語言最偉大的資本是已圍繞它開發的充滿活力的生態系統：R語言社區總是在不斷地添加新的軟體包和功能到它已經相當豐富的功能集中。據估計，超過200萬的人使用R語言，並且最近的一次投票表明，R語言是迄今為止在科學數據中最流行的語言，被61%的受訪者使用(其次是Python，39%)。
3、JAVA
Java，以及基於Java的框架，被發現儼然成為了矽谷最大的那些高科技公司的骨骼支架。 「如果你去看Twitter，LinkedIn和Facebook，那麼你會發現，Java是它們所有數據工程基礎設施的基礎語言，」Driscoll說。
Java不能提供R和Python同樣質量的可視化，並且它並非統計建模的最佳選擇。但是，如果你移動到過去的原型製作並需要建立大型系統，那麼Java往往是你的最佳選擇。
4、Hadoop和Hive
一群基於Java的工具被開發出來以滿足數據處理的巨大需求。Hadoop作為首選的基於Java的框架用於批處理數據已經點燃了大家的熱情。Hadoop比其他一些處理工具慢，但它出奇的准確，因此被廣泛用於後端分析。它和Hive——一個基於查詢並且運行在頂部的框架可以很好地結對工作。

⑹ 大數據專業學的什麼語言

1. Java編程技術. Java編程技術是大數據學習的基礎，Java是一種強類型語言，擁有極高的跨平台能力，可以編寫桌面應用程序、Web應用程序、分布式系統和嵌入式系統應用程序等，是大數據工程師最喜歡的編程工具，因此，想學好大數據，掌握Java基礎是必不可少的! 2.Linux命令. 對於大數據開發通常是在Linux環境下進行的，相比Linux操作系統，Windows操作系統是封閉的操作系統，開源的大數據軟體很受限制，因此，想從事大數據開發相關工作，還需掌握Linux基礎操作命令。