大數據的數據運算

『壹』 大數據計算模型什麼 了解一下

1、大數據計算模型是統計數據視角的實體模型通常指的是統計分析或大數據挖掘、深度學習、人工智慧技術等種類的實體模型，這些模型是從科學研究視角去往界定的。

2、大數據計算模型的要點：降維：對大量的數據和大規模的數據進行數據挖掘時，往往會面臨「維度災害」。數據集的維度在無限地增加，但由於計算機的處理能力和速度有限，此外，數據集的多個維度之間可能存在共同的線性關系。這會立即造成學習模型的可擴展性不足，乃至許多那時候優化演算法結果會無效。因而，人們必須減少層面總數並減少層面間共線性危害。數據降維也稱為數據歸約或數據約減。它的目的就是為了減少數據計算和建模中涉及的維數。有兩種數據降維思想:一種是基於特徵選擇的降維，另一種是基於銷檔兄維度變換的降維。回歸：回歸是一種數據分析方法，它是研究變數X對因變數虧襲Y的數據分析。我們了解的最簡答的回歸模型就是一元線性回歸(只包含一個自變數和因變數，並且晾在這的關系可以用一條直線表示)。回歸分析根據自變數的數量分為單回歸模型和多元回歸模型。根據影響是否是線性的，可以分為蠢穗線性回歸和非線性回歸。聚類：我們都聽過「物以類聚，人以群分」這個詞語，這個是聚類分析的基本思想。聚類分析法是大數據挖掘和測算中的基礎每日任務，聚類分析法是將很多統計數據集中化具備「類似」特點的統計數據點區劃為一致類型，並最後轉化成好幾個類的方式。大量數據集中必須有相似的數據點。基於這一假設，可以區分數據，並且可以找到每個數據集(分類)的特徵。

『貳』 大數據是一種什麼計算

大數據（bigdata），IT行業術語，是指無法在一定時間范圍內型弊梁用常規軟體工具進行捕捉、管理和處理的數據集合，是需要新處理模式才能具有更強的決策力、洞察發現力卜猜和流程優化能力的海量、高增長率和多卜運樣化的信息資產。
雲計算（cloudcomputing）是分布式計算的一種，指的是通過網路「雲」將巨大的數據計算處理程序分解成無數個小程序，然後通過多部伺服器組成的系統進行處理和分析這些小程序得到結果並返回給用戶。

『叄』 20分鍾看懂大數據分布式計算

這是一篇科普性質的文章，希望能過用一個通俗易懂的例子給非計算機專業背景的朋友講清楚大數據分布式計算技術。大數據技術雖然包含存儲、計算和分析等一系列龐雜的技術，但分布式計算一直是其核心，想要了解大數據技術，不妨從MapRece分布式計算模型開始。該理論模型並不是什麼新理念，早在2004年就被Google發布，經過十多年的發展，儼然已經成為了當前大數據生態的基石，可謂大數據技術之道，在於MapRece。

在進入到分布式計算技術這個概念之前，我們要先回顧一下傳統計算技術，為了使計算機領域的相關概念能夠生動形象深入淺出，我們要將計算機類比為人：

下面我們要用一個簡單的案例，分析「人型計算機」是如何利用傳統計算技術解決實際問題的。在開始之前，要增加一些限定，如同正常計算機的內存是有上限的，我們的「人型計算機」也存在記憶力的上限，這里我們假設一個「人型計算機」最多可以同時在「內存」中記住4種信息，例如：蘋果、梨等四種水果的個數：

好了，背景知識已經足夠了，讓我們進入正題

首先，什麼是分布式計算？簡單點理解就是將大量的數據分割成多個小塊，由多台計算機分工計算，然後將結果匯總。這些執行分布式計算的計算機叫做集群，我們仍然延續前文中人和計算機的類比，那麼集群就是一個團隊，單兵作戰的時代已經過去，團隊合作才是王道：

為什麼需要分布式計算？因為「大數據」來了，單個計算機不夠用了，即數據量遠遠超出單個計算機的處理能力范圍：有時候是單位時間內的數據量大，比如在12306網上買票，每秒可能有數以萬計的訪問；也有可能是數據總量大，比如網路搜索引擎，要在伺服器上檢索數億的中文網頁信息。

實現分布式計算的方案有很多，在大數據技術出現之前就已經有科研人員在研究，但一直沒有被廣泛應用。直到2004年Google公布了MapRece之後才大熱了起來。大數據技術、分布式計算和MapRece的關系可以用下圖來描述，MapRece是分布式計算在大數據領域的應用：

MapRece模型是經過商業實踐的成熟的分布式計算框架，與Google的分布式文件系統GFS、分布式數據存儲系統BigTable一起，號稱Google的大數據「三寶」，為大數據技術的發展提供了堅實的理論基礎。但遺憾的是，谷歌並沒有向外界公布自己的商業產品，而真正讓大數據技術大踏步前進的是按照Google理論實現的開源免費產品Hadoop，目前已經形成了以Hadoop為核心的大數據技術生態圈。

讓我們回到數撲克牌這個例子中，大數據時代的撲克牌問題是什麼樣子的？

我個人在查閱了一些資料、進行了一些實踐以後，認為MapRece的技術可以簡單地用四字訣來總結：分、變、洗、合，分別代表「切分」、「變換」、「洗牌」、「合並」四個步驟：

下面來看如何用四字訣解決大數據撲克牌問題。

既然單個「人型計算機」無法完全處理完所有的撲克，那麼我們就把撲克牌隨機分成多份，每份撲克牌由一個「人型計算機」來處理，個數不超過單個計算機的處理上限，而且盡量讓每份的數量比較平均。

這里我們要講一下角色分工的問題，多台計算機合作，肯定要有角色分工，我們把負責數據切分的「人型計算機」可以理解為「指揮官」，「指揮官」一般只有一個（在實際中可能有多個），統籌調度之類的工作都歸他管。負責執行具體運算任務的「人型計算機」則是「計算兵」，「計算兵」按照承擔的任務不同分為「變計算兵」和「合計算兵」，前者負責第二步「變換「，後者負責最後一步「合並「。

「指揮官」在切分撲克牌之前，會先分配好「變計算兵」和「合計算兵」的數量，然後根據「變計算兵」的數量把撲克拆分成相應的份數，將每份撲克分給一個「變計算兵」，然後進入下一步。

每一個「變計算兵」都要對自己分得的每一張撲克牌按照相同的規則做變換，使得後續的步驟中可以對變換後的結果做處理。這種變換可以是加減乘除等數學運算，也可以是對輸入數據的結構的轉換。例如對於我們這個撲克牌問題來講，目的是為了計數，所以可以將撲克牌轉換為一種計算機更容易處理的數值結構：將每張撲克牌上貼一張小便簽，這條小便簽上寫明了其個數為1。

我們把這種貼了標簽的撲克牌叫做變種撲克牌。當在後續的步驟中統計牌型個數時，只需要把每個標簽上的數字加起來就可以。有的朋友肯定會好奇為什麼不讓每個「計算兵」直接統計各自的所有牌型的撲克的個數，這是因為這種「映射變換」運算的本質在於將每張撲克牌都進行同一種相同規則的變換，統計個數的工作要留在最後一步完成。嚴格的流水化操作，會讓整體的效率更高，而且變換的規則要根據具體問題來制定，更容易適配不同種類的計算。

變換的運算完成之後，每個「變計算兵」要將各自的變種撲克牌按照牌型分成多個小份，每個小份要最終被一個指定的「合計算兵」進行結果合並統計，這個過程就是「洗牌」，是「變計算兵」將變換後的撲克牌按照規則分組並分配給指定的「合計算兵」的過程。

洗牌分兩個階段，第一階段是每個「變計算兵」將變種撲克牌按照一定的規則分類，分類的規則取決於每個「合計算兵」的統計范圍，分類的個數取決於「合計算兵」的個數。如上圖所示，假設有3個「合計算兵」分別負責不同范圍的牌型的統計，那麼「變計算兵」需要根據每個「合計算兵」負責的牌型將自己的變種撲克牌分成3個小份，每份交給對應的「合計算兵」。洗牌的第二階段，「合計算兵」在指揮官的指揮下，去各個「變計算兵」的手中獲取屬於他自己的那一份變種撲克牌，從而使得牌型相同的撲克牌只會在一個「合計算兵」的手上。洗牌的意義在於使相同牌型的變種撲克牌匯聚在了一起，以便於統計。

「合計算兵」將手中的變種撲克牌按照相同的計算規則依次進行合並，計算規則也需要根據具體問題來制定，在這里是對撲克牌上標簽的數值直接累加，統計出最終的結果。

然後所有的「合計算兵」把自己的計算結果上交給「指揮官」，「指揮官」匯總後公布最終統計的結果。

ok，「分變洗合」四字訣介紹完畢，完整過程如下：

分布式處理技術在邏輯上並不復雜，但在具體的實現過程中會有很多復雜的過程，譬如「指揮官」如何協調調度所有的「運算兵」，「運算兵」之間如何通信等等，但對於使用MapRece來完成計算任務的程序員來講，這些復雜的過程是透明的，分布式計算框架會自己去處理這些問題，程序員只需要定義兩種計算規則：第二步中變換的規則和第四步中合並的規則。

正所謂大道至簡，萬變不離其宗，理解了MapRece就理解了大數據分布式處理技術，而理解大數據分布式處理技術，也就理解了大數據技術的核心。
如果你還沒有理解或者發現了文中的邏輯漏洞，歡迎留言討論。

『肆』 大數據所謂的分布式運算是指什麼

這個問題復中有兩個關制鍵詞，『大數據』和『分布式運算』，其實包含了三個問題：『什麼是大數據』，什麼是『分布式運算』，以及『什麼是大數據處理的分布式運算』。
假設你已經知道了前面的兩個問題（『什麼是大數據』，什麼是『分布式運算』）的答案的，因此只對第3個『什麼是大數據處理的分布式運算』做些回答；
大數據處理的最大特點是需要（計算）處理/參照的對象數據量的巨大。眾所周知現在的計算機結構對待需要處理/參照的數據是需要放在與承擔數據處理的CPU可直接交互（立刻調用）的存儲器中。而每個CPU可直接交互的數據量有限，對大數據的處理方式就需要用多CPU的集群（並行運算）系統來處理。這種處理可以用超級計算機系統的大數據處理，但現在更多是用網路將大量的計算機（成千上萬台）連接起來，實施分布式的集群運算來處理大數據。這里的分布，不只是CPU的分布，也是指存儲器（磁碟或內存）的分布。將待處理的大數據分布在連接在網路上的存儲器中，分布處理。現在的大數據分布式處理方式有Redis、Gemfire、SAP HANA……等等

『伍』 大數據計算體系的基本層次是什麼

大數據計算系統可以概括為三個基本層次:數據應用系統、數據處理系統和數據存儲系統。
計算的殲模整體架構。HDFS (Hadoop分布式文件系統)(1)設計思路:分而治之，將大文件以分布式的方式存儲在大量的伺服器中，以分而治之的方式方便海量數據的計算和分析。(2)首先，它是一個文件系統，用於存儲文件，並通過統咐改氏一的命名空間-目錄樹進行定位。然後，它是分布式的，很多伺服器聯合起來實現衡散它的功能。集群中的伺服器有自己的角色。有兩個部分，namenode和datanode，有點類似於索引結構，並且是備份的。例如，第二個namenode和b1出現了三次。
總之，小數據大採集是一種在二級內存中採集存儲部分數據的方式。這種數據集也有一定的特點，比如盡量不重復。

『陸』 java 大數據的運算。。。。。。。。

BigInteger BigDecimal都可以存儲大數據
為什麼我修改的答案提交不上去呢
double x=1999999999;//此時1999999999是int型的，版再大就溢出了權
double x=19999999999d;//此時19999999999是double型的，你就可以正確表示了

『柒』 大數據演算法：分類演算法

KNN演算法，即K近鄰（K Nearest Neighbour）演算法，是一種基本的分類演算法。其主要原理是：對於一個需要分類的數據，將其和一組已經分類標注好的樣本集合進行比較，得到距離最近的K個樣本，K個樣本最多歸屬的類別，就是這個需要分類數據的類別。下面我給你畫了一個KNN演算法的原理圖。

圖中，紅藍綠三種顏色的點為樣本數據，分屬三種類別 、 、 。對於待分類點 ，計算和它距離最近的5個點（即K為5），這5個點最多歸屬的類別為 （4個點歸屬 ，1個點歸屬 ），那麼 的類別被分類為 。

KNN的演算法流程也非常簡單，請看下面的流程圖。

KNN演算法是一種非常簡單實用的分類演算法，可用於各種分類的場景，比如新聞分類、商品分類等，甚至可用於簡單的文字識別。對於新聞分類，可以提前對若干新聞進行人工標注，標好新聞類別，計算好特徵向量。對於一篇未分類的新聞，計算其特徵向量後，跟所有已標注新聞進行距離計算，然後進一步利用KNN演算法進行自動分類。

讀到這你肯定會問，如何計算數據的距離呢？如何獲得新聞的特徵向量呢？

KNN演算法的關鍵是要比較需要分類的數據與樣本數據之間的距離，這在機器學習中通常的做法是：提取數據的特徵值，根據特徵值組成一個n維實數向量空間（這個空間也被稱作特徵空間），然後計算向量之間的空間距離。空間之間的距離計算方法有很多種，常用的有歐氏距離、餘弦距離等。

對於數據 和 ，若其特徵空間為n維實數向量空間 ，即 ， ，則其歐氏距離計算公式為

這個歐式距離公式其實我們在初中的時候就學過，平面幾何和立體幾何里兩個點之間的距離，也是用這個公式計算出來的，只是平面幾何（二維幾何）里的n=2，立體幾何（三維幾何）里的n=3，而機器學習需要面對的每個數據都可能有n維的維度，即每個數據有n個特徵值。但是不管特徵值n是多少，兩個數據之間的空間距離的計算公式還是這個歐氏計算公式。大多數機器學習演算法都需要計算數據之間的距離，因此掌握數據的距離計算公式是掌握機器學習演算法的基礎。

歐氏距離是最常用的數據計算公式，但是在文本數據以及用戶評價數據的機器學習中，更常用的距離計算方法是餘弦相似度。

餘弦相似度的值越接近1表示其越相似，越接近0表示其差異越大，使用餘弦相似度可以消除數據的某些冗餘信息，某些情況下更貼近數據的本質。我舉個簡單的例子，比如兩篇文章的特徵值都是：「大數據」「機器學習」和「極客時間」，A文章的特徵向量為（3, 3, 3），即這三個詞出現次數都是3；B文章的特徵向量為（6, 6, 6），即這三個詞出現次數都是6。如果光看特徵向量，這兩個向量差別很大，如果用歐氏距離計算確實也很大，但是這兩篇文章其實非常相似，只是篇幅不同而已，它們的餘弦相似度為1，表示非常相似。

餘弦相似度其實是計算向量的夾角，而歐氏距離公式是計算空間距離。餘弦相似度更關注數據的相似性，比如兩個用戶給兩件商品的打分分別是（3, 3）和（4, 4），那麼兩個用戶對兩件商品的喜好是相似的，這種情況下，餘弦相似度比歐氏距離更合理。

我們知道了機器學習的演算法需要計算距離，而計算距離需要還知道數據的特徵向量，因此提取數據的特徵向量是機器學習工程師們的重要工作，有時候甚至是最重要的工作。不同的數據以及不同的應用場景需要提取不同的特徵值，我們以比較常見的文本數據為例，看看如何提取文本特徵向量。

文本數據的特徵值就是提取文本關鍵詞，TF-IDF演算法是比較常用且直觀的一種文本關鍵詞提取演算法。這種演算法是由TF和IDF兩部分構成。

TF是詞頻（Term Frequency），表示某個單詞在文檔中出現的頻率，一個單詞在一個文檔中出現的越頻繁，TF值越高。

詞頻：

IDF是逆文檔頻率（Inverse Document Frequency），表示這個單詞在所有文檔中的稀缺程度，越少文檔出現這個詞，IDF值越高。

逆文檔頻率：

TF與IDF的乘積就是TF-IDF。

所以如果一個詞在某一個文檔中頻繁出現，但在所有文檔中卻很少出現，那麼這個詞很可能就是這個文檔的關鍵詞。比如一篇關於原子能的技術文章，「核裂變」「放射性」「半衰期」等詞彙會在這篇文檔中頻繁出現，即TF很高；但是在所有文檔中出現的頻率卻比較低，即IDF也比較高。因此這幾個詞的TF-IDF值就會很高，就可能是這篇文檔的關鍵詞。如果這是一篇關於中國原子能的文章，也許「中國」這個詞也會頻繁出現，即TF也很高，但是「中國」也在很多文檔中出現，那麼IDF就會比較低，最後「中國」這個詞的TF-IDF就很低，不會成為這個文檔的關鍵詞。

提取出關鍵詞以後，就可以利用關鍵詞的詞頻構造特徵向量，比如上面例子關於原子能的文章，「核裂變」「放射性」「半衰期」這三個詞是特徵值，分別出現次數為12、9、4。那麼這篇文章的特徵向量就是（12, 9, 4），再利用前面提到的空間距離計算公式計算與其他文檔的距離，結合KNN演算法就可以實現文檔的自動分類。

貝葉斯公式是一種基於條件概率的分類演算法，如果我們已經知道A和B的發生概率，並且知道了B發生情況下A發生的概率，可以用貝葉斯公式計算A發生的情況下B發生的概率。事實上，我們可以根據A的情況，即輸入數據，判斷B的概率，即B的可能性，進而進行分類。

舉個例子：假設一所學校里男生佔60%，女生佔40%。男生總是穿長褲，女生則一半穿長褲一半穿裙子。假設你走在校園中，迎面走來一個穿長褲的學生，你能夠推斷出這個穿長褲學生是男生的概率是多少嗎？

答案是75%，具體演算法是：

這個演算法就利用了貝葉斯公式，貝葉斯公式的寫法是：

意思是A發生的條件下B發生的概率，等於B發生的條件下A發生的概率，乘以B發生的概率，除以A發生的概率。還是上面這個例子，如果我問你迎面走來穿裙子的學生是女生的概率是多少。同樣帶入貝葉斯公式，可以計算出是女生的概率為100%。其實這個結果我們根據常識也能推斷出來，但是很多時候，常識受各種因素的干擾，會出現偏差。比如有人看到一篇博士生給初中學歷老闆打工的新聞，就感嘆讀書無用。事實上，只是少見多怪，樣本量太少而已。而大量數據的統計規律則能准確反映事物的分類概率。

貝葉斯分類的一個典型的應用場合是垃圾郵件分類，通過對樣本郵件的統計，我們知道每個詞在郵件中出現的概率 ，我們也知道正常郵件概率 和垃圾郵件的概率 ，還可以統計出垃圾郵件中各個詞的出現概率 ，那麼現在一封新郵件到來，我們就可以根據郵件中出現的詞，計算 ，即得到這些詞出現情況下，郵件為垃圾郵件的概率，進而判斷郵件是否為垃圾郵件。

現實中，貝葉斯公式等號右邊的概率，我們可以通過對大數據的統計獲得，當有新的數據到來的時候，我們就可以帶入上面的貝葉斯公式計算其概率。而如果我們設定概率超過某個值就認為其會發生，那麼我們就對這個數據進行了分類和預測，具體過程如下圖所示。

訓練樣本就是我們的原始數據，有時候原始數據並不包含我們想要計算的維度數據，比如我們想用貝葉斯公式自動分類垃圾郵件，那麼首先要對原始郵件進行標注，需要標注哪些郵件是正常郵件、哪些郵件是垃圾郵件。這一類需要對數據進行標注才能進行的機器學習訓練也叫作有監督的機器學習。

『捌』 大數據計算方式有哪些

視化分析 不管是對數據分析專家還是普通用戶,數據可視化是數據分析工具最基本的要求.可視化可以直觀的展示數據。大數據計算方式有流式計算，分布式計算，典型系統hadoop cloudra。

『玖』 大數據計算體系的基本層次是什麼

大數據計算體系可歸納三個基本層次：數據應用系統，數據處理系統，數據存襪物儲系統.

總之，小數據，大集合就是按照某種數據集中起來並存放二級存儲器中的一種方式。這告孫液種數據集合還有著一定的特點，比如盡量不出現重復的情況。

『拾』 大數據的計算模式

1，大數據（big data），指無法在一定時間范圍內用常規軟體工具進行捕捉、管理和處理的數據集合，是需要新處理模式才能具有更強的決策力、洞察發現力和流程優化能力的海量、高增長率和多樣化的信息資產

2，大數據與雲計算的關系就像一枚硬幣的正反面一樣密不可分。大數據必然無法用單台的計算機進行處理，必須採用分布式計算架構。它的特色在於對海量數據的挖掘，但它必須依託雲計算的分布式處理、分布式資料庫、雲存儲和虛擬化技術。

他倆之間的關系你可以這樣來理解，雲計算技術就是一個容器，大數據正是存放在這個容器中的水，大數據是要依靠雲計算技術來進行存儲和計算的。

(10)大數據的數據運算擴展閱讀：

大數據的4V特點：Volume（大量）、Velocity（高速）、Variety（多樣）、Value（價值）。

雲計算的關鍵詞在於「整合」，無論你是通過現在已經很成熟的傳統的虛擬機切分型技術，還是通過google後來所使用的海量節點聚合型技術，他都是通過將海量的伺服器資源通過網路進行整合，調度分配給用戶，從而解決用戶因為存儲計算資源不足所帶來的問題。

大數據正是因為數據的爆發式增長帶來的一個新的課題內容，如何存儲如今互聯網時代所產生的海量數據，如何有效的利用分析這些數據等等。

大數據的趨勢：

趨勢一：數據的資源化

何為資源化，是指大數據成為企業和社會關注的重要戰略資源，並已成為大家爭相搶奪的新焦點。因而，企業必須要提前制定大數據營銷戰略計劃，搶占市場先機。

趨勢二：與雲計算的深度結合

大數據離不開雲處理，雲處理為大數據提供了彈性可拓展的基礎設備，是產生大數據的平台之一。自2013年開始，大數據技術已開始和雲計算技術緊密結合，預計未來兩者關系將更為密切。除此之外，物聯網、移動互聯網等新興計算形態，也將一齊助力大數據革命，讓大數據營銷發揮出更大的影響力。

趨勢三：科學理論的突破

隨著大數據的快速發展，就像計算機和互聯網一樣，大數據很有可能是新一輪的技術革命。隨之興起的數據挖掘、機器學習和人工智慧等相關技術，可能會改變數據世界裡的很多演算法和基礎理論，實現科學技術上的突破。