雲研究大數據

Ⅰ 什麼是雲計算和大數據

本教程操作環境：windows7系統、Dell G3電腦。
雲計算
雲計算（Cloud Computing）是基於互聯網的相關服務的芹胡增加、使用和交互模式，通常涉及通過互聯網來提供動態易擴展且經常是虛擬化的資源。
對於到底什麼叫雲計算，有很多種說法。現階段廣為接受的是美國國家標准與技術研究院（NIST）定義：雲計算是一種按使用量付費的模式，這種模式提供可用的、便捷的、按需的網路訪問， 進入可配置的計算資源共享池（資源包括網路，伺服器，存儲，應用軟體，服務），這些資源能夠被快速提供，只需投入很少的管理工作，或與服務供應商進行很少的交互。
用通俗的話說，雲計算就是通過大量在雲端的計算資源進行計算，如：用戶通過自己的電腦發送指令給提供雲計算的服務商，通過服務商提供的大量伺服器進行「核爆炸」的計算，再將結果返回給用戶。
雲是網路、互聯網的一種比喻說法。過去在圖中往往用雲來表示電信網，後來也用來表示租首歷互聯網和底層基礎設施的抽象。因此，雲計算甚至可以讓你體驗每秒10萬億次的運算能力，擁有這么強大的計算能力可以模擬核爆炸、預測氣候變化和市場發展趨勢。用戶通過電腦、筆記本、手機等方式接入數據中心，按自己的需求進行運算。
大數據
大數據（big data），IT行業術語，是指無法在一定時間范圍內用常規軟體工具進行捕捉、管理和處理的數據集合，是需要新處理模式才能具有更強的決策力、洞察發現力和流程優化能力的海量、高弊搜增長率和多樣化的信息資產。
在維克托·邁爾-舍恩伯格及肯尼斯·庫克耶編寫的《大數據時代》 中大數據指不用隨機分析法（抽樣調查）這樣捷徑，而採用所有數據進行分析處理。大數據的5V特點（IBM提出）：Volume（大量）、Velocity（高速）、Variety（多樣）、Value（低價值密度）、Veracity（真實性）。

Ⅱ 從雲計算的角度分析企業大數據

從雲計算的角度分析企業大數據
目前，各大企業對於雲計算技術的應用都尤為關注，而基於雲的解決方案也為企業提供了巨大的價值，雲處理大數據的能力正為企業帶來更多的利益，用於供應鏈的雲解決方案中已經很好地說明了這個能力。
在這個解決方案中，數據收集和共享的方法一直是革命性的。在以前，企業要處理由數千家供應商組成的供應鏈，對通過EDI方式訪問企業ERP系統的每一個供應商進行驗證。而採用EDI方式，需要對每一個供應商與企業之間的API的匹配情況進行反復的測試，一直到實現供應商與企業之間的全部數據傳輸和安全授權。此時，供應商將被允許進入企業的ERP系統。但這個流程是費力的和重復性的，並且確實耗費IT資源。
在後來，出現了用於供應鏈的雲解決方案。這個解決方案對全球的數千個供應商和製造商接入保密的網路進行資格預審，而不像以前那樣按順序和反復地逐個審查供應商的資格，雲提供商則負責共享的數據池。這個共享的數據池不僅包括交易文件，而且還包括運輸和裝貨單據、訂單表格、產品的技術規格和圖表，對生產和運輸貨物流程以及向市場提供服務都至關重要的其它文件。最終結果是在雲中有一個包含大數據和小數據的資料庫。如果擁有正確的安全許可權，每一個允許進入這個網路的人都可以隨意訪問這些數據。
很少有企業會想到把每一個產品生產商和供應商連接到擁有一個資料庫的中心網路中去，但企業在他們的商務流程中看到了這些結果。而今，想要向雲網路中增加一個新的供應商的過程只需幾個小時便能搞定，而在以前進行EDI認證的時候，需要花費上幾個月的時間。通訊中產生的混亂情況在雲中比較少，因為每一個參與者都使用同一個雲中的資料庫。雲製造商和供應商網路還能夠讓許多不同的公司安全地交換標准和大數據。
雲採取的方法是：為大數據的每一個部分分配一個名稱，讓每一個人都可以訪問；為這個雲網路中的每一個交易夥伴提供一個商業規則。這些規則允許每一個合作夥伴把安全許可和許可權分配給與其交換信息的其它機構的個人。
雖然企業採取了有意義的步驟實施這種雲解決方案以處理其內部系統不能解決的外部商務流程問題，但企業現在還應該密切關注雲已經完成了什麼任務和把這些「吸取的教訓」應用到自己內部系統以及如何處理大數據等方面。來看看這些教訓都有哪些：
A:對數據採取更「民主的」方法不管大數據還是小數據
在雲中的中心資料庫工作的非常好，因為這個資料庫包含與特定業務功能密切相關的大數據和小數據。企業數據集市應該採取同樣的方法建造。
B:對大數據安全使用一個業務部門能控制的一種授權方法
把安全授權管理移交給最終業務部門能夠創造通訊中的靈活性。然而，為了保持企業的安全標准，應該認真考慮這個問題。在這個過程開始的時候，最好請一位外部的安全遵從法規專家提供咨詢意見。
C:追求「單一版本」
無論你在處理結構化、半結構化還是非結構化數據，你能夠把越多的信息整合到整個企業的每一個人都可以使用的一套事實、數字和圖表中，你就越有可能避免不同的系統發布的不同的數據引起的混亂。在你建立大數據的「數據集市」的時候，有一個極好的機會標准化向這些集市輸入的數據並且開始「正確地做這個事情」。

Ⅲ 大數據與雲計算應該怎麼學

大數據的基礎知識，科普類的，自己去買本書就行了，大數據時代這樣的書很專多屬介紹的大數據的。
另外大數據的技術，如數據採集，數據存取，基礎架構，數據處理，統計分析，數據挖掘，模型預測，結果呈現。
當然一些大數據的一些基礎知識，比如java和hadoop等等，這個基本得自學。大學裡面最接近這些的也就是計算機類專業。

雲計算的話，需要學習的知識應該包括但不限於：1、網路通信知識，包括互聯網基礎建設相關的所有知識；2、虛擬化知識，應該了解硬體運行原理以及虛擬化實現技術；3、資料庫技術；4、網路存儲技術；5、網路信息安全技術，最起碼得明白什麼是iso 17799；6、電子商務；7、容災及備份技術；8、JAVA編程技術；9、分布式軟體系統架構。。。

Ⅳ 大數據和雲計算有什麼關聯那個方向最有前景

大數據時代，同時也是互聯網、物聯網和雲計算的時代，可以說，大數據與這三者緊密相關。
如今大數據，雲計算已經應用到我們的生活當中，比如有人已經利用大數據抓取人的信息開發出一套系統，當輸入某個人的名字的時候，通過大數據抓取到的數據自動生成關於這個人的一首詩。
其實簡單地說，大數據用於存儲數據，分析數據，處理數據得出有價值的東西。雲計算就是利用傳統的虛擬機切分性技術，通過將海量的伺服器資源通過網路進行整合，然後調度分配給用戶，從而解決用戶因為存儲計算資源不足所帶來的問題。
具體兩者的關系：雲計算進行時是以提取大數據為前提的。隨著信息社會，數據量不斷增長，技術不斷進步，大部分經銷商都通過大數據獲取了額外利益。那麼，在海量數據的提取過程中，如果提取的有利數據成本超過了數據價值本身，這就意味著有價值相當於沒價值。那有效降低數據提取過程中的成本雲計算就成了不可或缺技術。
從技術上看，大數據與雲計算的關系就像一枚硬幣的正反面一樣密不可分。大數據必然無法用單台的計算機進行處理，必須採用分布式架構。它的特色在於對海量數據進行分布式數據挖掘。但它必須依託雲計算的分布式處理、分布式資料庫和雲存儲、虛擬化技術。
從應用角度來看，大數據是雲計算的應用案例之一，雲計算是大數據的實現工具之一。
大數據與雲計算前景：
當前整個IT行業對於大數據和雲計算人才的需求量還是比較大的，近幾年相關方向研究生的就業情況還是比較不錯的，一方面崗位級別比較高，另一方面薪資待遇也比較可觀，而且薪資待遇正呈現出逐年上升的發展趨勢。

Ⅳ 什麼是雲計算什麼是大數據二者有何聯系

雲計算的關鍵詞在於「整合」，無論你是通過現在已經很成熟的傳統的虛擬機切分型技術，還是通過google後來所使用的海量節點聚合型技術，他都是通過將海量的伺服器資源通過網路進行整合，調度分配給用戶，從而解決用戶因為存儲計算資源不足所帶來的問題。

大數據正是因為數據的爆發式增長帶來的一個新的課題內容，如何存儲如今互聯網時代所產生的海量數據，如何有效的利用分析這些數據等等。

他倆之間的關系你可以這樣來理解，雲計算技術就是一個容器，大數據正是存放在這個容器中的水，大數據是要依靠雲計算技術來進行存儲和計算的。

(5)雲研究大數據擴展閱讀：

雲計算常與網格計算、效用計算、自主計算相混淆。

網格計算：分布式計算的一種，由一群鬆散耦合的計算機組成的一個超級虛擬計算機，常用來執行一些大型任務；

效用計算：IT資源的一種打包和計費方式，比如按照計算、存儲分別計量費用，像傳統的電力等公共設施一樣；

自主計算：具有自我管理功能的計算機系統。

事實上，許多雲計算部署依賴於計算機集群（但與網格的組成、體系結構、目的、工作方式大相徑庭），也吸收了自主計算和效用計算的特點。

被普遍接受的雲計算特點如下：

(1) 超大規模

「雲」具有相當的規模，Google雲計算已經擁有100多萬台伺服器， Amazon、IBM、微軟、Yahoo等的「雲」均擁有幾十萬台伺服器。企業私有雲一般擁有數百上千台伺服器。「雲」能賦予用戶前所未有的計算能力。

(2) 虛擬化

雲計算支持用戶在任意位置、使用各種終端獲取應用服務。所請求的資源來自「雲」，而不是固定的有形的實體。應用在「雲」中某處運行，但實際上用戶無需了解、也不用擔心應用運行的具體位置。只需要一台筆記本或者一個手機，就可以通過網路服務來實現我們需要的一切，甚至包括超級計算這樣的任務。

(3) 高可靠性

「雲」使用了數據多副本容錯、計算節點同構可互換等措施來保障服務的高可靠性，使用雲計算比使用本地計算機可靠。

(4) 通用性

雲計算不針對特定的應用，在「雲」的支撐下可以構造出千變萬化的應用，同一個「雲」可以同時支撐不同的應用運行。

(5) 高可擴展性

「雲」的規模可以動態伸縮，滿足應用和用戶規模增長的需要。

(6) 按需服務

「雲」是一個龐大的資源池，你按需購買；雲可以像自來水，電，煤氣那樣計費。

大數據特徵：

1 容量（Volume）：數據的大小決定所考慮的數據的價值和潛在的信息；

2 種類（Variety）：數據類型的多樣性；

3 速度（Velocity）：指獲得數據的速度；

4 可變性（Variability）：妨礙了處理和有效地管理數據的過程。

5 真實性（Veracity）：數據的質量

6 復雜性（Complexity）：數據量巨大，來源多渠道

7 價值（value）：合理運用大數據，以低成本創造高價值

想要系統的認知大數據，必須要全面而細致的分解它，著手從三個層面來展開：

第一層面是理論，理論是認知的必經途徑，也是被廣泛認同和傳播的基線。在這里從大數據的特徵定義理解行業對大數據的整體描繪和定性；從對大數據價值的探討來深入解析大數據的珍貴所在；洞悉大數據的發展趨勢；從大數據隱私這個特別而重要的視角審視人和數據之間的長久博弈。

第二層面是技術，技術是大數據價值體現的手段和前進的基石。在這里分別從雲計算、分布式處理技術、存儲技術和感知技術的發展來說明大數據從採集、處理、存儲到形成結果的整個過程。

第三層面是實踐，實踐是大數據的最終價值體現。在這里分別從互聯網的大數據，政府的大數據，企業的大數據和個人的大數據四個方面來描繪大數據已經展現的美好景象及即將實現的藍圖。

Ⅵ 大數據和雲計算的關系

大數據與雲計算的概念

大數據

指無法在一定時間范圍內用常規軟體工具進行捕捉、管理和處理的數據集合，是需要新處理模式才能具有更強的決策力、洞察發現力和流程優化能力的海量、高增長率和多樣化的信息資產。

大數據領域的人才需求主要圍繞大數據的產業鏈展開，涉及到數據的採集、整理、存儲、安全、分析、呈現和應用，崗位多集中在大數據平台研發、大數據應用開發、大數據分析和大數據運維等幾個崗位。

大數據本身除了要有數據、採集、匯聚一定量的數據之外，更重要的是數據的處理、挖掘、分析、可視化、應用這樣一整套的過程。關於大數據的話題，基本圍繞三個問題展開：一是數據從哪裡來，二是數據如何進行分析，三是數據如何進行商品化。

雲計算

是基於互聯網的相關服務的增加、使用和交付模式，通常涉及通過互聯網來提供動態易擴展且經常是虛擬化的資源。

雲計算的應用目前正在經歷從IaaS向PaaS和SaaS發展，在用戶分布上也逐漸開始從互聯網企業向廣大傳統企業過渡，未來的市場空間還是非常大的。

大數據與雲計算的聯系

大數據與雲計算經常聯繫到一起，因為實時的大型數據集分析需要像MapRece一樣的框架來向數十數百或甚至數千的伺服器分配工作，大數據需要特殊的技術，以有效地處理大量數據。適用大數據的技術，包括大規模並行處理資料庫、數據挖掘電網、分布文件系統、分布式資料庫、計算平台、互聯網和可擴展的存儲系統，大數據指的海量的數據一般日處理PB級別以上，一般用於挖掘，分析，做一些智能性商業板塊。

從理論角度來看，二者屬於不同層次的事情，雲計算研究的是計算問題，大數據研究的是巨量數據處理問題，而巨量數據處理依然屬於計算問題的研究范圍，因此，從這個角度來看，大數據是雲計算的一個子領域。

從技術上看，大數據與雲計算的關系就像一枚硬幣的正反面一樣密不可分。大數據必然無法用單台的計算機進行處理，必須採用分布式架構。它的特色在於對海量數據進行分布式數據挖掘。但它必須依託雲計算的分布式處理、分布式資料庫和雲存儲、虛擬化技術，隨著雲時代的來臨，大數據也吸引了越來越多的關注。

從應用角度來看，大數據是雲計算的應用案例之一，雲計算是大數據的實現工具之一。綜上，大數據與雲計算既有不同又有聯系，但在現實中，由於大數據處理時為了獲得良好的效率和質量，常常採用雲計算技術，因此，大數據與雲計算便常常同時出現於人們的眼前，從而造成了人們的困惑。

大數據注重的是數據分析，雲計算是偏向計算機軟硬體架構與應用。大數據方向需要有一定的數學基礎，如果數學不是很好，這個學習起來比較吃力。雲計算需要計算機技術能力較強。兩個方向應該來說都需要良好的數學基礎和編程基礎。

大數據和雲計算各有不同的關注點，但是在技術體系結構上，都是以分布式存儲和分布式計算為基礎，所以二者之間的聯系也比較緊密。

總結，不管雲計算怎樣去變化，必然需要依託數據中心實現落地。可以說，雲計算是數據中心「葉子」，雲計算通過「光合作用」促進數據中心的發展，而數據中心得壯大又為雲計算發展提供了堅實的基礎，這二者起到相互依存，互相促進的作用。