大數據的需求分析

㈠ 大數據人才需求有哪些趨勢

當前大數據領域的人才需求有三個較為明顯的趨勢，這些趨勢一定要引起從業者的重視，其一是大數據崗位的劃分逐漸行業化，更多行業領域出現了自己的大數據崗位，這些崗位不再僅僅以開發崗、演算法崗來劃分，而更趨向於全棧化，這就要求從業者的知識結構要更加全面化。

其次是大數據領域的創新會更趨向於數據價值出口的打造，這個過程會要求大數據與更多技術相結合，比如大數據與區塊鏈的結合就有很多創新點。從大的發展和創新趨勢來看，大數據未來將是互聯網(包括產業互聯網)價值的主要承載方式之一，所以互聯網的價值越大則大數據的價值就越大，基於這個創新思路，大數據技術必然要與眾多技術手段相結合。

除此之外，大數據的生產將從被動變為主動，傳統的數據採集方式將發生變化，傳統的數據採集概念會逐漸被數據生產概念所取代，而如何生產數據則是大數據從業者需要重點考慮的核心問題之一，所以掌握大數據生產技術將會有更大的發展空間。

最後，大數據不論如何發展，大數據的背後都是各種資源，隨著行業資源和社會資源紛紛向互聯網遷移，資源和數據的邊界也在逐漸模糊，資源即是數據，從這個角度來看，未來更多的行業從業者都可以看成是大數據從業者。

關於大數據人才需求有哪些趨勢，青藤小編就和您分享到這里了。如果你對大數據工程有濃厚的興趣，希望這篇文章能夠對你有所幫助。如果您還想了解更多數據分析師、大數據工程師的技巧及素材等內容，可以點擊本站的其他文章進行學習。

㈡ 從業者怎樣進行大數據可視化分析

一、需求分析
需求分析是大數據可視化項目開展的前提，要描述項目背景與目的、業務目標、業務范圍、業務需求和功能需求等內容，明確實施單位對可視化的期望和需求。包括需要分析的主題、各主題可能查看的角度、需要發泄企業各方面的規律、用戶的需求等內容。
二、建設數據倉庫/數據集市的模型
數據倉庫/數據集市的模型是在需求分析的基礎上建立起來的。數據倉庫/數據集市建模除了資料庫的ER建模和關系建模，還包括專門針對數據倉庫的維度建模技術。
三、數據抽取、清洗、轉換、載入(ETL)
數據抽取是指將數據倉庫/集市需要的數據從各個業務系統中抽離出來，因為每個業務系統的數據質量不同，所以要對每個數據源建立不同的抽取程序，每個數據抽取流程都需要使用介面將元數據傳送到清洗和轉換階段。數據清洗的目的是保證抽取的原數據的質量符合數據倉庫/集市的要求並保持數據的一致性。
四、建立可視化場景
建立可視化場景是對數據倉庫/集市中的數據進行分析處理的成果，用戶能夠藉此從多個角度查看企業/單位的運營狀況，按照不同的主題和方式探查企業/單位業務內容的核心數據，從而作出更精準的預測和判斷。

㈢ 什麼是大數據分析 需要分析哪五個基本方面

1、大數據分析是指對規模巨大的數據進行分析。

2、Analytic Visualizations（可視化分析

3、Data Mining Algorithms（數據挖掘演算法）

4、Predictive Analytic Capabilities（預測性分析能力）

5、Semantic Engines（語義引擎）

6、Data Quality and Master Data Management（數據質量和數據管理）數據質量和數據管理是一些管理方面的最佳實踐。

㈣ 如何進行大數據分析及處理

探碼科技大數據分析及處理過程

聚雲化雨的處理方式

• 聚雲：探碼科技全面覆蓋各類數據的處理應用。以數據為原料，通過網路數據採集、生產設備數據採集的方式將各種原始數據凝結成雲，為客戶打造強大的數據存儲庫；

• 化雨：利用模型演算法和人工智慧等技術對存儲的數據進行計算整合讓數據與演算法產生質變反應化雲為雨，讓真正有價值的數據流動起來；

• 開渠引流，潤物無聲：將落下「雨水」匯合成數據湖泊，對數據進行標注與處理根據行業需求開渠引流，將一條一條的數據支流匯合集成數據應用中，為行業用戶帶來價值，做到春風化雨，潤物無聲。

㈤ 工業大數據開啟新時代 七大應用分析

工業大數據開啟新時代 七大應用分析

工業大數據的典型應用包括產品創新、產品故障診斷與預測、工業生產線物聯網分析、工業企業供應鏈優化和產品精準營銷等諸多方面。本文我們講就工業大數據在製造企業的應用場景進行逐一梳理。

隨著信息化與工業化的深度融合，信息技術滲透到了工業企業產業鏈的各個環節，條形碼、二維碼、RFID、工業感測器、工業自動控制系統、工業物聯網、ERP、CAD/CAM/CAE/CAI等技術在工業企業中得到廣泛應用，尤其是互聯網、移動互聯網、物聯網等新一代信息技術在工業領域的應用，工業企業也進入了互聯網工業的新的發展階段，工業企業所擁有的數據也日益豐富。工業企業中生產線處於高速運轉，由工業設備所產生、採集和處理的數據量遠大於企業中計算機和人工產生的數據，從數據類型看也多是非結構化數據，生產線的高速運轉則對數據的實時性要求也更高。因此，工業大數據應用所面臨的問題和挑戰並不比互聯網行業的大數據應用少，某些情況下甚至更為復雜。

工業大數據應用將帶來工業企業創新和變革的新時代。通過互聯網、移動物聯網等帶來的低成本感知、高速移動連接、分布式計算和高級分析，信息技術和全球工業系統正在深入融合，給全球工業帶來深刻的變革，創新企業的研發、生產、運營、營銷和管理方式。這些創新不同行業的工業企業帶來了更快的速度、更高的效率和更高的洞察力。

1.加速產品創新

客戶與工業企業之間的交互和交易行為將產生大量數據，挖掘和分析這些客戶動態數據，能夠幫助客戶參與到產品的需求分析和產品設計等創新活動中，為產品創新作出貢獻。福特公司是這方面的表率，他們將大數據技術應用到了福特福克斯電動車的產品創新和優化中，這款車成為了一款名副其實的「大數據電動車」。第一代福特福克斯電動車在駕駛和停車時產生大量數據。在行駛中，司機持續地更新車輛的加速度、剎車、電池充電和位置信息。這對於司機很有用，但數據也傳回福特工程師那裡，以了解客戶的駕駛習慣，包括如何、何時以及何處充電。即使車輛處於靜止狀態，它也會持續將車輛胎壓和電池系統的數據傳送給最近的智能電話。

這種以客戶為中心的大數據應用場景具有多方面的好處，因為大數據實現了寶貴的新型產品創新和協作方式。司機獲得有用的最新信息，而位於底特律的工程師匯總關於駕駛行為的信息，以了解客戶，制訂產品改進計劃，並實施新產品創新。而且，電力公司和其他第三方供應商也可以分析數百萬英里的駕駛數據，以決定在何處建立新的充電站，以及如何防止脆弱的電網超負荷運轉。

2.產品故障診斷與預測

這可以被用於產品售後服務與產品改進。無所不在的感測器、互聯網技術的引入使得產品故障實時診斷變為現實，大數據應用、建模與模擬技術則使得預測動態性成為可能。在馬航MH370失聯客機搜尋過程中，波音公司獲取的發動機運轉數據對於確定飛機的失聯路徑起到了關鍵作用。我們就拿波音公司飛機系統作為案例，看看大數據應用在產品故障診斷中如何發揮作用。在波音的飛機上，發動機、燃油系統、液壓和電力系統等數以百計的變數組成了在航狀態，這些數據不到幾微秒就被測量和發送一次。以波音737為例，發動機在飛行中每30分鍾就能產生10TB數據。

這些數據不僅僅是未來某個時間點能夠分析的工程遙測數據，而且還促進了實時自適應控制、燃油使用、零件故障預測和飛行員通報，能有效實現故障診斷和預測。再看一個通用電氣（GE）的例子，位於美國亞特蘭大的GE能源監測和診斷（M&D）中心，收集全球50多個國家上千台GE燃氣輪機的數據，每天就能為客戶收集10G的數據，通過分析來自系統內的感測器振動和溫度信號的恆定大數據流，這些大數據分析將為GE公司對燃氣輪機故障診斷和預警提供支撐。風力渦輪機製造商Vestas也通過對天氣數據及期渦輪儀表數據進行交叉分析，從而對風力渦輪機布局進行改善，由此增加了風力渦輪機的電力輸出水平並延長了服務壽命。

3.工業物聯網生產線的大數據應用

現代化工業製造生產線安裝有數以千計的小型感測器，來探測溫度、壓力、熱能、振動和雜訊。因為每隔幾秒就收集一次數據，利用這些數據可以實現很多形式的分析，包括設備診斷、用電量分析、能耗分析、質量事故分析（包括違反生產規定、零部件故障）等。首先，在生產工藝改進方面，在生產過程中使用這些大數據，就能分析整個生產流程，了解每個環節是如何執行的。一旦有某個流程偏離了標准工藝，就會產生一個報警信號，能更快速地發現錯誤或者瓶頸所在，也就能更容易解決問題。利用大數據技術，還可以對工業產品的生產過程建立虛擬模型，模擬並優化生產流程，當所有流程和績效數據都能在系統中重建時，這種透明度將有助於製造商改進其生產流程。再如，在能耗分析方面，在設備生產過程中利用感測器集中監控所有的生產流程，能夠發現能耗的異常或峰值情形，由此便可在生產過程中優化能源的消耗，對所有流程進行分析將會大大降低能耗。

4.工業供應鏈的分析和優化

當前，大數據分析已經是很多電子商務企業提升供應鏈競爭力的重要手段。例如，電子商務企業京東商城，通過大數據提前分析和預測各地商品需求量，從而提高配送和倉儲的效能，保證了次日貨到的客戶體驗。RFID等產品電子標識技術、物聯網技術以及移動互聯網技術能幫助工業企業獲得完整的產品供應鏈的大數據，利用這些數據進行分析，將帶來倉儲、配送、銷售效率的大幅提升和成本的大幅下降。

以海爾公司為例，海爾公司供應鏈體系很完善，它以市場鏈為紐帶，以訂單信息流為中心，帶動物流和資金流的運動，整合全球供應鏈資源和全球用戶資源。在海爾供應鏈的各個環節，客戶數據、企業內部數據、供應商數據被匯總到供應鏈體系中，通過供應鏈上的大數據採集和分析，海爾公司能夠持續進行供應鏈改進和優化，保證了海爾對客戶的敏捷響應。美國較大的OEM供應商超過千家，為製造企業提供超過1萬種不同的產品，每家廠商都依靠市場預測和其他不同的變數，如銷售數據、市場信息、展會、新聞、競爭對手的數據，甚至天氣預報等來銷售自己的產品。

利用銷售數據、產品的感測器數據和出自供應商資料庫的數據，工業製造企業便可准確地預測全球不同區域的需求。由於可以跟蹤庫存和銷售價格，可以在價格下跌時買進，所以製造企業便可節約大量的成本。如果再利用產品中感測器所產生的數據，知道產品出了什麼故障，哪裡需要配件，他們還可以預測何處以及何時需要零件。這將會極大地減少庫存，優化供應鏈。

5.產品銷售預測與需求管理

通過大數據來分析當前需求變化和組合形式。大數據是一個很好的銷售分析工具，通過歷史數據的多維度組合，可以看出區域性需求佔比和變化、產品品類的市場受歡迎程度以及最常見的組合形式、消費者的層次等，以此來調整產品策略和鋪貨策略。在某些分析中我們可以發現，在開學季高校較多的城市對文具的需求會高很多，這樣我們可以加大對這些城市經銷商的促銷，吸引他們在開學季多訂貨，同時在開學季之前一兩個月開始產能規劃，以滿足促銷需求。對產品開發方面，通過消費人群的關注點進行產品功能、性能的調整，如幾年前大家喜歡用音樂手機，而現在大家更傾向於用手機上網、拍照分享等，手機的拍照功能提升就是一個趨勢，4G手機也占據更大的市場份額。通過大數據對一些市場細節的分析，可以找到更多的潛在銷售機會。

6.生產計劃與排程

製造業面對多品種小批量的生產模式，數據的精細化自動及時方便的採集（MES/DCS）及多變性導致數據劇烈增大，再加上十幾年的信息化的歷史數據，對於需要快速響應的APS來說，是一個巨大的挑戰。大數據可以給予我們更詳細的數據信息，發現歷史預測與實際的偏差概率，考慮產能約束、人員技能約束、物料可用約束、工裝模具約束，通過智能的優化演算法，制定預計劃排產，並監控計劃與現場實際的偏差，動態的調整計劃排產。幫我們規避「畫像」的缺陷，直接將群體特徵直接強加給個體（工作中心數據直接改變為具體一個設備、人員、模具等數據）。通過數據的關聯分析並監控它，我們就能計劃未來。雖然，大數據略有瑕疵，只要得到合理的應用，大數據會變成我們強大的武器。當年，福特問大數據的客戶需求是什麼？而回答是「一匹更快的馬」，而不是現在已經普及的汽車。所以，在大數據的世界裡，創意、直覺、冒險精神和知識野心尤為重要。

7.產品質量管理與分析

傳統的製造業正面臨著大數據的沖擊，在產品研發、工藝設計、質量管理、生產運營等各方面都迫切期待著有創新方法的誕生，來應對工業背景下的大數據挑戰。例如在半導體行業，晶元在生產過程中會經歷許多次摻雜、增層、光刻和熱處理等復雜的工藝製程，每一步都必須達到極其苛刻的物理特性要求，高度自動化的設備在加工產品的同時，也同步生成了龐大的檢測結果。這些海量數據究竟是企業的包袱，還是企業的金礦呢？如果說是後者的話，那麼又該如何快速地撥雲見日，從「金礦」中准確地發現產品良率波動的關鍵原因呢？這是一個已經困擾半導體工程師們多年的技術難題。

某半導體科技公司生產的晶圓在經過測試環節後，每天都會產生包含一百多個測試項目、長度達幾百萬行測試記錄的數據集。按照質量管理的基本要求，一個必不可少的工作就是需要針對這些技術規格要求各異的一百多個測試項目分別進行一次過程能力分析。如果按照傳統的工作模式，我們需要按部就班地分別計算一百多個過程能力指數，對各項質量特性一一考核。這里暫且不論工作量的龐大與繁瑣，哪怕有人能夠解決了計算量的問題，但也很難從這一百多個過程能力指數中看出它們之間的關聯性，更難對產品的總體質量性能有一個全面的認識與總結。然而，如果我們利用大數據質量管理分析平台，除了可以快速地得到一個長長的傳統單一指標的過程能力分析報表之外，更重要的是，還可以從同樣的大數據集中得到很多嶄新的分析結果。

以上是小編為大家分享的關於工業大數據開啟新時代 七大應用分析的相關內容，更多信息可以關注環球青藤分享更多干貨

㈥ 大數據分析系統需求

基礎的大數據分析系統建設工作，包含基礎數據平台的建設，數據的規范，數據倉庫的建立、數據質量，統一業務口徑等等。很多公司的數據無法有效利用，一來是數據散落在各個部門產品的伺服器，各個業務系統的數據沒有打通；二來是缺乏統一的數據規范，業務系統數據按照各自的口徑和理解習慣上報，沒有標准化的SDK和上報協議，難以構建高質量的數據倉庫。大數據平台架構的搭建並不是什麼高大上的技術活，整個平台價值的體現，其實需要公司各個部門的配合，是一個相互依存的關系。

㈦ 如何利用大數據進行用戶需求分析

1.可視化分析
大數據分析的使用者有大數據分析專家，同時還有普通用戶，但是他們二者對於大數據分析最基本的要求就是可視化分析，因為可視化分析能夠直觀的呈現大數據特點，同時能夠非常容易被讀者所接受，就如同看圖說話一樣簡單明了。
2. 數據挖掘演算法

大數據分析的理論核心就是數據挖掘演算法，各種數據挖掘的演算法基於不同的數據類型和格式才能更加科學的呈現出數據本身具備的特點，也正是因為這些被全世界統
計
學家所公認的各種統計方法（可以稱之為真理）才能深入數據內部，挖掘出公認的價值。另外一個方面也是因為有這些數據挖掘的演算法才能更快速的處理大數據，如
果一個演算法得花上好幾年才能得出結論，那大數據的價值也就無從說起了。
3. 預測性分析
大數據分析最終要的應用領域之一就是預測性分析，從大數據中挖掘出特點，通過科學的建立模型，之後便可以通過模型帶入新的數據，從而預測未來的數據。
4. 語義引擎
非結構化數據的多元化給數據分析帶來新的挑戰，我們需要一套工具系統的去分析，提煉數據。語義引擎需要設計到有足夠的人工智慧以足以從數據中主動地提取信息。
5.數據質量和數據管理。 大數據分析離不開數據質量和數據管理，高質量的數據和有效的數據管理，無論是在學術研究還是在商業應用領域，都能夠保證分析結果的真實和有價值。
大數據分析的基礎就是以上五個方面，當然更加深入大數據分析的話，還有很多很多更加有特點的、更加深入的、更加專業的大數據分析方法。

大數據的技術
數據採集： ETL工具負責將分布的、異構數據源中的數據如關系數據、平面數據文件等抽取到臨時中間層後進行清洗、轉換、集成，最後載入到數據倉庫或數據集市中，成為聯機分析處理、數據挖掘的基礎。
數據存取： 關系資料庫、NOSQL、SQL等。
基礎架構： 雲存儲、分布式文件存儲等。
數
據處理： 自然語言處理(NLP，Natural Language
Processing)是研究人與計算機交互的語言問題的一門學科。處理自然語言的關鍵是要讓計算機地理解地自然語言，所以自然語言處理又叫做自然語言理
解也稱為計算語言學。一方面它是語言信息處理的一個分支，另一方面它是人工智慧的核心課題之一。
統計分析：
假設檢驗、顯著性檢驗、差異分析、相關分析、T檢驗、 方差分析 、
卡方分析、偏相關分析、距離分析、回歸分析、簡單回歸分析、多元回歸分析、逐步回歸、回歸預測與殘差分析、嶺回歸、logistic回歸分析、曲線估計、
因子分析、聚類分析、主成分分析、因子分析、快速聚類法與聚類法、判別分析、對應分析、多元對應分析（最優尺度分析）、bootstrap技術等等。
數
據挖掘： 分類
（Classification）、估計（Estimation）、預測（Prediction）、相關性分組或關聯規則（Affinity
grouping or association rules）、聚類（Clustering）、描述和可視化、Description and
Visualization）、復雜數據類型挖掘(Text, Web ,圖形圖像，視頻，音頻等)
模型預測 ：預測模型、機器學習、建模模擬。
結果呈現： 雲計算、標簽雲、關系圖等。

大數據的處理
1. 大數據處理之一：採集
大
數據的採集是指利用多個資料庫來接收發自客戶端（Web、App或者感測器形式等）的
數據，並且用戶可以通過這些資料庫來進行簡單的查詢和處理工作。比如，電商會使用傳統的關系型資料庫MySQL和Oracle等來存儲每一筆事務數據，除
此之外，Redis和MongoDB這樣的NoSQL資料庫也常用於數據的採集。
在大數據的採集過程中，其主要特點和挑戰是並發數高，因為同時
有可能會有成千上萬的用戶
來進行訪問和操作，比如火車票售票網站和淘寶，它們並發的訪問量在峰值時達到上百萬，所以需要在採集端部署大量資料庫才能支撐。並且如何在這些資料庫之間
進行負載均衡和分片的確是需要深入的思考和設計。
2. 大數據處理之二：導入/預處理
雖然採集端本身會有很多資料庫，但是如果要對這些
海量數據進行有效的分析，還是應該將這
些來自前端的數據導入到一個集中的大型分布式資料庫，或者分布式存儲集群，並且可以在導入基礎上做一些簡單的清洗和預處理工作。也有一些用戶會在導入時使
用來自Twitter的Storm來對數據進行流式計算，來滿足部分業務的實時計算需求。
導入與預處理過程的特點和挑戰主要是導入的數據量大，每秒鍾的導入量經常會達到百兆，甚至千兆級別。
3. 大數據處理之三：統計/分析
統
計與分析主要利用分布式資料庫，或者分布式計算集群來對存儲於其內的海量數據進行普通
的分析和分類匯總等，以滿足大多數常見的分析需求，在這方面，一些實時性需求會用到EMC的GreenPlum、Oracle的Exadata，以及基於
MySQL的列式存儲Infobright等，而一些批處理，或者基於半結構化數據的需求可以使用Hadoop。
統計與分析這部分的主要特點和挑戰是分析涉及的數據量大，其對系統資源，特別是I/O會有極大的佔用。
4. 大數據處理之四：挖掘
與
前面統計和分析過程不同的是，數據挖掘一般沒有什麼預先設定好的主題，主要是在現有數
據上面進行基於各種演算法的計算，從而起到預測（Predict）的效果，從而實現一些高級別數據分析的需求。比較典型演算法有用於聚類的Kmeans、用於

統計學習的SVM和用於分類的NaiveBayes，主要使用的工具有Hadoop的Mahout等。該過程的特點和挑戰主要是用於挖掘的演算法很復雜，並
且計算涉及的數據量和計算量都很大，常用數據挖掘演算法都以單線程為主。

整個大數據處理的普遍流程至少應該滿足這四個方面的步驟，才能算得上是一個比較完整的大數據處理。

㈧ 大數據專業的就業前景分析

大數據專業的就業前景非常廣闊，因為大數據技術已經成為各個行業和領域中不可或缺的一部分。以下是大數據專業就業前景的分析：

需求量大：隨著大數據技術的發展和應用，各行各業對大數據人才的需求量越來越大，尤其是金融、電商、互聯網、物流、醫療健康、政府等領域，這些坦扮領域對大數據人才的需求量將持續增長。

㈨ 大數據行業發展現狀與未來前景分析

近年來，全球正大步邁向大數據新時代，數據的高效存儲、處理和分析等需求也越來越旺盛。在此背景下，行業大數據得以高速發展，應用於各個領域，根據IDC發布的有關數據預測，2025年市場規模將達到19508億元的高點。

全球大數據儲量呈爆發式增長

隨著信息通信技術的發展，各行各業信息系統採集、處理和積累的數據量越來越多，全球大數據儲量呈爆炸式增長。根據國際數據公司(IDC)的監測數據顯示，2013年全球大數據儲量為4.3ZB(相當於47.24億個1TB容量的移動硬碟)，2014年和2015年全球大數據儲量分別為6.6ZB和8.6ZB。近幾年全球大數據儲量的增速每年都保持在40%，2016年甚至達到了87.21%的增長率。2016年和2017年全球大數據儲量分別為16.1ZB和21.6ZB，2018年全球大數據儲量達到33.0ZB，2019年全球大數據儲量達到41ZB。

—— 以上數據及分析均來自於前瞻產業研究院《中國行業大數據市場發展前景預測與投資戰略規劃分析報告》。

㈩ 大數據分析的具體內容有哪些

隨著互聯網的不斷發展，大數據技術在各個領域都有不同程度的應用
1、採集
大數據的採集是指利用多個資料庫來接收發自客戶端(Web、App或者感測器形式等)的數據，並且用戶可以通過這些資料庫來進行簡單的查詢和處理工作。比如，電商會使用傳統的關系型資料庫MySQL和Oracle等來存儲每一筆事務數據，除此之外，Redis和MongoDB這樣的NoSQL資料庫也常用於數據的採集。
在大數據的採集過程中，其主要特點和挑戰是並發數高，因為同時有可能會有成千上萬的用戶來進行訪問和操作，比如火車票售票網站和淘寶，它們並發的訪問量在峰值時達到上百萬，所以需要在採集端部署大量資料庫才能支撐。並且如何在這些資料庫之間進行負載均衡和分片的確是需要深入的思考和設計。
2、導入/預處理
雖然採集端本身會有很多資料庫，但是如果要對這些海量數據進行有效的分析，還是應該將這些來自前端的數據導入到一個集中的大型分布式資料庫，或者分布式存儲集群，並且可以在導入基礎上做一些簡單的清洗和預處理工作。也有一些用戶會在導入時使用來自Twitter的Storm來對數據進行流式計算，來滿足部分業務的實時計算需求。
導入與預處理過程的特點和挑戰主要是導入的數據量大，每秒鍾的導入量經常會達到百兆，甚至千兆級別。
3、統計/分析
統計與分析主要利用分布式資料庫，或者分布式計算集群來對存儲於其內的海量數據進行普通的分析和分類匯總等，以滿足大多數常見的分析需求，在這方面，一些實時性需求會用到EMC的GreenPlum、Oracle的Exadata，以及基於MySQL的列式存儲Infobright等，而一些批處理，或者基於半結構化數據的需求可以使用Hadoop。
統計與分析這部分的主要特點和挑戰是分析涉及的數據量大，其對系統資源，特別是I/O會有極大的佔用。
4、挖掘
與前面統計和分析過程不同的是，數據挖掘一般沒有什麼預先設定好的主題，主要是在現有數據上面進行基於各種演算法的計算，從而起到預測(Predict)的效果，從而實現一些高級別數據分析的需求。比較典型演算法有用於聚類的Kmeans、用於統計學習的SVM和用於分類的NaiveBayes，主要使用的工具有Hadoop的Mahout等。該過程的特點和挑戰主要是用於挖掘的演算法很復雜，並且計算涉及的數據量和計算量都很大，常用數據挖掘演算法都以單線程為主。