㈠ 澶ф暟鎹鎸栨帢鏂規硶鏈夊摢浜涳紵
鏁版嵁鎸栨帢鏄鎸囦漢浠浠庝簨鍏堜笉鐭ラ亾鐨勫ぇ閲忎笉瀹屾暣銆佹潅涔便佹ā緋婂拰闅忔満鏁版嵁涓鎻愬彇娼滃湪闅愯棌鐨勬湁鐢ㄤ俊鎮鍜岀煡璇嗙殑榪囩▼銆備笅闈㈣翠笅鎴戜滑鍦ㄦ寲鎺樺ぇ鏁版嵁鐨勬椂鍊欙紝閮戒細鐢ㄥ埌鐨勫嚑縐嶆柟娉曪細
鏂規硶1.(鍙瑙嗗寲鍒嗘瀽)鏃犺烘槸鏃ュ織鏁版嵁鍒嗘瀽涓撳惰繕鏄鏅閫氱敤鎴鳳紝鏁版嵁鍙瑙嗗寲閮芥槸鏁版嵁鍒嗘瀽宸ュ叿鐨勬渶鍩烘湰瑕佹眰銆傚彲瑙嗗寲鍙浠ョ洿瑙傚湴鏄劇ず鏁版嵁錛岃╂暟鎹鑷宸辮磋瘽錛岃╁惉浼楃湅鍒扮粨鏋溿
鏂規硶2.(鏁版嵁鎸栨帢綆楁硶)濡傛灉璇村彲瑙嗗寲鐢ㄤ簬浜轟滑瑙傜湅錛岄偅涔堟暟鎹鎸栨帢灝辨槸緇欐満鍣ㄧ湅鐨勩傞泦緹ゃ佸垎鍓層佸ょ珛鐐瑰垎鏋愬拰鍏朵粬綆楁硶浣挎垜浠鑳藉熸繁鍏ユ寲鎺樻暟鎹騫舵寲鎺樹環鍊箋傝繖浜涚畻娉曚笉浠呰佸勭悊澶ч噺鏁版嵁錛岃繕蹇呴』灝介噺緙╁噺澶勭悊澶ф暟鎹鐨勯熷害銆
鏂規硶3.(棰勬祴鍒嗘瀽鑳藉姏)鏁版嵁鎸栨帢浣垮垎鏋愬笀鍙浠ユ洿濂藉湴鐞嗚В鏁版嵁錛岃岄勬祴鍒嗘瀽鍒欎嬌鍒嗘瀽甯堝彲浠ユ牴鎹鍙瑙嗗寲鍒嗘瀽鍜屾暟鎹鎸栨帢鐨勭粨鏋滃仛鍑轟竴浜涢勬祴鎬у垽鏂銆
鏂規硶4.(璇涔夊紩鎿)鐢變簬闈炵粨鏋勫寲鏁版嵁鐨勫氭牱鎬х粰鏁版嵁鍒嗘瀽甯︽潵浜嗘柊鎸戞垬錛屽洜姝ら渶瑕佷竴緋誨垪宸ュ叿鏉ヨВ鏋愶紝鎻愬彇鍜屽垎鏋愭暟鎹銆傞渶瑕佸皢璇涔夊紩鎿庤捐℃垚浠庘滄枃妗ｂ濅腑鏅鴻兘鍦版彁鍙栦俊鎮銆
鏂規硶5.(鏁版嵁璐ㄩ噺鍜屼富鏁版嵁綆＄悊)鏁版嵁璐ㄩ噺鍜屾暟鎹綆＄悊鏄涓浜涚＄悊鏂歸潰鐨勬渶浣沖疄璺點傞氳繃鏍囧噯鍖栨祦紼嬪拰宸ュ叿澶勭悊鏁版嵁鍙紜淇濊幏寰楅勫畾涔夌殑楂樿川閲忓垎鏋愮粨鏋溿
鎯寵佷簡瑙ｆ洿澶氭湁鍏沖ぇ鏁版嵁鎸栨帢鐨勪俊鎮錛屽彲浠ヤ簡瑙ｄ竴涓婥DA鏁版嵁鍒嗘瀽甯堢殑璇劇▼銆傝劇▼鍐呭瑰吋欏懼煿鍏昏В鍐蟲暟鎹鎸栨帢嫻佺▼闂棰樼殑妯鍚戣兘鍔涗互鍙婅В鍐蟲暟鎹鎸栨帢綆楁硶闂棰樼殑綰靛悜鑳藉姏銆傝佹眰瀛︾敓鍦ㄤ嬌鐢ㄧ畻娉曡В鍐沖井瑙傛牴鍥犲垎鏋愩侀勬祴鍒嗘瀽鐨勯棶棰樹笂錛屾牴鎹涓氬姟鍦烘櫙鏉ョ患鍚堝垽鏂錛屾礊瀵熸暟鎹瑙勫緥錛屼嬌鐢ㄦｇ『鐨勬暟鎹娓呮礂涓庣壒寰佸伐紼嬫柟娉曪紝緇煎悎浣跨敤緇熻″垎鏋愭柟娉曘佺粺璁℃ā鍨嬨佽繍絳瑰︺佹満鍣ㄥ︿範銆佹枃鏈鎸栨帢綆楁硶錛岃岄潪鍗曚竴鐨勬満鍣ㄥ︿範綆楁硶銆傜湡姝ｇ粰浼佷笟鎻愬嚭鍙琛屾х殑浠峰兼柟妗堝拰浠峰間笟鍔＄粨鏋溿
㈡ 大數據時代怎麼做數據挖掘
未至科技顯微鏡是一款大數據文本挖掘工具，是指從文本數據中抽取有價值的專信息和知識的計算機處理技屬術,
包括文本分類、文本聚類、信息抽取、實體識別、關鍵詞標引、摘要等。基於Hadoop
MapRece的文本挖掘軟體能夠實現海量文本的挖掘分析。CKM的一個重要應用領域為智能比對,
在專利新穎性評價、科技查新、文檔查重、版權保護、稿件溯源等領域都有著廣泛的應用。
㈢ 浠涔堟槸鏁版嵁鎸栨帢錛
鍦ㄥぇ鏁版嵁鐨勬椽嫻佷腑錛屾暟鎹鎸栨帢鐘瑰傛帰緔㈠疂鈃忥紝浠庢搗閲忎俊鎮涓鎸栨帢鍑轟環鍊箋傛繁鍏ョ悊瑙ｆ暟鎹鎸栨帢錛屼笉浠呴渶瑕佺煡閬撳畠鏄浠涔堬紝鏇撮渶鎺屾彙鍏惰繃紼嬪拰甯哥敤綆楁硶銆傝╂垜浠涓璧鋒彮寮鏁版嵁鎸栨帢鐨勭炵橀潰綰...
鏁版嵁鎸栨帢鐨勫畾涔</
鏁版嵁鎸栨帢錛屽畼鏂瑰畾涔変負浠庣悍綣佸嶆潅鐨勬搗閲忔暟鎹涓錛屾寲鎺樺嚭闅愯棌鐨勩佹湁浠峰肩殑鐭ヨ瘑鍜屼俊鎮錛岃繖涓榪囩▼灝卞儚浠庢矙瀛愰噷娣橀噾錛屽繪壘閭ｄ簺鏈緇忔彮紺虹殑瀹濊棌銆傜畝鍗曟潵璇達紝鏁版嵁鎸栨帢灝辨槸瀵規暟鎹榪涜屾繁搴﹀垎鏋愶紝浠ユ彮紺哄叾涓鈒村惈鐨勮勫緥鍜屾礊瀵熴
鎸栨帢鐩鏍囩殑鎸囧悜</
鏁版嵁鎸栨帢鐨勭洰鏍囦富瑕佸垎涓轟袱綾伙細棰勬祴浠誨姟鍜屾弿榪頒換鍔°傞勬祴浠誨姟濡傞勬祴閿鍞瓚嬪娍錛岄氳繃宸茬煡鐨勫睘鎬ф潵鎺ㄦ祴鏈鐭ョ殑緇撴灉錛岀繪暎鐨勫睘鎬ф槸鍒嗙被錛岃繛緇鐨勫睘鎬ф槸鍥炲綊銆傛弿榪頒換鍔″垯鍖呮嫭鍏寵仈瑙勫垯鍜岃仛綾誨垎鏋愶紝濡傚晢瀹墮氳繃澶ф暟鎹鍙戠幇灝垮竷鍜屽暏閰掔殑鍏寵仈錛屼紭鍖栧晢鍝佺粍鍚堬紝鎴栭氳繃鑱氱被灝嗘暟鎹鍒嗙粍錛屾彮紺烘暟鎹闂寸殑鍐呭湪鑱旂郴銆
鎸栨帢涔嬫棶鐨勬ラ</
鏁版嵁鎸栨帢涔嬫棶鍒嗕負鏁版嵁棰勫勭悊銆佹暟鎹鎸栨帢鍜屽悗澶勭悊涓変釜闃舵點傞勫勭悊鏄鍏抽敭錛屽畠紜淇濇暟鎹鐨勬磥鍑鍜屼竴鑷存э紝閬垮厤妯″瀷澶辨晥銆傛暟鎹鎸栨帢闃舵靛寘鎷鐗瑰緛鏋勯犲拰妯″瀷閫夋嫨錛岃屽悗澶勭悊鍒欐槸灝嗘寲鎺樼粨鏋滆漿鍖栦負瀹為檯搴旂敤銆
綆楁硶鐨勭拃鐠ㄦ槦杈</
鏁版嵁鎸栨帢鐨勭畻娉曠箒鏄熺拃鐠錛屽寘鎷鍒嗙被鍐崇瓥鏍慍4.5銆並鍧囧艱仛綾匯佹敮鎸佸悜閲忔満銆丄priori鍏寵仈瑙勫垯銆佹渶澶ф湡鏈涚畻娉曠瓑銆傝繖浜涚畻娉曞悇鏈夊崈縐嬶紝濡侰4.5鐨勫喅絳栨爲妯″瀷錛孠鍧囧肩殑綆鍗曡屽己澶э紝SVM鐨勭洃鐫ｅ︿範濞佸姏鏃犵┓銆
浠嶱ageRank琛￠噺緗戠珯浠峰礆紝鍒癆daBoost鎻愬崌寮卞垎綾誨櫒錛屽啀鍒発NN鐨勮繎閭葷瓥鐣ュ拰鏈寸礌璐濆彾鏂鐨勭畝鍗曢珮鏁堬紝姣忎竴縐嶇畻娉曢兘鏄鏁版嵁鎸栨帢宸ュ叿綆變腑涓嶅彲鎴栫己鐨勪竴鎶婂埄鍓戙傛渶鍚庯紝CART綆楁硶閫氳繃閫掑綊鍒掑垎鍜屽壀鏋濓紝涓哄垎綾諱笌鍥炲綊鎻愪緵浜嗗己澶х殑鏀鎸併
鏁版嵁鎸栨帢鐨勪笘鐣屽箍闃旇屾繁閭冿紝姣忎竴綺掓暟鎹閮藉彲鑳介殣鈃忕潃鏃犲敖鐨勫彲鑳姐傞氳繃鐞嗚В榪欎簺鏍稿績姒傚康鍜屽父鐢ㄧ畻娉曪紝浣犲皢鑳藉湪澶ф暟鎹鐨勬搗媧嬩腑錛屾洿綺懼噯鍦版寲鎺樺嚭閭ｄ簺闅愯棌鐨勫疂鈃忋
㈣ 「大數據時代」的數據挖掘
「大數據時代」的數據挖掘
大數據是什麼？有何神奇之處？
大數據是指一切都數據化了，我們平常上網瀏覽的數據，我們的醫療、交通、購物數據，統統都被記錄下來，這就是大數據的起源。在這個時候，我們每個人都成了一個數據產生者，數據貢獻者。大數據的神奇之處在哪裡？從某種意義上來講，你們可能只是安裝了一個游戲並允許它提取你的GPS位置，但這就把你是不是一個同性戀，是不是一個高消費者，之類的信息暴露給了研究機構。通過大數據的分析，我們甚至能夠在很大層次上精確地知道你是誰。
您之前也提到了大數據時代已經到來，所以企業、商家對數據的挖掘也在深化。那麼什麼樣程度的數據挖掘才不算是過度挖掘呢？
其實沒有什麼辦法能夠防止數據的過度挖掘。任何一個企業都需要挖掘到更多的內容。我們能做的，只是通過政府和行業的監管，使得但凡侵犯用戶隱私，並且給用戶造成惡意傷害的企業，受到很嚴重的懲罰。要求一個用戶，用自己的方法去保護自己的隱私，是不現實也是不公平的。
您現在另一個身份是百分點科技的首席科學家，那能不能談談百分點網是怎樣挖掘數據的呢？
百分點科技把用戶在電子商務網站上的瀏覽、購買、收藏數據，以及在資訊網站上的瀏覽數據聚合在一起。分析用戶自身的喜好，預測用戶的意圖，再利用這些喜好和意圖，對用戶進行更精準的資訊或者購物的推薦。
很多人現在聽到數據挖掘就覺得很害怕，怕自己的隱私會泄露出去，那麼有沒有方法可以防止自己的個人數據被人挖掘呢？
就像我們沒有辦法利用自己的能力去鑒別假食品、假商品一樣，我們不需要要求用戶去保護自己的隱私。因為這種東西實際上是無能為力的。比如說你帶著你的手機，我們通過感測器就能知道你在哪裡。你沒辦法迴避這個事實。所以，這就要回到剛才的那個回答，我們只能夠通過去懲罰那些惡意使用個人隱私數據，謀取不正當利益的公司，來迴避這個問題。
什麼樣的方式屬於惡意使用個人隱私呢？能否舉例說明？
銷售一個人的手機號碼、一個人的家庭地址，或者在網上通過一些不正當的公開數據使得一個人的隱私——比如你上了什麼網站、買了什麼東西、上了什麼交友網站、看過什麼圖片等等，被其他人得知。這些都屬於不正當的使用。
那麼是否有一些切實可行的方法可以避免自己的隱私被惡意使用呢？
表面上用戶在上網的時候不停地清除cookie，可以避免自己的隱私泄露，但實際上很多後台的軟體還是可以獲取你上網的記錄。尤其是一些防病毒的軟體，它本質上既可以在某種意義上保護你的隱私，也拿到你更全面的隱私數據。從技術層面上來講，用戶保護自己的隱私還是很困難的，並且用戶體驗很差——我們的注意力要從提高用戶水平轉移到嚴厲要求企業上面。
現在智能手機普及，很多人手機里有黑名單，可以把推銷的簡訊、電話都加進去防止騷擾，這算不算是一種隱私保護呢？
如果你覺得一個電話是惡意的，那隻能說明它的定位不太精準。我估計可能只是你（的電話）出現在某個名單中，而對方的客服挨個兒地打電話。但它的確會對你的生活產生一些干擾。我們現在沒有什麼辦法可以完全防止這些干擾，雖然也可以通過很多手段去除掉一些垃圾簡訊。
㈤ 大數據的核心 數據挖掘
大數據的核心：數據挖掘
大數據的核心：數據挖掘。從頭至尾我們都脫離不了數據挖掘。其實從大學到現在一直都接觸數據挖掘，但是我們不關心是什麼是數據挖掘，我們關心的是我們如何通過數據挖掘過程中找到我們需要的東西，而我們更關心的是這個過程是什麼？如何開始？
總結的過程也是一個學習的過程，通過有章節的整理對目前正在的學習的內容做規整。在這個過程中我們會從具體的項目實施中去談數據挖掘，中間會貫穿很多的概念，演算法，業務轉換，過程，建模等等。
我們列一下要談論的話題：
1、什麼是數據挖掘及為什麼要進行數據挖掘？
2、數據挖掘在營銷和CRM中的應用？
3、數據挖掘的過程
4、你應理解的統計學
5、數據描述與預測：剖析與預測建模
6、經典的數據挖掘技術
7、各類演算法
8、數據倉庫、OLAP、分析沙箱和數據挖掘
9、具體的案例分析
什麼是數據挖掘？
是知識發現、商業智能、預測分析還是預測建模。其實都可以歸為一類：數據挖掘是一項探測大量數據以發現有意義的模式（pattern）和規則（rule）的業務流程。
這里談到了發現模式與規則，其實就是一項業務流程，為業務服務。而我們要做就是讓業務做起來顯得更簡單，或直接幫助客戶如何提升業務。在大量的數據中找到有意義的模式和規則。在大量數據面前，數據的獲得不再是一個障礙，而是一個優勢。在現在很多的技術在大數據集上比在小數據集上的表現得更好——你可以用數據產生智慧，也可以用計算機來完成其最擅長的工作：提出問題並解決問題。模式和規則的定義：就是發現對業務有益的模式或規則。發現模式就意味著把保留活動的目標定位為最有可能流失的客戶。這就意味著優化客戶獲取資源，既考慮客戶數量上的短期效益，同時也考慮客戶價值的中期和長期收益。
而在上面的過程，最重要的一點就是：如何通過數據挖掘技術來維護與客戶之間的關系，這就是客戶關系管理，CRM。
專注於數據挖掘在營銷和客戶關系管理方面的應用——例如，為交叉銷售和向上銷售改進推薦，預測未來的用戶級別，建模客戶生存價值，根據用戶行為對客戶進行劃分，為訪問網站的客戶選擇最佳登錄頁面，確定適合列入營銷活動的候選者，以及預測哪些客戶處於停止使用軟體包、服務或葯物治療的風險中。
兩種關鍵技術：生存分析、統計演算法。在加上文本挖掘和主成分分析。
經營有方的小店自然地形成與客戶之間的學習關系。隨著時間的推移，他們對客戶的了解也會越來越多，從而可以利用這些知識為他們提供更好的服務。結果是：忠實的顧客和盈利的商店。
但是擁有數十萬或數百萬客戶的大公司，則不能奢望與每個客戶形成密切的私人關系。面臨這樣困境，他們必須要面對的是，學會充分利用所擁有的大量信息——幾乎是每次與客戶交互產生的數據。這就是如何將客戶數據轉換成客戶知識的分析技術。
數據挖掘是一項與業務流程交互的業務流程。數據挖掘以數據作為開始，通過分析來啟動或激勵行為，這些行為反過來又將創建更多需要數據挖掘的數據。
因此，對於那些充分利用數據來改善業務的公司來說，不應僅僅把數據挖掘看作是細枝末節。
相反，在業務策略上必須包含：1、數據收集。2、為長期利益分析數據。3、針對分析結果做出分析。
CRM（客戶關系管理系統）。在各行各業中，高瞻遠矚的公司的目標都是理解每個客戶，並通過利用這種理解，使得客戶與他們做生意更加容易。同樣要學習分析每個客戶的價值，清楚哪些客戶值得投資和努力來保留，哪些准許流失。把一個產品為中心的企業轉變成以客戶為中心的企業的代價超過了數據挖掘。假設數據挖掘的結果是像一個用戶推薦一個小首飾而不是一個小發明，但是如果經理的獎金取決於小發明的季度銷售量而不是小首飾的銷售量（即便後者更為有利可圖或者收獲長期盈利更多的客戶），那麼數據挖掘的結果就會被忽視，這就導致挖掘結果不能產生決策。
㈥ 大數據時代的數據怎麼挖掘
3月13日下午，南京郵電大學計算機學院、軟體學院院長、教授李濤在CIO時代微講座欄目作了題為《大數據時代的數據挖掘》的主題分享，深度詮釋了大數據及大數據時代下的數據挖掘。
眾所周知，大數據時代的大數據挖掘已成為各行各業的一大熱點。
一、數據挖掘
在大數據時代，數據的產生和收集是基礎，數據挖掘是關鍵，數據挖掘可以說是大數據最關鍵也是最基本的工作。通常而言，數據挖掘也稱為DataMining，或知識發現Knowledge Discovery from Data，泛指從大量數據中挖掘出隱含的、先前未知但潛在的有用信息和模式的一個工程化和系統化的過程。
不同的學者對數據挖掘有著不同的理解，但個人認為，數據挖掘的特性主要有以下四個方面：
1.應用性（A Combination of Theory and Application）：數據挖掘是理論演算法和應用實踐的完美結合。數據挖掘源於實際生產生活中應用的需求，挖掘的數據來自於具體應用，同時通過數據挖掘發現的知識又要運用到實踐中去，輔助實際決策。所以，數據挖掘來自於應用實踐，同時也服務於應用實踐，數據是根本，數據挖掘應以數據為導向，其中涉及到演算法的設計與開發都需考慮到實際應用的需求，對問題進行抽象和泛化，將好的演算法應用於實際中，並在實際中得到檢驗。
2.工程性（An Engineering Process）：數據挖掘是一個由多個步驟組成的工程化過程。數據挖掘的應用特性決定了數據挖掘不僅僅是演算法分析和應用，而是一個包含數據准備和管理、數據預處理和轉換、挖掘演算法開發和應用、結果展示和驗證以及知識積累和使用的完整過程。而且在實際應用中，典型的數據挖掘過程還是一個交互和循環的過程。
3.集合性（A Collection of Functionalities）：數據挖掘是多種功能的集合。常用的數據挖掘功能包括數據探索分析、關聯規則挖掘、時間序列模式挖掘、分類預測、聚類分析、異常檢測、數據可視化和鏈接分析等。一個具體的應用案例往往涉及多個不同的功能。不同的功能通常有不同的理論和技術基礎，而且每一個功能都有不同的演算法支撐。
4.交叉性（An Interdisciplinary Field）：數據挖掘是一門交叉學科，它利用了來自統計分析、模式識別、機器學習、人工智慧、信息檢索、資料庫等諸多不同領域的研究成果和學術思想。同時一些其他領域如隨機演算法、資訊理論、可視化、分布式計算和最優化也對數據挖掘的發展起到重要的作用。數據挖掘與這些相關領域的區別可以由前面提到的數據挖掘的3個特性來總結，最重要的是它更側重於應用。
綜上所述，應用性是數據挖掘的一個重要特性，是其區別於其他學科的關鍵，同時，其應用特性與其他特性相輔相成，這些特性在一定程度上決定了數據挖掘的研究與發展，同時，也為如何學習和掌握數據挖掘提出了指導性意見。如從研究發展來看，實際應用的需求是數據挖掘領域很多方法提出和發展的根源。從最開始的顧客交易數據分析（market basket analysis）、多媒體數據挖掘（multimedia data mining）、隱私保護數據挖掘（privacy-preserving data mining）到文本數據挖掘（text mining）和Web挖掘（Web mining），再到社交媒體挖掘（social media mining）都是由應用推動的。工程性和集合性決定了數據挖掘研究內容和方向的廣泛性。其中，工程性使得整個研究過程里的不同步驟都屬於數據挖掘的研究范疇。而集合性使得數據挖掘有多種不同的功能，而如何將多種功能聯系和結合起來，從一定程度上影響了數據挖掘研究方法的發展。比如，20世紀90年代中期，數據挖掘的研究主要集中在關聯規則和時間序列模式的挖掘。到20世紀90年代末，研究人員開始研究基於關聯規則和時間序列模式的分類演算法（如classification based on association），將兩種不同的數據挖掘功能有機地結合起來。21世紀初，一個研究的熱點是半監督學習（semi-supervised learning）和半監督聚類（semi-supervised clustering），也是將分類和聚類這兩種功能有機結合起來。近年來的一些其他研究方向如子空間聚類（subspace clustering）（特徵抽取和聚類的結合）和圖分類（graph classification）（圖挖掘和分類的結合）也是將多種功能聯系和結合在一起。最後，交叉性導致了研究思路和方法設計的多樣化。
前面提到的是數據挖掘的特性對研究發展及研究方法的影響，另外，數據挖掘的這些特性對如何學習和掌握數據挖掘提出了指導性的意見，對培養研究生、本科生均有一些指導意見，如應用性在指導數據挖掘時，應熟悉應用的業務和需求，需求才是數據挖掘的目的，業務和演算法、技術的緊密結合非常重要，了解業務、把握需求才能有針對性地對數據進行分析，挖掘其價值。因此，在實際應用中需要的是一種既懂業務，又懂數據挖掘演算法的人才。工程性決定了要掌握數據挖掘需有一定的工程能力，一個好的數據額挖掘人員首先是一名工程師，有很強大的處理大規模數據和開發原型系統的能力，這相當於在培養數據挖掘工程師時，對數據的處理能力和編程能力很重要。集合性使得在具體應用數據挖掘時，要做好底層不同功能和多種演算法積累。交叉性決定了在學習數據挖掘時要主動了解和學習相關領域的思想和技術。
因此，這些特性均是數據挖掘的特點，通過這四個特性可總結和學習數據挖掘。
二、大數據的特徵
大數據（bigdata）一詞經常被用以描述和指代信息爆炸時代產生的海量信息。研究大數據的意義在於發現和理解信息內容及信息與信息之間的聯系。研究大數據首先要理清和了解大數據的特點及基本概念，進而理解和認識大數據。
研究大數據首先要理解大數據的特徵和基本概念。業界普遍認為，大數據具有標準的「4V」特徵：
1.Volume（大量）：數據體量巨大，從TB級別躍升到PB級別。
2.Variety（多樣）：數據類型繁多，如網路日誌、視頻、圖片、地理位置信息等。
3.Velocity（高速）：處理速度快，實時分析，這也是和傳統的數據挖掘技術有著本質的不同。
4.Value（價值）：價值密度低，蘊含有效價值高，合理利用低密度價值的數據並對其進行正確、准確的分析，將會帶來巨大的商業和社會價值。
上述「4V」特點描述了大數據與以往部分抽樣的「小數據」的主要區別。然而，實踐是大數據的最終價值體現的唯一途徑。從實際應用和大數據處理的復雜性看，大數據還具有如下新的「4V」特點：
5.Variability（變化）：在不同的場景、不同的研究目標下數據的結構和意義可能會發生變化，因此，在實際研究中要考慮具體的上下文場景（Context）。
6.Veracity（真實性）：獲取真實、可靠的數據是保證分析結果准確、有效的前提。只有真實而准確的數據才能獲取真正有意義的結果。
7.Volatility（波動性）/Variance（差異）：由於數據本身含有噪音及分析流程的不規范性，導致採用不同的演算法或不同分析過程與手段會得到不穩定的分析結果。
8.Visualization（可視化）：在大數據環境下，通過數據可視化可以更加直觀地闡釋數據的意義，幫助理解數據，解釋結果。
綜上所述，以上「8V」特徵在大數據分析與數據挖掘中具有很強的指導意義。
三、大數據時代下的數據挖掘
在大數據時代，數據挖掘需考慮以下四個問題：
大數據挖掘的核心和本質是應用、演算法、數據和平台4個要素的有機結合。
因為數據挖掘是應用驅動的，來源於實踐，海量數據產生於應用之中。需用具體的應用數據作為驅動，以演算法、工具和平台作為支撐，最終將發現的知識和信息應用到實踐中去，從而提供量化的、合理的、可行的、且能產生巨大價值的信息。
挖掘大數據中隱含的有用信息需設計和開發相應的數據挖掘和學習演算法。演算法的設計和開發需以具體的應用數據作為驅動，同時在實際問題中得到應用和驗證，而演算法的實現和應用需要高效的處理平台，這個處理平台可以解決波動性問題。高效的處理平台需要有效分析海量數據，及時對多元數據進行集成，同時有力支持數據化對演算法及數據可視化的執行，並對數據分析的流程進行規范。
總之，應用、演算法、數據、平台這四個方面相結合的思想，是對大數據時代的數據挖掘理解與認識的綜合提煉，體現了大數據時代數據挖掘的本質與核心。這四個方面也是對相應研究方面的集成和架構，這四個架構具體從以下四個層面展開：
應用層（Application）：關心的是數據的收集與演算法驗證，關鍵問題是理解與應用相關的語義和領域知識。
數據層（Data）：數據的管理、存儲、訪問與安全，關心的是如何進行高效的數據使用。
演算法層（Algorithm）：主要是數據挖掘、機器學習、近似演算法等演算法的設計與實現。
平台層（Infrastructure）：數據的訪問和計算，計算平台處理分布式大規模的數據。
綜上所述，數據挖掘的演算法分為多個層次，在不同的層面有不同的研究內容，可以看到目前在做數據挖掘時的主要研究方向，如利用數據融合技術預處理稀疏、異構、不確定、不完整以及多來源數據；挖掘復雜動態變化的數據；測試通過局部學習和模型融合所得到的全局知識，並反饋相關信息給預處理階段；對數據並行分布化，達到有效使用的目的。
四、大數據挖掘系統的開發
1.背景目標
大數據時代的來臨使得數據的規模和復雜性都出現爆炸式的增長，促使不同應用領域的數據分析人員利用數據挖掘技術對數據進行分析。在應用領域中，如醫療保健、高端製造、金融等，一個典型的數據挖掘任務往往需要復雜的子任務配置，整合多種不同類型的挖掘演算法以及在分布式計算環境中高效運行。因此，在大數據時代進行數據挖掘應用的一個當務之急是要開發和建立計算平台和工具，支持應用領域的數據分析人員能夠有效地執行數據分析任務。
之前提到一個數據挖掘有多種任務、多種功能及不同的挖掘演算法，同時，需要一個高效的平台。因此，大數據時代的數據挖掘和應用的當務之急，便是開發和建立計算平台和工具，支持應用領域的數據分析人員能夠有效地執行數據分析任務。
2.相關產品
現有的數據挖掘工具
有Weka、SPSS和SQLServer，它們提供了友好的界面，方便用戶進行分析，然而這些工具並不適合進行大規模的數據分析，同時，在使用這些工具時用戶很難添加新的演算法程序。
流行的數據挖掘演算法庫
如Mahout、MLC++和MILK，這些演算法庫提供了大量的數據挖掘演算法。但這些演算法庫需要有高級編程技能才能進行任務配置和演算法集成。
最近出現的一些集成的數據挖掘產品
如Radoop和BC-PDM，它們提供友好的用戶界面來快速配置數據挖掘任務。但這些產品是基於Hadoop框架的，對非Hadoop演算法程序的支持非常有限。沒有明確地解決在多用戶和多任務情況下的資源分配。
3.FIU-Miner
為解決現有工具和產品在大數據挖掘中的局限性，我們團隊開發了一個新的平台——FIU-Miner，它代表了A Fast,Integrated,and User-Friendly System for Data Miningin Distributed Environment。它是一個用戶友好並支持在分布式環境中進行高效率計算和快速集成的數據挖掘系統。與現有數據挖掘平台相比，FIU-Miner提供了一組新的功能，能夠幫助數據分析人員方便並有效地開展各項復雜的數據挖掘任務。
與傳統的數據挖掘平台相比，它提供了一些新的功能，主要有以下幾個方面：
A.用戶友好、人性化、快速的數據挖掘任務配置。基於「軟體即服務」這一模式，FIU-Miner隱藏了與數據分析任務無關的低端細節。通過FIU-Miner提供的人性化用戶界面，用戶可以通過將現有演算法直接組裝成工作流，輕松完成一個復雜數據挖掘問題的任務配置，而不需要編寫任何代碼。
B.靈活的多語言程序集成。允許用戶將目前最先進的數據挖掘演算法直接導入系統演算法庫中，以此對分析工具集合進行擴充和管理。同時，由於FIU-Miner能夠正確地將任務分配到有合適運行環境的計算節點上，所以對這些導入的演算法沒有實現語言的限制。
C.異構環境中有效的資源管理。FIU-Miner支持在異構的計算環境中（包括圖形工作站、單個計算機、和伺服器等）運行數據挖掘任務。FIU-Miner綜合考慮各種因素（包括演算法實現、伺服器負載平衡和數據位置）來優化計算資源的利用率。
D.有效的程序調度和執行。
應用架構上包括用戶界面層、任務和系統管理層、邏輯資源層、異構的物理資源層。這種分層架構充分考慮了海量數據的分布式存儲、不同數據挖掘演算法的集成、多重任務的配置及系統用戶的交付功能。一個典型的數據挖掘任務在應用之中需要復雜的主任務配置，整合多種不同類型的挖掘演算法。因此，開發和建立這樣的計算平台和工具，支持應用領域的數據分析人員進行有效的分析是大數據挖掘中的一個重要任務。
FIU-Miner系統用在了不同方面：如高端製造業、倉庫智能管理、空間數據處理等，TerraFly GeoCloud是建立在TerraFly系統之上的、支持多種在線空間數據分析的一個平台。提供了一種類SQL語句的空間數據查詢與挖掘語言MapQL。它不但支持類SQL語句，更重要的是可根據用戶的不同要求，進行空間數據挖掘，渲染和畫圖查詢得到空間數據。通過構建空間數據分析的工作流來優化分析流程，提高分析效率。
製造業是指大規模地把原材料加工成成品的工業生產過程。高端製造業是指製造業中新出現的具有高技術含量、高附加值、強競爭力的產業。典型的高端製造業包括電子半導體生產、精密儀器製造、生物制葯等。這些製造領域往往涉及嚴密的工程設計、復雜的裝配生產線、大量的控制加工設備與工藝參數、精確的過程式控制制和材料的嚴格規范。產量和品質極大地依賴流程管控和優化決策。因此，製造企業不遺餘力地採用各種措施優化生產流程、調優控制參數、提高產品品質和產量，從而提高企業的競爭力。
在空間數據處理方面，TerraFly GeoCloud對多種在線空間數據分析。對傳統數據分析而言，其難點在於MapQL語句比較難寫，任務之間的關系比較復雜，順序執行之間空間數據分許效率較低。而FIU-Miner可有效解決以上三個難點。
總結而言，大數據的復雜特徵對數據挖掘在理論和演算法研究方面提出了新的要求和挑戰。大數據是現象，核心是挖掘數據中蘊含的潛在信息，並使它們發揮價值。數據挖掘是理論技術和實際應用的完美結合。數據挖掘是理論和實踐相結合的一個例子。