『壹』 大數據挖掘有哪些方法
神經網路方法
神經網路由於本身良好的魯棒性、自組織自適應性、並行處理、分布存儲和高度容錯等特性非常適合解決數據挖掘的問題，因此近年來越來越受到人們的關注。
遺傳演算法
遺傳演算法是一種基於生物自然選擇與遺傳機理的隨機搜索演算法，是一種仿生全局優化方法。遺傳演算法具有的隱含並行性、易於和其它模型結合等性質使得它在數據挖掘中被加以應用。
決策樹方法
決策樹是一種常用於預測模型的演算法，它通過將大量數據有目的分類，從中找到一些有價值的，潛在的信息。它的主要優點是描述簡單，分類速度快，特別適合大規模的數據處理。
粗集方法
粗集理論是一種研究不精確、不確定知識的數學工具。粗集方法有幾個優點：不需要給出額外信息;簡化輸入信息的表達空間;演算法簡單，易於操作。粗集處理的對象是類似二維關系表的信息表。
覆蓋正例排斥反例方法
它是利用覆蓋所有正例、排斥所有反例的思想來尋找規則。首先在正例集合中任選一個種子，到反例集合中逐個比較。與欄位取值構成的選擇子相容則捨去，相反則保留。按此思想循環所有正例種子，將得到正例的規則(選擇子的合取式)
『貳』 如何利用大數據來深度挖掘互聯網里的潛在用戶
大數據即巨量數據的集合，互聯網、物聯網、穿戴設備等等，在這個互聯網時代，人們留下的行為數據無時無刻不被記錄，造就了巨量的數據，進而出現了大數據分析挖掘等崗位的出現。通過對大數據的分析挖掘，可以發現歷史規律以及對未來的預測，這也是大數據分析的核心目標。
那麼如果利用大數據來深度挖掘互聯網里的潛在用戶呢？下面從業務邏輯流程上來介紹。
1、潛在目標用戶畫像
首先你需要對你的潛在用戶群進行特徵分析，包含：用戶群主要在哪些渠道活躍、共同特徵（喜好、職業、收入、消費力等）有哪些等，通過對用戶畫像，能夠清晰的了解你所要挖掘的潛在用戶群的一些特徵及活動規律，從而為挖掘模型提供數據來源及條件支撐。
例如需要挖掘裝修的潛在用戶，他們的活躍渠道主要在各大家裝網站、家居網、裝修設計網等與房子有關的網站或app，一般這類用戶都會提前在這些網站/app瀏覽做准備。
2、數據採集
在明確了潛在用戶活躍渠道後，可以針對性的採集數據，數據採集後需要對數據做清洗、轉換、載入，將一些無用的數據提前篩選，保證數據的質量。
3、數據建模
這個階段是非常重要的，通過數據的建模去分析出潛在目標用戶，建模是一件非常復雜的工作，需要將用戶的行為數據、畫像數據進行拆分、合並、關聯，從而建立一套或多套數據模型。
還以裝修為例：
（1）消費能力模型，我們可以根據用戶瀏覽傢具的價格、以往消費歷史紀錄、收入等對用戶進行消費能力分析；
（2）優質客戶分析模型，可以根據用戶瀏覽次數、停留時長、購買記錄、信譽度等數據進行分析，從而得出用戶裝修的迫切程度，可以分為高、中、低三個等級。
同時還可以加入用戶的所在區域、小區等維度進行分析（根據具體需要），將模型細分，最後可以通過各個模型關聯碰撞，組合成多種模型，如消費能力強且馬上要裝修的潛在用戶、消費能力強不太迫切要求裝修的潛在用戶等等，這樣可以實現差異化、精準化的運營。（例子舉的很簡單，事實上真正做起來還是很復雜的，各方面因素都要考慮到）
4、開發驗證
數據建模完成後，就需要研發完成並運用到實戰當中，去檢驗數據模型的准確性到底如何，根凳遲山據結果去對模型做調整。
大數據分析本來就是一項對未來將要發生棗中什麼事做的預測的工作，這種不確定性的預測隨著社會發展、時間、地點、旦枯環境、政策等變化而不斷變化，所以我們在做分析挖掘時，需要快速不斷地試錯去調整，從而達到一個比較准確的分析結果。
『叄』 如何用Python進行大數據挖掘和分析
如何用Python進行大數據挖掘和分析？快速入門路徑圖
大數據無處不在。在時下這個年代，不管你喜歡與否，在運營一個成功的商業的過程中都有可能會遇到它。
什麼是 大數據 ？
大數據就像它看起來那樣——有大量的數據。單獨而言，你能從單一的數據獲取的洞見窮其有限。但是結合復雜數學模型以及強大計算能力的TB級數據，卻能創造出人類無法製造的洞見。大數據分析提供給商業的價值是無形的，並且每天都在超越人類的能力。
大數據分析的第一步就是要收集數據本身，也就是眾所周知的「數據挖掘」。大部分的企業處理著GB級的數據，這些數據有用戶數據、產品數據和地理位置數據。今天，我將會帶著大家一起探索如何用 Python 進行大數據挖掘和分析？
為什麼選擇Python?
Python最大的優點就是簡單易用。這個語言有著直觀的語法並且還是個強大的多用途語言。這一點在大數據分析環境中很重要，並且許多企業內部已經在使用Python了，比如Google，YouTube，迪士尼等。還有，Python是開源的，並且有很多用於數據科學的類庫。
現在，如果你真的要用Python進行大數據分析的話，毫無疑問你需要了解Python的語法，理解正則表達式，知道什麼是元組、字元串、字典、字典推導式、列表和列表推導式——這只是開始。
數據分析流程
一般可以按「數據獲取-數據存儲與提取-數據預處理-數據建模與分析-數據可視化」這樣的步驟來實施一個數據分析項目。按照這個流程，每個部分需要掌握的細分知識點如下：
數據獲取：公開數據、Python爬蟲
外部數據的獲取方式主要有以下兩種。
第一種是獲取外部的公開數據集，一些科研機構、企業、政府會開放一些數據，你需要到特定的網站去下載這些數據。這些數據集通常比較完善、質量相對較高。
另一種獲取外部數據的方式就是爬蟲。
比如你可以通過爬蟲獲取招聘網站某一職位的招聘信息，爬取租房網站上某城市的租房信息，爬取豆瓣評分評分最高的電影列表，獲取知乎點贊排行、網易雲音樂評論排行列表。基於互聯網爬取的數據，你可以對某個行業、某種人群進行分析。
在爬蟲之前你需要先了解一些 Python 的基礎知識：元素（列表、字典、元組等）、變數、循環、函數………
以及，如何用 Python 庫（urllib、BeautifulSoup、requests、scrapy）實現網頁爬蟲。
掌握基礎的爬蟲之後，你還需要一些高級技巧，比如正則表達式、使用cookie信息、模擬用戶登錄、抓包分析、搭建代理池等等，來應對不同網站的反爬蟲限制。
數據存取：SQL語言
在應對萬以內的數據的時候，Excel對於一般的分析沒有問題，一旦數據量大，就會力不從心，資料庫就能夠很好地解決這個問題。而且大多數的企業，都會以SQL的形式來存儲數據。
SQL作為最經典的資料庫工具，為海量數據的存儲與管理提供可能，並且使數據的提取的效率大大提升。你需要掌握以下技能：
提取特定情況下的數據
資料庫的增、刪、查、改
數據的分組聚合、如何建立多個表之間的聯系
數據預處理：Python（pandas）
很多時候我們拿到的數據是不幹凈的，數據的重復、缺失、異常值等等，這時候就需要進行數據的清洗，把這些影響分析的數據處理好，才能獲得更加精確地分析結果。
對於數據預處理，學會 pandas （Python包）的用法，應對一般的數據清洗就完全沒問題了。需要掌握的知識點如下：
選擇：數據訪問
缺失值處理：對缺失數據行進行刪除或填充
重復值處理：重復值的判斷與刪除
異常值處理：清除不必要的空格和極端、異常數據
相關操作：描述性統計、Apply、直方圖等
合並：符合各種邏輯關系的合並操作
分組：數據劃分、分別執行函數、數據重組
Reshaping：快速生成數據透視表
概率論及統計學知識
需要掌握的知識點如下：
基本統計量：均值、中位數、眾數、百分位數、極值等
其他描述性統計量：偏度、方差、標准差、顯著性等
其他統計知識：總體和樣本、參數和統計量、ErrorBar
概率分布與假設檢驗：各種分布、假設檢驗流程
其他概率論知識：條件概率、貝葉斯等
有了統計學的基本知識，你就可以用這些統計量做基本的分析了。你可以使用 Seaborn、matplotlib 等（python包）做一些可視化的分析，通過各種可視化統計圖，並得出具有指導意義的結果。
Python 數據分析
掌握回歸分析的方法，通過線性回歸和邏輯回歸，其實你就可以對大多數的數據進行回歸分析，並得出相對精確地結論。這部分需要掌握的知識點如下：
回歸分析：線性回歸、邏輯回歸
基本的分類演算法：決策樹、隨機森林……
基本的聚類演算法：k-means……
特徵工程基礎：如何用特徵選擇優化模型
調參方法：如何調節參數優化模型
Python 數據分析包：scipy、numpy、scikit-learn等
在數據分析的這個階段，重點了解回歸分析的方法，大多數的問題可以得以解決，利用描述性的統計分析和回歸分析，你完全可以得到一個不錯的分析結論。
當然，隨著你實踐量的增多，可能會遇到一些復雜的問題，你就可能需要去了解一些更高級的演算法：分類、聚類。
然後你會知道面對不同類型的問題的時候更適合用哪種演算法模型，對於模型的優化，你需要去了解如何通過特徵提取、參數調節來提升預測的精度。
你可以通過 Python 中的 scikit-learn 庫來實現數據分析、數據挖掘建模和分析的全過程。
總結
其實做數據挖掘不是夢，5步就能讓你成為一個Python爬蟲高手!
『肆』 大數據挖掘究竟是什麼 能否有效監管
大數據挖掘究竟是什麼 能否有效監管
《大數據時代》一書暢銷之後的幾年，大數據雖不再那麼當紅，但並未隱退，它的持續發展已成為人工智慧得以實現的基礎之一。那麼，大數據挖掘究竟是怎樣的技術？從誕生發展至今，那些埋頭苦乾的技術人員又讓它長了哪些本領？面對大數據難以管理的問題，有沒有技術手段加以控制？
用戶畫像：機器給人類貼標簽
「通過打標簽的方式建立用戶畫像，是數據挖掘常用的一種技術。」北京大學計算機科學技術研究所多媒體信息處理研究室主任彭宇新教授解釋，建立用戶畫像就是利用社交網路的信息，根據用戶社會屬性、生活習慣和消費行為等信息，抽象出一個標簽化的用戶模型，目標是使機器實現類似於人的「見信如面」的能力。社交網路數據是實現這一目標的基礎，機器對人的「初相見」多是源自於對社交網路數據的挖掘。
標簽，通常是通過對用戶信息進行分析得到的高度精煉的特徵標識，使得機器方便做信息提取、聚合分析等處理。標簽本身無需再做過多文本分析等處理工作，這為利用機器提取標准化信息提供了便利。
「有了標簽，計算機就能夠自動處理與人相關的信息，能夠通過演算法、模型逐步『理解』 人。」彭宇新介紹，多個標簽共同完成畫像，整個過程可分三步走：一是採集數據，即基於文本的信息抓取，口語稱為「爬數據」;二是用戶行為建模，通過機器學習技術，形成演算法模型，判斷用戶可能的一些行為;三是可視化展現，把機器運算出來的結果，通過能讓人類理解的方式展現出來。這三步是多輪調整的，在實際應用中，根據結果的反饋，以及業務需求，可能進行二次建模等調整。
整個過程的影響參數是相對多元的，不同的行為類型，對於標簽信息的權重影響也不同。以應用最廣的商品營銷為例，比如網售紅酒，如果「購買」權重計為5，僅「瀏覽」計為1，加上瀏覽間隔、駐留時長、生活習慣等，通過復雜的演算法最終呈現出一個標簽的權重，再形成畫像。
基於用戶畫像技術，大數據挖掘進行分類和關聯規則計算等分析：例如喜歡紅酒的用戶有多少，喜歡紅酒的人群中，男、女比例是多少，喜歡紅酒的人通常喜歡什麼運動品牌等等。
跨媒體智能識別：為計算機裝上慧眼
「以前文本信息佔主流，現在圖像、視頻等多媒體數據鋪天蓋地而來。」彭宇新說，後者目前占據大數據的80%以上。
數據類型發生的巨大變化，使得智能識別的任務更加艱巨。「管不住」和「用不好」的問題日益凸顯。「機器只能讀懂自己的語言。」彭宇新說，人類世界的所有語言都要轉化為機器理解的語言才能被識別，以前只處理文本相對簡單，而現在要加上復雜的圖像、視頻等數據。
「例如，世界上有數千種鳥類，很多種的差異非常細微，即使是有專業知識的人類也很難准確辨認，計算機自動識別的難度就更大了。」彭宇新說，圖像、視頻內容理解的難點在於如何進行語義自動識別，這也是他們團隊多年攻關的課題之一，為此團隊發明了基於注意力模型和深度增量學習的識別方法。
注意力模型，顧名思義是讓計算機自動定點陣圖像的顯著性區域，以此提高檢測精度;深度增量學習，是指計算機能夠利用已經學到的知識加速對新知識的學習，同時通過動態擴容以支持新概念的檢測。
新模型新演算法的發力，幫助機器快速識別圖像、視頻的語義信息。彭宇新團隊近年來六次參加國際權威評測TRECVID的視頻樣例搜索比賽均獲第一名，並在與卡內基梅隆大學、牛津大學、IBMWatson研究中心等參賽隊伍的較量中勝出。其中一個題目就是在464個小時的視頻中快速准確地找出所有的倫敦地鐵標志，彭宇新團隊僅用了不到1秒就成功勝出，獲得第一名。
單媒體信息的分析與識別之上，如何進一步讓機器像人類一樣能看、能理解呢?
為達到跨媒體信息融合與一體化分析識別的目的，項目團隊首先把數據按照不同媒體類型自動分發到對應的分析與識別模塊。例如，對視頻鏡頭進行分割、對關鍵幀進行提取，然後分發到鏡頭檢索、片斷檢索、視頻字幕識別等模塊中，對單媒體分析結果進行跨媒體語義關聯分析，實現跨媒體信息的語義協同。「一種常用的方法是構建第三方空間進行跨媒體關聯。」彭宇新說，「計算機根據我們教它的模型分別為圖像、視頻、文本、音頻抽取表徵，再共同投射到一個第三方空間中，這樣不同媒體的信息就可以對話了。」
技術的「抽絲剝繭」，讓圖像、視頻中的信息可以如文本一般透明。「我們是瞄著應用去的，准確率、處理速度都經過多年的優化，已經可以進行實際應用了。」彭宇新介紹，這項技術不僅幫助新聞媒體等行業進行數據管理和檢索，還在助力互聯網管理部門對大數據進行分析與監測
『伍』 什麼是大數據，什麼又是數據挖掘
大數據(big data)，或稱巨量資料，指的是所涉及的資料量規模巨大到無法通過目前主流軟體工具，在合理時間內達到擷取、管理、處理、並整理成為幫助企業經營決策更積極目的的資訊。(在維克托·邁爾-舍恩伯格及肯尼斯·庫克耶編寫的《大數據時代》中，大數據指不用隨機分析法(抽樣調查)這樣的捷徑，而採用所有數據的方法)大數據的4V特點：Volume(大量)、Velocity(高速)、Variety(多樣)、veracity(真實性)。大數據需要特殊的技術，包括大規模並行處理(MPP)資料庫、數據挖掘電網、分布式文件系統、分布式資料庫、雲計算平台、互聯網和可擴展的存儲系統。
大數據的4個「V」，或者說特點有四個層面：第一，數據體量巨大。從TB級別，躍升到PB級別；第二，數據類型繁多。前文提到的網路日誌、視頻、圖片、地理位置信息等等。第三，數據的來源，直接導致分析結果的准確性和真實性。若數據來源是完整的並且真實，最終的分析結果以及決定將更加准確。第四，處理速度快，1秒定律。最後這一點也是和傳統的數據挖掘技術有著本質的不同。業界將其歸納為4個「V」
從某種程度上說，大數據是數據分析的前沿技術。簡言之，從各種各樣類型的數據中，快速獲得有價值信息的能力，就是大數據技術。明白這一點至關重要，也正是這一點促使該技術具備走向眾多企業的潛力。
搜索下各種網路，上面都有。說白了，就是數據量非常龐大。這確實是近幾年的熱點問題。