大數據檢測法

Ⅰ 有什麼比較好入門的大數據分析方法

1、excel是基礎中基礎，學好真心沒商量啦
2、SPSS是數據分析好手，裡面有聚回類，各種回歸預測，時間答序列，統計，卡方檢驗等等，易操作，屬於中級。
3，R語言是目前數據分析師主流工具，功能強大，貌似裡面的數據可視化可謂酷炫吊炸天。屬於中高級。
4、python是一種編程語言，用於數據分析挖掘,網路爬蟲等。強大高級。學習C++或者面向對象程序設計可以自學啦！最重要往往在最後。。。如果你一心想成為一名出色的數據分析師，不瞞你言，以上前三種必須學習啊。如果你現在不會，就慢慢學起來！

Ⅱ 大數據分析方法與模型有哪些

1、分類分析數據分析法

在數據分析中，如果將數據進行分類就能夠更好的分析。分類分析是將一些未知類別的部分放進我們已經分好類別中的其中某一類;或者將對一些數據進行分析，把這些數據歸納到接近這一程度的類別，並按接近這一程度對觀測對象給出合理的分類。這樣才能夠更好的進行分析數據。

2、對比分析數據分析方法

很多數據分析也是經常使用對比分析數據分析方法。對比分析法通常是把兩個相互有聯系的數據進行比較，從數量上展示和說明研究對象在某一標準的數量進行比較，從中發現其他的差異，以及各種關系是否協調。

3、相關分析數據分析法

相關分析數據分析法也是一種比較常見數據分析方法，相關分析是指研究變數之間相互關系的一類分析方法。按是否區別自變數和因變數為標准一般分為兩類：一類是明確自變數和因變數的關系;另一類是不區分因果關系，只研究變數之間是否相關，相關方向和密切程度的分析方法。

4、綜合分析數據分析法

層次分析法，是一種實用的多目標或多方案的決策方法。由於他在處理復雜的決策問題上的實用性和有效性，而層次分析數據分析法在世界范圍得到廣泛的應用。它的應用已遍及經濟計劃和管理，能源政策和分配，行為科學、軍事指揮、運輸、農業、教育、醫療和環境等多領域。

Ⅲ 教育大數據分析的三大方法

一、常用大數據分析方法
1、描述性分析
這是業務上使用最多的分析方法，也是最簡單的數據分析方法，為企業提供重要的指標和業務衡量方法，可以通過企業各種數據獲得很多客戶的情況，例如客戶的喜好，使用產品習慣等。
2、診斷分析
做好描述性分析之後就可以進行診斷分析了，主要是通過評估描述性數據，診斷分析工具可以使數據分析對數據進行深入分析，並深入數據的核心，一個設計良好的數據分析工具可以集成數據讀取、特徵過濾和按時間序列進行數據鑽取的功能，從而更好地分析數據。
3、預測分析
預測分析是用於預測未來事件發生的可能性，一個可量化值的預測，或者事件發生時間點的預測，都可以通過預測模型來完成，預測模型也是一種重要的方法，在許多領域得到應用。
4、指令分析
數據和復雜性分析的下一步是指令分析，指令模型可以幫助用戶決定應該採取什麼措施。

Ⅳ 大數據科學家需要掌握的幾種異常值檢測方法

引言

異常值檢測與告警一直是工業界非常關注的問題，自動准確地檢測出系統的異常值，不僅可以節約大量的人力物力，還能盡早發現系統的異常情況，挽回不必要的損失。個推也非常重視大數據中的異常值檢測，例如在運維部門的流量管理業務中，個推很早便展開了對異常值檢測的實踐，也因此積累了較為豐富的經驗。本文將從以下幾個方面介紹異常值檢測。

1、異常值檢測研究背景

2、異常值檢測方法原理

3、異常值檢測應用實踐

異常值檢測研究背景

異常值，故名思議就是不同於正常值的值。 在數學上，可以用離群點來表述，這樣便可以將異常值檢測問題轉化為數學問題來求解。

異常值檢測在很多場景都有廣泛的應用，比如：

1、流量監測

互聯網上某些伺服器的訪問量，可能具有周期性或趨勢性：一般情況下都是相對平穩的，但是當受到某些黑客攻擊後，其訪問量可能發生顯著的變化，及早發現這些異常變化對企業而言有著很好的預防告警作用。

2、金融風控

正常賬戶中，用戶的轉賬行為一般屬於低頻事件，但在某些金融詐騙案中，一些嫌犯的賬戶就可能會出現高頻的轉賬行為，異常檢測系統如果能發現這些異常行為，及時採取相關措施，則會規避不少損失。

3、機器故障檢測

一個運行中的流水線，可能會裝有不同的感測器用來監測運行中的機器，這些感測器數據就反應了機器運行的狀態，這些實時的監測數據具有數據量大、維度廣的特點，用人工盯著看的話成本會非常高，高效的自動異常檢測演算法將能很好地解決這一問題。

異常值檢測方法原理

本文主要將異常值檢測方法分為兩大類：一類是基於統計的異常值檢測，另一類是基於模型的異常值檢測。

基於統計的方法  

基於模型的方法

1、基於統計的異常值檢測方法

常見的基於統計的異常值檢測方法有以下2種，一種是基於3σ法則，一種是基於箱體圖。

3σ法則  

箱體圖

3σ法則是指在樣本服從正態分布時，一般可認為小於μ-3σ或者大於μ+3σ的樣本值為異常樣本，其中μ為樣本均值，σ為樣本標准差。在實際使用中，我們雖然不知道樣本的真實分布，但只要真實分布與正太分布相差不是太大，該經驗法則在大部分情況下便是適用的。

箱體圖也是一種比較常見的異常值檢測方法，一般取所有樣本的25%分位點Q1和75%分位點Q3，兩者之間的距離為箱體的長度IQR，可認為小於Q1-1.5IQR或者大於Q3+1.5IQR的樣本值為異常樣本。

基於統計的異常檢測往往具有計算簡單、有堅實的統計學基礎等特點，但缺點也非常明顯，例如需要大量的樣本數據進行統計，難以對高維樣本數據進行異常值檢測等。

2、基於模型的異常值檢測

通常可將異常值檢測看作是一個二分類問題，即將所有樣本分為正常樣本和異常樣本，但這和常規的二分類問題又有所區別，常規的二分類一般要求正負樣本是均衡的，如果正負樣本不均勻的話，訓練結果往往會不太好。但在異常值檢測問題中，往往面臨著正（正常值）負（異常值）樣本不均勻的問題，異常值通常比正常值要少得多，因此需要對常規的二分類模型做一些改進。

基於模型的異常值檢測一般可分為有監督模型異常值檢測和無監督模型異常值檢測，比較典型的有監督模型如oneclassSVM、基於神經網路的自編碼器等。 oneclassSVM就是在經典的SVM基礎上改進而來，它用一個超球面替代了超平面，超球面以內的值為正常值，超球面以外的值為異常值。

經典的SVM  

1

 基於模型的方法

2

基於神經網路的自編碼器結構如下圖所示。

自編碼器（AE）

將正常樣本用於模型訓練，輸入與輸出之間的損失函數可採用常見的均方誤差，因此檢測過程中，當正常樣本輸入時，均方誤差會較小，當異常樣本輸入時，均方誤差會較大，設置合適的閾值便可將異常樣本檢測出來。但該方法也有缺點，就是對於訓練樣本比較相近的正常樣本判別較好，但若正常樣本與訓練樣本相差較大，則可能會導致模型誤判。

無監督模型的異常值檢測是異常值檢測中的主流方法，因為異常值的標注成本往往較高，另外異常值的產生往往無法預料，因此有些異常值可能在過去的樣本中根本沒有出現過， 這將導致某些異常樣本無法標注，這也是有監督模型的局限性所在。 較為常見的無監督異常值檢測模型有密度聚類（DBSCAN）、IsolationForest（IF）、RadomCutForest（RCF）等，其中DBSCAN是一種典型的無監督聚類方法，對某些類型的異常值檢測也能起到不錯的效果。該演算法原理網上資料較多，本文不作詳細介紹。

IF演算法最早由南京大學人工智慧學院院長周志華的團隊提出，是一種非常高效的異常值檢測方法，該方法不需要對樣本數據做任何先驗的假設，只需基於這樣一個事實——異常值只是少數，並且它們具有與正常值非常不同的屬性值。與隨機森林由大量決策樹組成一樣，IsolationForest也由大量的樹組成。IsolationForest中的樹叫isolation tree，簡稱iTree。iTree樹和決策樹不太一樣，其構建過程也比決策樹簡單，因為其中就是一個完全隨機的過程。

假設數據集有N條數據，構建一顆iTree時，從N條數據中均勻抽樣(一般是無放回抽樣)出n個樣本出來，作為這顆樹的訓練樣本。

在樣本中，隨機選一個特徵，並在這個特徵的所有值范圍內（最小值與最大值之間）隨機選一個值，對樣本進行二叉劃分，將樣本中小於該值的劃分到節點的左邊，大於等於該值的劃分到節點的右邊。

這樣得到了一個分裂條件和左、右兩邊的數據集，然後分別在左右兩邊的數據集上重復上面的過程，直至達到終止條件。 終止條件有兩個，一個是數據本身不可再分(只包括一個樣本，或者全部樣本相同)，另外一個是樹的高度達到log2(n)。 不同於決策樹，iTree在演算法裡面已經限制了樹的高度。不限制雖然也可行，但出於效率考慮，演算法一般要求高度達到log2(n)深度即可。

把所有的iTree樹構建好了，就可以對測試數據進行預測了。預測的過程就是把測試數據在iTree樹上沿對應的條件分支往下走，直到達到葉子節點，並記錄這過程中經過的路徑長度h(x)，即從根節點，穿過中間的節點，最後到達葉子節點，所走過的邊的數量(path length)。最後，將h(x)帶入公式，其中E(.)表示計算期望，c(n)表示當樣本數量為n時，路徑長度的平均值，從而便可計算出每條待測數據的異常分數s(Anomaly Score)。異常分數s具有如下性質：

1）如果分數s越接近1，則該樣本是異常值的可能性越高；

2）如果分數s越接近0，則該樣本是正常值的可能性越高；

RCF演算法與IF演算法思想上是比較類似的，前者可以看成是在IF演算法上做了一些改進。針對IF演算法中沒有考慮到的時間序列因素，RCF演算法考慮了該因素，並且在數據樣本采樣策略上作出了一些改進，使得異常值檢測相對IF演算法變得更加准確和高效，並能更好地應用於流式數據檢測。

IF演算法

RCF演算法

上圖展示了IF演算法和RCF演算法對於異常值檢測的異同。我們可以看出原始數據中有兩個突變異常數據值，對於後一個較大的突變異常值，IF演算法和RCF演算法都檢測了出來，但對於前一個較小的突變異常值，IF演算法沒有檢測出來，而RCF演算法依然檢測了出來，這意味著RCF有更好的異常值檢測性能。

異常值檢測應用實踐

理論還需結合實踐，下面我們將以某應用從2016.08.16至2019.09.21的日活變化情況為例，對異常值檢測的實際應用場景予以介紹：

從上圖中可以看出該應用的日活存在著一些顯著的異常值（比如紅色圓圈部分），這些異常值可能由於活動促銷或者更新迭代出現bug導致日活出現了比較明顯的波動。下面分別用基於統計的方法和基於模型的方法對該日活序列數據進行異常值檢測。

基於3σ法則（基於統計）

RCF演算法（基於模型）

從圖中可以看出，對於較大的突變異常值，3σ法則和RCF演算法都能較好地檢測出來， 但對於較小的突變異常值，RCF演算法則要表現得更好。

總結

上文為大家講解了異常值檢測的方法原理以及應用實踐。綜合來看，異常值檢測演算法多種多樣 ，每一種都有自己的優缺點和適用范圍，很難直接判斷哪一種異常檢測演算法是最佳的， 具體在實戰中，我們需要根據自身業務的特點，比如對計算量的要求、對異常值的容忍度等，選擇合適的異常值檢測演算法。

接下來，個推也會結合自身實踐，在大數據異常檢測方面不斷深耕，繼續優化演算法模型在不同業務場景中的性能，持續為開發者們分享前沿的理念與最新的實踐方案。

Ⅳ 企業大數據分析方法現在有嗎

一是幫企業了解用戶。
大數據通過相關性分析，將客戶、用戶和產品有機串聯，對用戶的產品偏好，客戶的關系偏好進行個性化定位，生產出用戶驅動型的產品，提供客戶導向性的服務。
從大數據技術方面來看，用數據來指引企業的成長，將不再單單是一句口號。網路副總裁曾良表示，從挖掘的角度來看，他們通過對每天60億的檢索請求數據分析，可以發現檢索某一品牌的受眾行為特徵，進而反饋給企業的品牌、產品研發部門，能更准確地了解目標用戶，並推出與用戶要求相匹配的產品。
通過運用大數據，不僅可以從數據中發掘出適應企業發展環境的社會和商業形態，用數據對用戶和客戶對待產品的態度進行挖掘和洞察，准確發現並解讀客戶及用戶的諸多新需求和行為特徵，這必將顛覆傳統企業在用戶調研過程中，過分依賴主觀臆斷的市場分析模式。
二是幫企業鎖定資源。
通過大數據技術，可以實現企業對所需資源的精準鎖定，在企業在運營過程中，所需要的每一種資源的挖掘方式、具體情況和儲量分布等，企業都可以進行搜集分析，形成基於企業的資源分布可視圖，就如同「電子地圖」一般，將原先只是虛擬存在的各種優勢點，進行「點對點」的數據化、圖像化展現，讓企業的管理者可以更直觀地面對自己的企業，更好地利用各種已有和潛在資源。如果沒有大數據，將很難發現曾經認為是完全無關行為間的相互關聯性，就如同外媒曾經提到的「啤酒」與「尿片」之間的關聯營銷一樣。因為美國婦女通常在家照顧孩子，她們經常囑咐丈夫下班回家時為孩子買尿布，而丈夫則順手購買了啤酒。於是，尿片與啤酒形成了關聯。於是美國沃爾瑪超市將尿布與啤酒擺在一起，使尿布和啤酒的銷量都大幅增加。
三是幫企業規劃生產。
大數據不僅改變了數據的組合方式，而且影響到企業產品和服務的生產和提供。通過用數據來規劃生產架構和流程，不僅能夠幫助他們發掘傳統數據中無法得知的價值組合方式，而且能給對組合產生的細節問題，提供相關性的、一對一的解決方案，為企業開展生產提供保障。
過去的所謂商業智能，往往大多是「事後諸葛亮」，而大數據則讓企業可預測未來的走向，幫助企業做到「未雨綢繆」。大數據的虛擬化特徵，還將大大降低企業的經營風險，能夠在生產或服務尚未展開之前就給出相關確定性答案，讓生產和服務做到有的放矢。在這方面，不得不提到的就是最近火爆的《紙牌屋》，它的劇集為什麼會受到全球歡迎?有很大一部分原因就跟它前期依據大數據技術和思維方式所做的准備。據稱，《紙牌屋》的資料庫包含了3000萬用戶的收視選擇、400萬條評論、300萬次主題搜索。下一季劇情拍什麼、誰來拍、誰來演、怎麼播，都由數千萬觀眾的客觀喜好統計決定。
四是幫企業做好運營。
過去某一品牌要做市場預測，大多靠自身資源、公共關系和以往的案例來進行分析和判斷，得出的結論往往也比較模糊，很少能得到各自行業內的足夠重視。通過大數據的相關性分析，根據不同品牌市場數據之間的交叉、重合，企業的運營方向將會變得直觀而且容易識別，在品牌推廣、區位選擇、戰略規劃方面將做到更有把握地面對。
對於大數據對企業運營的導航作用，夢芭莎集團董事長佘曉成深有感觸，他不禁感慨「大數據讓我們能夠及時調整運營策略，現在的庫存每季售罄率從80%提升到95%，實行30天缺貨銷售，能把30天缺貨控制在每天訂單的10%左右，比以前有3倍的提升。」
五是幫企業開展服務。
通過大數據計算對社交信息數據、客戶互動數據等，可以幫助企業進行品牌信息的水平化設計和碎片化擴散。經濟學家Richard H. Thaler曾經提出一種觀點，「個人觀點的微小變化都可以演變為所有人的群體行為模式的重大變革。」在這一重大變革的背景之下，對微小的信息流，企業都必須重視，而客戶服務為應對這種情況，也需要像空氣一樣分布在一些細枝末節之中。企業可以藉助社交媒體中公開的海量數據，通過大數據信息交叉驗證技術、分析數據內容之間的關聯度等，進而面向社會化用戶開展精細化服務，提供更多便利、產生更大價值。

Ⅵ 大數據怎麼檢測去過哪個街道

1、首先是基於手機移動數據確定位置信息，也叫基源定位方法，這是最常用的方法，也是此次新發地大數據篩查當中，效率最高的手段。

不過基源並不是GPS，而是通過手機基站，與GPS使用時才打開不同，手機會自動連接到距離最近的信號發射塔，手機的所有活動，都能通過包含基站信息的信令數據信號發射塔篩查回溯，這為追蹤使用者的位置定位及路徑追蹤，提供了真實准確的第一手數據。

2、其次是通過社會交往信息分析，這並不是指通過社交軟體信息判斷，而是結合已有數據，通過電話調查、摸排走訪等方式，最終形成相對可靠的數據信息，也可以在短時間內篩選出哪些人在新發地工作、哪些人曾經去過新發地、他們這幾天密切接觸了什麼人等等。

3、可以通過物品信息確認，除了對經過者、密切接觸者的篩查，也排查了不少物品和貨品，在這個過程當中，通過對特定攜帶病毒物品的路徑和接觸者追蹤，同樣可以作為排查查找到新發地密切接觸者的依據之一，這種篩查方法的數據可能並不完全。

大數據助力流行病精準防控

大數據至少發揮了兩方面作用：將早期病例精準鎖定到新發地市場，及時發現傳染源，為疾病控制贏得了寶貴的時間；對發現疫情以後，在去過高風險地區向外流動的人員的了解，包括暴露於環境，和接觸的人員，和密切接觸者，在北京的分布，以及留出北京的情況，對於發現潛在感染者，阻斷傳播，起到了非常大的作用。

實際上，在此次新冠肺炎疫情過程中，尤其是年初武漢疫情爆發之時，大數據篩查和分析，就對於疾病防控起到了相當重要的作用。