大數據的層次

『壹』 大數據和人工智慧有什麼區別

大數據分為三個層次
我們將大數據分為三個層次。一是容量很大的數據，比如兩個倉庫都堆滿了專很多屬書，甲倉庫的書全是大學二年級數學教材，乙倉庫的為大學各類教材及其提升學生綜合能力的各類圖書，兩倉庫都滿足了「大」的要求；二是大容量且有用的數據，比如對大學教學來說，肯定上述甲倉庫的書幾乎沒用，而乙能滿足這一要求；三是從中挖掘核心數據的強大能力，這個很考水平。
人工智慧分為兩個層次
對於人的思維模擬可以從兩條道路進行，一是結構模擬，仿照人腦的結構機制，製造出「類人腦」的機器；二是功能模擬，暫時撇開人腦的內部結構，而從其功能過程進行模擬。
大數據和人工智慧協同合作，人工智慧需要大數據提取的核心數據進行訓練，而訓練後的人工智慧也可以幫大數據更快速的挖掘出核心數據，兩者之間互助互利。

『貳』 大數據技術架構的什麼層提供基於統計學的數據

大數據技術架構的分析層提供基於統計學的數據。

大數據的四層堆棧式技術架構：

1、基礎層

第一層作為整個大數據技術架構基礎的最底層，也是基礎層。要實現大數據規模的應用，企業需要一個高度自動化的、可橫向擴展的存儲和計算平台。這個基礎設施需要從以前的存儲孤島發展為具有共享能力的高容量存儲池。容量、性能和吞吐量必須可以線性擴展。

雲模型鼓勵訪問數據並提供彈性資源池來應對大規模問題，解決了如何存儲大量數據，以及如何積聚所需的計算資源來操作數據的問題。在雲中，數據跨多個節點調配和分布，使得數據更接近需要它的用戶，從而可以縮短響應時間和提高生產率。

2、管理層

要支持在多源數據上做深層次的分析，大數據技術架構中需要一個管理平台，使結構化和非結構化數據管理為一體，具備實時傳送和查詢、計算功能。本層既包括數據的存儲和管理，也涉及數據的計算。並行化和分布式是大數據管理平台所必須考慮的要素。

3、分析層

大數據應用需要大數據分析。分析層提供基於統計學的數據挖掘和機器學習演算法，用於分析和解釋數據集，幫助企業獲得對數據價值深入的領悟。可擴展性強、使用靈活的大數據分析平台更可成為數據科學家的利器，起到事半功倍的效果。

4、應用層

大數據的價值體現在幫助企業進行決策和為終端用戶提供服務的應用。不同的新型商業需求驅動了大數據的應用。反之，大數據應用為企業提供的競爭優勢使得企業更加重視大數據的價值。新型大數據應用對大數據技術不斷提出新的要求，大數據技術也因此在不斷的發展變化中日趨成熟。

『叄』 京東分享 企業大數據的新認識與應用

京東分享：企業大數據的新認識與應用

大數據和我們每個人日常生活已經非常緊密地聯系在一起了。

隨便舉個場景的例子，比如說，早上醒來的時候我通過智能手錶的數據，發現昨晚的睡眠質量並不是太好，早上洗臉刷牙吃過早飯，步行1000多步來到六道口地鐵刷卡坐地鐵，兩站3塊錢到達奧林匹克公園，在地鐵上我通過京東手機客戶端發現一雙我之前瀏覽過的Nike籃球鞋降價了，京東將這條商品信息主動推送過來，我立馬下單購買，節省了100多塊錢，並且我把這條信息通過微信分享到了朋友圈。

在這個過程中，我個人生產了睡眠數據、步行距離數據、地鐵刷卡消費數據、地鐵起點終點地理數據、京東購物數據、微信朋友圈數據，所以作為大數據生產者我一下子生產了這么多數據。而作為大數據消費者，在我以後瀏覽京東商城或app的時候，系統可能會向我推薦改善睡眠智能的枕頭、籃球鞋或與籃球鞋相關的其他商品，而我朋友圈的朋友看到我的分享信息後，他們也可能因為我的分享而去購買。

而我們生產的這些數據，企業尤其是互聯網公司拿到後，通過數學統計和挖掘的演算法將其進行聚類、拆分和預測得到更多相關數據，通過這些數據對我們每個人進行標簽化的描述。如性別，婚姻狀況，興趣愛好，收入情況，是否喜歡運動，促銷敏感度等等，這樣就得到了我們每個人的很多屬性，如人口基本屬性、購買能力、行為特徵、社交網路、心理特徵、興趣愛好等等。

企業掌握了這些數據之後，他們如何來利用這些數據呢？是通過這些數據來做營銷，如精準營銷，廣告的精準投放，商品的精準推薦？還是通過這些數據精細化企業內部運營管理？又或是通過這些數據改善生產工藝流程、指導產品的二次研發？那就看企業大數據修行的層次了。大數據應用的好，可以真正提升到戰略高度，用的不好，大數據也就是錦上添花，可有可無的東西。

按照數據挖掘的聚類思維，企業數據可以分為內部數據和外部數據，內部數據又可以簡單分為財務數據和供應鏈數據（大供應鏈概念）。當然不同行業的企業經營內容差別很多，如金融行業，涉及到投資、融資、現金管理等財務方面可能多一些，涉及到供應鏈很少，而生產製造或流通服務行業，涉及供應鏈的數據就會多一些。

財務數據主要是以財務報表，尤其是財務發布的三大報表為主，資產負債表、利潤表以及現金流量表。之後是總帳，總帳裡面記賬會涉及到科目、科目不夠用我們也會設置輔助核算，還有大多企業每年都會做預算，預算大多也是圍繞財務指標制定的，或者是以財務預算為主倒推業務預算。當然財務管理中其中一大塊還有資金管理。

供應鏈的數據種類就會更多一些，從供應鏈上游的供應商到下游的消費者，包括采購，倉儲，物流，生產，銷售，售後等數據。當然每個環節我們還是可以再進一步去細化。

另外，相信沒有一家是自己關起來門來做生產，做營銷的，都要積極地去參考外部數據，這其中就包括國家政策、經濟環境、股市行情、競爭對手、主要原材料價格等。

大多數企業應該實施了BI系統或報表自動化系統，如果這些系統是由乙方單位負責規劃建設，他們在規劃或者實施過程中制定的系統方案架構圖無非就是分三個層次頂多四個層次。

從下往上說，第一個層次元數據層或者數據源層，就是我們業務應用系統的數據，財務，供應鏈，人力資源，預算等等。

第二層次叫做大數據存儲層，就是把下面每個層次的數據源採集到一個數據倉庫裡面去，之後就到了第三個層次，分析模型層，基於數據倉庫構建分析模型，有的方案甚至將分析模型層直接省略掉，直接到了最後一個層次數據展示層，將分析模型中的數據展示出來。根據筆者多年從業經驗，這樣的組織形式頂多稱之為BI系統，還不能稱之為大數據系統。

京東大數據並不是一個單獨的系統或產品，京東大數據應用已經融入到每個業務應用系統當中了。我們的大數據採集平台在不影響系統或產品效率以及客戶體驗的前提自動將所有數據定時、實時採集到Hadoop平台上，以大數據平台為核心，將經過加工、處理、分析和挖掘後的結果分發後各個業務系統以及數據產品中，如商城、采銷、數據羅盤、領航等。下圖僅供參考：

不是每家企業都是京東，也不是每家企業都是互聯網公司，不是每家企業的業務都必須需要大數據的支撐。在滿足自己業務需求的前提下，企業是不是也能玩一玩小數據應用呢？答案是肯定的，大數據應用也是可以分層次的，每個層次滿足企業對數據不同層次的需要。大致分為5個層次，每個層次是逐級遞進的關系。

1.業務監測

這是大數據應用的初級階段，即傳統的DW/BI階段。在這個階段，企業部署商業智能(BI)解決方案，其實就是一套自動化報表系統，用以監測現有業務的運行狀況。

業務監測，有時也被稱為業務績效管理(Business Performance Management)，指企業使用基本的分析手段，來預警業務運行低於或高於預期的情況，並自動發送相關警示信息給相應業務和管理人員。企業業務和管理人員可以根據之前制定的預警規則，提前掌握業務經營情況，實現提前預警，幫助他們有針對性、有預見性的採取一些措施和手段，來防範於未然。

這個階段最關鍵有兩個要點，一個是預警規則的設計，經常採用的方法包括參照方法(同期比較、同類營銷活動比較、同業標桿比較)或指標方法(品牌開發、客戶滿意度、產品績效、財務分析)，指標分析法就是選擇合理的指標，當然這里合理指標的選擇說起來容易，其實做起來也要費一番腦筋的，給大家舉個我之前碰到的例子，當時是給一個做離散製造的企業做方案設計，他們在庫存管理方面績效考核一個非常重要的指標就是存貨周轉率或存貨周轉天數，這本來是一個非常正常也是經常使用的指標，但是這家單位的庫存管理存在假出庫、假入庫的情況，這種情況就造成了存貨周轉率這個績效指標看起來非常好看，後來我們經過考慮改用動銷比，存銷比作為指標，將庫存指標和銷售指標聯合起來組合使用，就避免了假出庫、假入庫的情況。舉這個例子的目的，就是想說明我們在做業務監控的時候，指標選擇很重要，既要准確、公正地反映出該塊業務運營情況，同時還要避免人為造假的情況。

2.業務洞察

業務洞察意味著系統不只是提供數據報表，而是「智能」報表或「智能」儀表盤，需要根據歷史數據進一步預測、挖掘出我們通過前面多維分析還不知道的一些數據了。

比如說，筆者以前在給杭州某家連鎖酒店做項目的時候，我們需要根據該酒店在全國范圍內投資過酒店的經營情況數據來做些更好玩的東西出來，如我們需要根據之前投資過的酒店的裝修投入情況，不同檔次當前出租率，酒店餐飲部門的上座率和翻台率，營業收入，成本費用以及當地城市競爭對手酒店情況來預測新投資一家酒店的投資回報率和投資回收期。另外，還有就是財務分析中經常會用到的杜邦分析，簡單說下杜邦分析，杜邦分析就是從財務的角度對整個企業財務績效情況進行綜合分析的一個模型，他基本原理就是頂端是ROE，針對ROE我們可以分解為ROA×權益乘數，ROA又可以分為銷售凈利率×資產周轉率，之後再次分解，最後成一個全是財務指標的樹形結構。由於這些財務指標都是通過財務報表項目，會計科目和輔助核算計算出來的，所以他們之間存在著非常緊急的邏輯關系，這樣的話，我們可以計算一些技術手段實現模擬預測，如做下一年預算或規劃的時候，想讓某些財務指標達到什麼水平，我們事先將其進行調整，和他相關的指標也會聯動，比如將凈利潤提高1%，銷售收入、營銷成本、管理費用等其他指標就需要達到什麼程度?這樣可以幫我們做到事先預測，更好地做規劃和預算。

當然這個階段可以做預測的還有很多，比如零售行業，大多品類的銷售是有銷售周期的，基於銷售周期我們可以對銷售進行預測。也可以根據歷史用戶對不同營銷方式的響應程度、營銷費用、營銷商品以及營銷效果之間的關系，較為准確的鎖定目標人群進行有針對性的營銷，提高營銷效率，降低營銷成本。

3.業務優化

業務優化對於絕大多數企業來說還是很具備吸引力的，這也是很多企業日思夜想的目標。其實在這個階段我們可以一步步來，一點點來做，至少企業是有能力將分析技術嵌入到業務運營之中。這里舉個我們之前給傳統企業做過一個案例，像大多數企業一樣， 這家企業也有ERP系統，在采購環節，我們可以將供應績效模型引入進來，當然這個供應商績效模型可能要考慮的因素會比較多，如供貨質量、供貨效率，次品率，售後服務等等很多因素，采購人員在進行采購的時候可以根據供應商績效模型自主選擇合適的供應商，這是一個例子，另外還可以將主要原材料的市場價格進行實時接入到采購界面，讓采購管理人員可以自己掌握采購周期，合理安排采購計劃。

在零售行業我們都知道，商品和商品之間，用戶和用戶之間，用戶和商品之間是存在著很強的關聯關系，就像大夥常說啤酒和尿布的例子，巧克力和避孕套的例子。這里可以大家稍微說下，大多電商是怎麼做的，我們通過這些商品在被購買的記錄中找出每兩個商品之間的關聯關系，這種關聯關系並不是對等的，比如說購買了手機的用戶一般也會同時購買手機殼，而買手機殼的人不一定也買手機，這就說明手機和手機殼之間是有關系的，而且是強關系。手機殼和手機之間關系是弱關系，這里關系的強弱我們用系數來說明。所以商品和商品之間的這種關系，我們就形成一個商品模型。基於這個商品模型，我們就可以更好向用戶推薦他瀏覽過、購買過、收藏過、評論過的商品了。說完商品，我們再說用戶，用戶通過類似的瀏覽行為，搜索行為，評論行為以及購買行為，我們可以找到用戶和用戶之間的關系。基於用戶之間的行為關系，我們可以向用戶推薦其他和他相關度很強的用戶購買或感興趣的一些商品。這也就是好多互聯網公司做廣告推薦，商品推薦，促銷信息推薦等常用的做法。

4.數據盈利

數據盈利也就是我們經常談到數據變現，數據盈利的一種方式就是數據產品化。目前有很多數據服務類公司，可以採集到移動端游戲， app使用情況，用戶行為等數據，通過他們數據挖掘和分析的技術，再通過產品或服務的行為進行輸出即可實現變現的目的。另外，手機廠商，如小米、華為等，他們都擁有幾億的活躍用戶，掌握一手用戶在手機的行為數據，甚至包括支付數據。能變現的方面就有很多了，限制他們的就是他們的想法了。另外也越來越多的傳統廠商將產品數據化了，如汽車+大數據 變成了特斯拉，家居+大數據變成了智能家居，當然這里能舉的例子還有很多。

5.業務重塑

業務重塑應該是大數據成熟度模型的最高階段。在這個階段，某些企業希望利用對客戶使用方式、產品效能行為及總體市場趨勢的分析，將商業模式轉換到新市場的新服務，例如：京東的新開展的業務，京東金融、京東智能。此外，我們可以發揮一下想像力，BAT有哪些業務是以主營業務數據為基礎開拓出來的，是不是能想到很多？

中國乃至世界真正擁有大數據的企業不多，我們是幸運的，擁有電商全價值鏈的大數據，如何挖掘這座金礦？限制我們的只有我們自己的想法。

以上是小編為大家分享的關於京東分享 企業大數據的新認識與應用的相關內容，更多信息可以關注環球青藤分享更多干貨

『肆』 數據採集|教育大數據的來源、分類及結構模型

一、 教育大數據的來源

教育是一個超復雜的系統，涉及 教學、管理、教研、服務 等諸多業務。與金融系統具有清晰、規范、一致化的業務流程所不同的是，不同地區、不同學校的教育業務雖然具有一定的共性，但差異性也很突出，而業務的差異性直接導致教育數據來源更加多元、數據採集更加復雜。

教育大數據產生於 各種教育實踐活動 ，既包括校園環境下的教學活動、管理活動、科研活動以及校園生活，也包括家庭、社區、博物館、圖書館等非正式環境下的學習活動；既包括線上的教育教學活動，也包括線下的教育教學活動。

教育大數據的核心數據源頭是「人」和「物」——「人」包括學生、教師、管理者和家長，「物」包括信息系統校園網站、伺服器、多媒體設備等各種教育裝備。

依據來源和范圍的不同，可以將教育大數據分為個體教育大數據、課程教育大數據、班級教育大數據、學校教育大數據、區域教育大數據、國家教育大數據等六種 。

二、 教育大數據的分類

教育數據有多重分類方式。

從數據產生的業務來源來看，包括 教學類數據、管理類數據、科研類數據 以及服務類數據。

從數據產生的技術場景來看，包括 感知數據 、業務數據和互聯網數據等類型。

從數據結構化程度來看，包括 結構化數據、半結構化數據和非結構化數據 。結構化數據適合用二維表存儲。

從數據產生的環節來看，包括 過程性數據和結果性數據 。過程性數據是活動過程中採集到的、難以量化的數據（如課堂互動、在線作業、網路搜索等）；結果性數據則常表現為某種可量化的結果（如成績、等級、數量等）。

國家採集的數據主要以管理類、結構化和結果性的數據為主，重點關注宏觀層面教育發展整體狀況。到大數據時代，教育數據的全面採集和深度挖掘分析變得越來越重要。教育數據採集的重心將向非結構化、過程性的數據轉變。

三、教育數據的結構模型

整體來說，教育大數據可以分為四層，由內到外分別是基礎層、狀態層、資源層和行為層。

基礎層：也就是我們國家最最基礎的數據，是高度保密的數據； 包括教育部2012年發布的七個教育管理信息系列標准中提到的所有數據，如學校管理信息、行政管理信息和教育統計信息等；

狀態層，各種裝備、環境與業務的運行狀態的數據； 必然設備的耗能、故障、運行時間、校園空氣質量、教室光照和教學進度等；

資源層，最上層是關於教育領域的用戶行為數據。 比如PPT課件、微課、教學視頻、圖片、游戲、教學軟體、帖子、問題和試題試卷等；

行為層：存儲擴大教育相關用戶（教師、學生、教研員和教育管理者等）的行為數據， 比如學生的學習行為數據、教師的教學行為數據、教研員的教學指導行為數據以及管理員的系統維護行為數據等。

不同層次的數據應該有不同的採集方式和教育數據應用的場景。

關於教育大數據的冰山模型，目前我們更多的是採集一些顯性化的、結構性的數據，而存在冰山之下的是更多的非結構化的，而且真正為教育產生最大價值的數據是在冰山之下的。

參考文獻：

教育大數據的來源與採集技術  邢蓓蓓

『伍』 什麼是「大數據」，如何理解「大數據」

• 大數據的定義。大數據，又稱巨量資料，指的是所涉及的數據資料量規模巨大到無法通過人腦甚至主流軟體工具，在合理時間內達到擷取、管理、處理、並整理成為幫助企業經營決策更積極目的的資訊。

  

『陸』 大數據從技術層面分為那幾層,每一層有什麼功能

大數據技術層面主要分為這幾層
1. 預測分析技術
這也是大數據的主要功能之一。預測分析允許公司通過分析大數據源來發現、評估、優化和部署預測模型，從而提高業務性能或降低風險。同時，大數據的預測分析也與我們的生活息息相關。淘寶會預測你每次購物可能還想買什麼，愛奇藝正在預測你可能想看什麼，百合網和其他約會網站甚至試圖預測你會愛上誰……
2. NoSQL資料庫
NoSQL，Not Only SQL，意思是「不僅僅是SQL」，泛指非關系型資料庫。NoSQL資料庫提供了比關系資料庫更靈活、可伸縮和更便宜的替代方案，打破了傳統資料庫市場一統江山的格局。並且，NoSQL資料庫能夠更好地處理大數據應用的需求。常見的NoSQL資料庫有HBase、Redis、MongoDB、Couchbase、LevelDB等。
3. 搜索和知識發現
支持來自於多種數據源(如文件系統、資料庫、流、api和其他平台和應用程序)中的大型非結構化和結構化數據存儲庫中自助提取信息的工具和技術。如，數據挖掘技術和各種大數據平台。
4. 大數據流計算引擎
能夠過濾、聚合、豐富和分析來自多個完全不同的活動數據源的數據的高吞吐量的框架，可以採用任何數據格式。現今流行的流式計算引擎有Spark Streaming和Flink。
5. 內存數據結構
通過在分布式計算機系統中動態隨機訪問內存(DRAM)、快閃記憶體或SSD上分布數據，提供低延遲的訪問和處理大量數據。
6. 分布式文件存儲
為了保證文件的可靠性和存取性能，數據通常以副本的方式存儲在多個節點上的計算機網路。常見的分布式文件系統有GFS、HDFS、Lustre 、Ceph等。
7. 數據虛擬化
數據虛擬化是一種數據管理方法，它允許應用程序檢索和操作數據，而不需要關心有關數據的技術細節，比如數據在源文件中是何種格式，或者數據存儲的物理位置，並且可以提供單個客戶用戶視圖。
8. 數據集成
用於跨解決方案進行數據編排的工具，如Amazon Elastic MapRece (EMR)、Apache Hive、Apache Pig、Apache Spark、MapRece、Couchbase、Hadoop和MongoDB等。
9. 數據准備
減輕采購、成形、清理和共享各種雜亂數據集的負擔的軟體，以加速數據對分析的有用性。
10. 數據質量
使用分布式數據存儲和資料庫上的並行操作，對大型高速數據集進行數據清理和充實的產品。

『柒』 黑天鵝演算法與大數據的四個層次

黑天鵝演算法與大數據的四個層次簡單來說 黑天鵝演算法 對於數據 分為四個層次
1，原專始數據，例如屬zw的足彩數據包 這個是最重要的2、統計分析數據 ，基於1進行各種基本統計分析3、黑天鵝素材庫，基於2 ，對於盈利率kv>100（這個可以調整，一般高一點，150左右）的數據，記錄這些數據的特徵點4，將3記錄的數據，作為知識庫，建立黑天鵝知識庫，模型庫，xx庫，名字無所謂
所有數據 消息 都已經體現在賠率裡面
實盤時，就是找到和4知識庫匹配的數據，可能不止一條，設定幾個參數，篩選下具體細節 參數 需要實盤測試所以需要幾個不同周期時段的實盤數據 多長優化 迭代
特徵無所謂 每個欄位都可以看做一個特徵點不斷優化 調整
對於莊家，賠率，大家要把握一點：平衡 一方面 莊家要賺錢 要設置陷阱 誘惑 一方面 莊家 不能趕盡殺絕 把大家全部嚇住 以後就沒有生意做了 這樣一來 自然形成了一種生物學上的動態平衡 所以 有時間 多看看哲學 易經 對於理科生 沒有害處

『捌』 互聯網大數據是什麼

大數據（big data）是指無法在一定時間范圍內用常規軟體工具進行捕捉、管理和處理的數據集合，是需要新處理模式才能具有更強的決策力、洞察發現力和流程優化能力的海量、高增長率和多樣化的信息資產。

特徵：

1、容量（Volume）：數據的大小決定所考慮的數據的價值和潛在的信息。

2、種類（Variety）：數據類型的多樣性。

3、速度（Velocity）：指獲得數據的速度。

4、可變性（Variability）：妨礙了處理和有效地管理數據的過程。

5、真實性（Veracity）：數據的質量。

6、復雜性（Complexity）：數據量巨大，來源多渠道。

7、價值（value）：合理運用大數據，以低成本創造高價值。

(8)大數據的層次擴展閱讀：

對於「大數據」（Big data）研究機構Gartner給出了這樣的定義。「大數據」是需要新處理模式才能具有更強的決策力、洞察發現力和流程優化能力來適應海量、高增長率和多樣化的信息資產。

互聯網大數據的八個趨勢：數據的資源化，與雲計算的深度結合，科學理論的突破，數據科學和數據聯盟的成立，數據泄露泛濫，數據管理成為核心競爭力，數據質量是BI(商業智能)成功的關鍵，數據生態系統復合化程度加強。

網路-大數據