大數據是種能力

Ⅰ 什麼是大數據 大數據是什麼意思

大數據是一種規模大到在獲取、存儲、管理、分析方面大大超出了傳統資料庫軟體工具能力范圍的數據集合，具有海量的數據規模、快速的數據流轉、多樣的數據類型和價值密度低四大特徵。

從技術上看，大數據與雲計算的關系就像一枚硬幣的正反面一樣密不可分。大數據必然無法用單台的計算機進行處理，必須採用分布式架構。它的特色在於對海量數據進行分布式數據挖掘。但它必須依託雲計算的分布式處理、分布式資料庫和雲存儲、虛擬化技術。

(1)大數據是種能力擴展閱讀

大數據的價值體現在以三方面：

1、對大量消費者提供產品或服務的企業可以利用大數據進行精準營銷；

2、做小而美模式的中小微企業可以利用大數據做服務轉型；

3、面臨互聯網壓力之下必須轉型的傳統企業需要與時俱進充分利用大數據的價值。

Ⅱ 外行人的大數據五問 帶你了解大數據

外行人的大數據五問 帶你了解大數據
大數據是什麼？是一種運營模式，是一種能力，還是一種技術，或是一種數據集合的統稱？今天我們所說的「大數據」和過去傳統意義上的「數據」的區別又在哪裡？大數據有什麼特點？來源有哪些？又應用於哪些方面等等。接下來小編帶您一起了解大數據。
>>>>>大數據概念
"大數據"是一個體量特別大，數據類別特別大的數據集，並且這樣的數據集無法用傳統資料庫工具對其內容進行抓取、管理和處理。 "大數據"首先是指數據體量(volumes)?大，指代大型數據集，一般在10TB?規模左右，但在實際應用中，很多企業用戶把多個數據集放在一起，已經形成了PB級的數據量；其次是指數據類別(variety)大，數據來自多種數據源，數據種類和格式日漸豐富，已沖破了以前所限定的結構化數據范疇，囊括了半結構化和非結構化數據。接著是數據處理速度（Velocity）快，在數據量非常龐大的情況下，也能夠做到數據的實時處理。最後一個特點是指數據真實性（Veracity）高，隨著社交數據、企業內容、交易與應用數據等新數據源的興趣，傳統數據源的局限被打破，企業愈發需要有效的信息之力以確保其真實性及安全性。
網路知道—大數據概念
大數據(bigdata)，或稱巨量資料，指的是所涉及的資料量規模巨大到無法透過目前主流軟體工具，在合理時間內達到擷取、管理、處理、並整理成為幫助企業經營決策更積極目的的資訊。大數據的4V特點：Volume、Velocity、Variety、Veracity。
互聯網周刊—大數據概念
"大數據"的概念遠不止大量的數據（TB）和處理大量數據的技術，或者所謂的"4個V"之類的簡單概念，而是涵蓋了人們在大規模數據的基礎上可以做的事情，而這些事情在小規模數據的基礎上是無法實現的。換句話說，大數據讓我們以一種前所未有的方式，通過對海量數據進行分析，獲得有巨大價值的產品和服務，或深刻的洞見，最終形成變革之力
研究機構Gartner—大數據概念
"大數據"是需要新處理模式才能具有更強的決策力、洞察發現力和流程優化能力的海量、高增長率和多樣化的信息資產。從數據的類別上看，"大數據"指的是無法使用傳統流程或工具處理或分析的信息。它定義了那些超出正常處理范圍和大小、迫使用戶採用非傳統處理方法的數據集。 亞馬遜網路服務（AWS）、大數據科學家JohnRauser提到一個簡單的定義：大數據就是任何超過了一台計算機處理能力的龐大數據量。 研發小組對大數據的定義："大數據是最大的宣傳技術、是最時髦的技術，當這種現象出現時，定義就變得很混亂。" Kelly說："大數據是可能不包含所有的信息，但我覺得大部分是正確的。對大數據的一部分認知在於，它是如此之大，分析它需要多個工作負載，這是AWS的定義。當你的技術達到極限時，也就是數據的極限"。 大數據不是關於如何定義，最重要的是如何使用。最大的挑戰在於哪些技術能更好的使用數據以及大數據的應用情況如何。這與傳統的資料庫相比，開源的大數據分析工具的如Hadoop的崛起，這些非結構化的數據服務的價值在哪裡。
>>>>>大數據分析
眾所周知，大數據已經不簡簡單單是數據大的事實了，而最重要的現實是對大數據進行分析，只有通過分析才能獲取很多智能的，深入的，有價值的信息。那麼越來越多的應用涉及到大數據，而這些大數據的屬性，包括數量，速度，多樣性等等都是呈現了大數據不斷增長的復雜性，所以大數據的分析方法在大數據領域就顯得尤為重要，可以說是決定最終信息是否有價值的決定性因素。基於如此的認識，大數據分析普遍存在的方法理論有哪些呢？
>>>>>大數據技術
數據採集：ETL工具負責將分布的、異構數據源中的數據如關系數據、平面數據文件等抽取到臨時中間層後進行清洗、轉換、集成，最後載入到數據倉庫或數據集市中，成為聯機分析處理、數據挖掘的基礎。
數據存取：關系資料庫、NOSQL、SQL等。
基礎架構：雲存儲、分布式文件存儲等。
數據處理：自然語言處理(NLP，NaturalLanguageProcessing)是研究人與計算機交互的語言問題的一門學科。處理自然語言的關鍵是要讓計算機"理解"自然語言，所以自然語言處理又叫做自然語言理解(NLU，NaturalLanguage Understanding)，也稱為計算語言學(Computational Linguistics。一方面它是語言信息處理的一個分支，另一方面它是人工智慧(AI, Artificial Intelligence)的核心課題之一。
統計分析：假設檢驗、顯著性檢驗、差異分析、相關分析、T檢驗、方差分析、卡方分析、偏相關分析、距離分析、回歸分析、簡單回歸分析、多元回歸分析、逐步回歸、回歸預測與殘差分析、嶺回歸、logistic回歸分析、曲線估計、因子分析、聚類分析、主成分分析、因子分析、快速聚類法與聚類法、判別分析、對應分析、多元對應分析（最優尺度分析）、bootstrap技術等等。
數據挖掘：分類 （Classification）、估計（Estimation）、預測（Prediction）、相關性分組或關聯規則（Affinity grouping or association rules）、聚類（Clustering）、描述和可視化、Description and Visualization）、復雜數據類型挖掘(Text, Web ,圖形圖像，視頻，音頻等)
模型預測：預測模型、機器學習、建模模擬。
結果呈現：雲計算、標簽雲、關系圖等。
>>>>>大數據特點
要理解大數據這一概念，首先要從"大"入手，"大"是指數據規模，大數據一般指在10TB(1TB=1024GB)規模以上的數據量。大數據同過去的海量數據有所區別，其基本特徵可以用4個V來總結(Vol-ume、Variety、Value和Veloc-ity)，即體量大、多樣性、價值密度低、速度快。
第一，數據體量巨大。從TB級別，躍升到PB級別。
第二，數據類型繁多，如前文提到的網路日誌、視頻、圖片、地理位置信息，等等。
第三，價值密度低。以視頻為例，連續不間斷監控過程中，可能有用的數據僅僅有一兩秒。
第四，處理速度快。1秒定律。最後這一點也是和傳統的數據挖掘技術有著本質的不同。物聯網、雲計算、移動互聯網、車聯網、手機、平板電腦、PC以及遍布地球各個角落的各種各樣的感測器，無一不是數據來源或者承載的方式。
大數據技術是指從各種各樣類型的巨量數據中，快速獲得有價值信息的技術。解決大數據問題的核心是大數據技術。目前所說的"大數據"不僅指數據本身的規模，也包括採集數據的工具、平台和數據分析系統。大數據研發目的是發展大數據技術並將其應用到相關領域，通過解決巨量數據處理問題促進其突破性發展。因此，大數據時代帶來的挑戰不僅體現在如何處理巨量數據從中獲取有價值的信息，也體現在如何加強大數據技術研發，搶占時代發展的前沿。
當下我國大數據研發建設應在以下四個方面著力
一是建立一套運行機制。大數據建設是一項有序的、動態的、可持續發展的系統工程，必須建立良好的運行機制，以促進建設過程中各個環節的正規有序，實現統合，搞好頂層設計。
二是規范一套建設標准。沒有標准就沒有系統。應建立面向不同主題、覆蓋各個領域、不斷動態更新的大數據建設標准，為實現各級各類信息系統的網路互連、信息互通、資源共享奠定基礎。
三是搭建一個共享平台。數據只有不斷流動和充分共享，才有生命力。應在各專用資料庫建設的基礎上，通過數據集成，實現各級各類指揮信息系統的數據交換和數據共享。
四是培養一支專業隊伍。大數據建設的每個環節都需要依靠專業人員完成，因此，必須培養和造就一支懂指揮、懂技術、懂管理的大數據建設專業隊伍。
>>>>>大數據作用
大數據時代到來，認同這一判斷的人越來越多。那麼大數據意味著什麼，他到底會改變什麼？僅僅從技術角度回答，已不足以解惑。大數據只是賓語，離開了人這個主語，它再大也沒有意義。我們需要把大數據放在人的背景中加以透視，理解它作為時代變革力量的所以然。
變革價值的力量
未來十年，決定中國是不是有大智慧的核心意義標准（那個"思想者"），就是國民幸福。一體現在民生上，通過大數據讓有意義的事變得澄明，看我們在人與人關繫上，做得是否比以前更有意義；二體現在生態上，通過大數據讓有意義的事變得澄明，看我們在天與人關繫上，做得是否比以前更有意義。總之，讓我們從前10年的意義混沌時代，進入未來10年意義澄明時代。
變革經濟的力量
生產者是有價值的，消費者是價值的意義所在。有意義的才有價值，消費者不認同的，就賣不出去，就實現不了價值；只有消費者認同的，才賣得出去，才實現得了價值。大數據幫助我們從消費者這個源頭識別意義，從而幫助生產者實現價值。這就是啟動內需的原理。
變革組織的力量
隨著具有語義網特徵的數據基礎設施和數據資源發展起來，組織的變革就越來越顯得不可避免。大數據將推動網路結構產生無組織的組織力量。最先反映這種結構特點的，是各種各樣去中心化的WEB2.0應用，如RSS、維基、博客等。
大數據之所以成為時代變革力量，在於它通過追隨意義而獲得智慧。
>>>>>大數據處理
大數據處理數據時代理念的三大轉變：要全體不要抽樣，要效率不要絕對精確，要相關不要因果。
大數據處理的流程
具體的大數據處理方法確實有很多，但是根據筆者長時間的實踐，總結了一個普遍適用的大數據處理流程，並且這個流程應該能夠對大家理順大數據的處理有所幫助。整個處理流程可以概括為四步，分別是採集、導入和預處理、統計和分析，最後是數據挖掘。
大數據處理之一：採集
大數據的採集是指利用多個資料庫來接收發自客戶端（Web、App或者感測器形式等）的數據，並且用戶可以通過這些資料庫來進行簡單的查詢和處理工作。比如，電商會使用傳統的關系型資料庫MySQL和Oracle等來存儲每一筆事務數據，除此之外，Redis和MongoDB這樣的NoSQL資料庫也常用於數據的採集。
在大數據的採集過程中，其主要特點和挑戰是並發數高，因為同時有可能會有成千上萬的用戶來進行訪問和操作，比如火車票售票網站和淘寶，它們並發的訪問量在峰值時達到上百萬，所以需要在採集端部署大量資料庫才能支撐。並且如何在這些資料庫之間進行負載均衡和分片的確是需要深入的思考和設計。
大數據處理之二：導入/預處理
雖然採集端本身會有很多資料庫，但是如果要對這些海量數據進行有效的分析，還是應該將這些來自前端的數據導入到一個集中的大型分布式資料庫，或者分布式存儲集群，並且可以在導入基礎上做一些簡單的清洗和預處理工作。也有一些用戶會在導入時使用來自Twitter的Storm來對數據進行流式計算，來滿足部分業務的實時計算需求。
導入與預處理過程的特點和挑戰主要是導入的數據量大，每秒鍾的導入量經常會達到百兆，甚至千兆級別。
大數據處理之三：統計/分析
統計與分析主要利用分布式資料庫，或者分布式計算集群來對存儲於其內的海量數據進行普通的分析和分類匯總等，以滿足大多數常見的分析需求，在這方面，一些實時性需求會用到EMC的GreenPlum、Oracle的Exadata，以及基於MySQL的列式存儲Infobright等，而一些批處理，或者基於半結構化數據的需求可以使用Hadoop。
統計與分析這部分的主要特點和挑戰是分析涉及的數據量大，其對系統資源，特別是I/O會有極大的佔用。
大數據處理之四：挖掘
與前面統計和分析過程不同的是，數據挖掘一般沒有什麼預先設定好的主題，主要是在現有數據上面進行基於各種演算法的計算，從而起到預測（Predict）的效果，從而實現一些高級別數據分析的需求。比較典型演算法有用於聚類的Kmeans、用於統計學習的SVM和用於分類的NaiveBayes，主要使用的工具有Hadoop的Mahout等。該過程的特點和挑戰主要是用於挖掘的演算法很復雜，並且計算涉及的數據量和計算量都很大，常用數據挖掘演算法都以單線程為主。
整個大數據處理的普遍流程至少應該滿足這四個方面的步驟，才能算得上是一個比較完整的大數據處理。
>>>>>大數據應用與案例分析
大數據應用的關鍵，也是其必要條件，就在於"IT"與"經營"的融合，當然，這里的經營的內涵可以非常廣泛，小至一個零售門店的經營，大至一個城市的經營。以下是我整理的關於各行各業，不同的組織機構在大數據方面的應用的案例，在此申明，以下案例均來源於網路，本文僅作引用，並在此基礎上作簡單的梳理和分類。
大數據應用案例之：醫療行業
[1] Seton Healthcare是採用IBM最新沃森技術醫療保健內容分析預測的首個客戶。該技術允許企業找到大量病人相關的臨床醫療信息，通過大數據處理，更好地分析病人的信息。
[2] 在加拿大多倫多的一家醫院，針對早產嬰兒，每秒鍾有超過3000次的數據讀取。通過這些數據分析，醫院能夠提前知道哪些早產兒出現問題並且有針對性地採取措施，避免早產嬰兒夭折。
[3] 它讓更多的創業者更方便地開發產品，比如通過社交網路來收集數據的健康類App。也許未來數年後，它們搜集的數據能讓醫生給你的診斷變得更為精確，比方說不是通用的成人每日三次一次一片，而是檢測到你的血液中葯劑已經代謝完成會自動提醒你再次服葯。
大數據應用案例之：能源行業
[1] 智能電網現在歐洲已經做到了終端，也就是所謂的智能電表。在德國，為了鼓勵利用太陽能，會在家庭安裝太陽能，除了賣電給你，當你的太陽能有多餘電的時候還可以買回來。通過電網收集每隔五分鍾或十分鍾收集一次數據，收集來的這些數據可以用來預測客戶的用電習慣等，從而推斷出在未來2~3個月時間里，整個電網大概需要多少電。有了這個預測後，就可以向發電或者供電企業購買一定數量的電。因為電有點像期貨一樣，如果提前買就會比較便宜，買現貨就比較貴。通過這個預測後，可以降低采購成本。
[2] 維斯塔斯風力系統，依靠的是BigInsights軟體和IBM超級計算機，然後對氣象數據進行分析，找出安裝風力渦輪機和整個風電場最佳的地點。利用大數據，以往需要數周的分析工作，現在僅需要不足1小時便可完成。
大數據應用案例之：通信行業
[1] XO Communications通過使用IBM SPSS預測分析軟體，減少了將近一半的客戶流失率。XO現在可以預測客戶的行為，發現行為趨勢，並找出存在缺陷的環節，從而幫助公司及時採取措施，保留客戶。此外，IBM新的Netezza網路分析加速器，將通過提供單個端到端網路、服務、客戶分析視圖的可擴展平台，幫助通信企業制定更科學、合理決策。
[2] 電信業者透過數以千萬計的客戶資料，能分析出多種使用者行為和趨勢，賣給需要的企業，這是全新的資料經濟。
[3] 中國移動通過大數據分析，對企業運營的全業務進行針對性的監控、預警、跟蹤。系統在第一時間自動捕捉市場變化，再以最快捷的方式推送給指定負責人，使他在最短時間內獲知市場行情。
[4] NTT docomo把手機位置信息和互聯網上的信息結合起來，為顧客提供附近的餐飲店信息，接近末班車時間時，提供末班車信息服務。
大數據應用案例之：零售業
[1] "我們的某個客戶，是一家領先的專業時裝零售商，通過當地的百貨商店、網路及其郵購目錄業務為客戶提供服務。公司希望向客戶提供差異化服務，如何定位公司的差異化，他們通過從 Twitter 和 Facebook 上收集社交信息，更深入的理解化妝品的營銷模式，隨後他們認識到必須保留兩類有價值的客戶：高消費者和高影響者。希望通過接受免費化妝服務，讓用戶進行口碑宣傳，這是交易數據與交互數據的完美結合，為業務挑戰提供了解決方案。"Informatica的技術幫助這家零售商用社交平台上的數據充實了客戶主數據，使他的業務服務更具有目標性。
[2] 零售企業也監控客戶的店內走動情況以及與商品的互動。它們將這些數據與交易記錄相結合來展開分析，從而在銷售哪些商品、如何擺放貨品以及何時調整售價上給出意見，此類方法已經幫助某領先零售企業減少了17%的存貨，同時在保持市場份額的前提下，增加了高利潤率自有品牌商品的比例

Ⅲ 大數據能提供三種能力包括什麼

三種能力
我們建議企業和政府機構進行數據整合能力、分析能力和行動能力的建設。對於任何公司的管理層來說，要充分認識到數據的重要性，在管理層充分認識到數據的重要性之後，內部要有足夠的人員和能力去整合、搭建和完善數據管理基礎架構。有了海量數據之後，數據分析師能夠對其進行分析和挖掘，使其產生理想的價值。
數據分析能力通過一定的方法論可以獲得。這個方法論從宏觀的角度來看，是通過數據整合探索出有效的業務價值，進而精確地協助制定商業策略或服務提升的策略，有效地採取正確的行動，來協助業務和服務質量的增長，或是解決業務已知、不確定或發現未知的問題。
另外，數據要實現普及化，不僅掌握在管理層手中，在數據安全和許可權管理的機制下，企業或單位的每一個人都要了解自己的業務具體發生了什麼，為何發生，預測將要發生什麼情況，從而更快、更好地做出決策，最終達到智慧型的管理，通過一些主動式的事件，產生正確的行動，如業務增長的價值措施和辦法，來精確有效地提升業務的增長。

Ⅳ 教育大數據的內涵

本章主要介紹教育大數據的內涵、體量與價值。

1、什麼是大數據

2012 年聯合國發布了大數據白皮書「Big Data for Development:Challenges& Opportunities」明確提

出大數據時代已經到來。

大數據作為信息技術發展的新趨勢"具有海量的數據規模（Volume）、快速的數據流轉（Vwlocity）、多樣的數據類型（Variety）和巨大的數據價值（Value）。通過對海量數據的分析挖掘，以一種前所未有的方式獲得巨大的產品服務，深刻的真知灼見，為我們理解生活以及認識世界提供了一種全新的思維方式，實現思維的三大轉變：一是不再依賴於小樣本數據，而是與現象相關的所有數據；二是不再熱衷於追求微觀層面的精確，而是宏觀層面的洞察力；三是從傳統的因果關系追求中解脫出來，關注相關關系的發現和應用。

大數據不僅僅是一種技術，也是一種能力，即從海量復雜的數據中尋找有意義關聯、挖掘事物變化規律、准確預測事物發展趨勢的能力。

2、教育大數據的內涵

教育大數據特指教育領域的大數據，即整個教育活動過程中所產生的以及根據教育需要採集到的、一切用於教育發展並可創造巨大潛在價值的數據集合。

教育大數據直接產生於各種教育活動（包括教學活動、管理活動、科研活動、校園活動等），每個教育利益相關者既是教育數據的生產者也是教育數據的消費者。教育大數據具有明確的目標指向性，即指向教育發展，能在提升教育質量、促進教育公平、實現個性化學習、優化教育資源配置、輔助教育科學決策等方面發揮有效作用。

3、教育大數據的特性

與電子商務、交通、醫療、金融保險等領域的大數據相比，教育大數據具有以下特徵：

教育大數據的採集呈現高度的復雜性；

教育大數據的應用需要高度的創造性；

教育大數據不僅注重相關關系，更強調因果關系；

4、教育大數據的分層架構

為了更加清晰地認識教育大數據的概貌，根據教育數據的來源與范圍，將其分成

五層架構，如下圖所示：

5、教育大數據的體量

IT 界普遍認為，大數據指體量在 Tb 級別以上或者條目在百萬級別以上的數據。實際上，大數據是個相對於小數據而言的概念；大數據並非等同於大量的數據，而是突出強調跨領域數據的交叉融合和數據的流動生長。

《中國基礎教育大數據發展白皮書》編委會對基礎教育階段一年的數據量進行了估算。基礎教育大數據體量估算的維度與基準值如圖 1 所示，包括對師生基本信息數據、課業測試與作業數據、校園實錄數據和課程資源數據的估量。

圖 1  基礎教育大數據體量估算的維度與基準值

圖 2  基礎教育大數據體量估算結果（一年）

可以肯定地說，無論是按 Eb 還是 Pb 量級來規定大數據的體量要求，中國教育領域都存在真正的大數據。

6、教育大數據的價值

（1）戰略層價值

①教育大數據是一種無形的戰略資產、是一座可無限開採的「金礦」，充分的挖掘與應用是實現數據「資產」增值的唯一途徑；

②教育改革既要有膽魄，更要有科學的依據，教育大數據是推動教育領域全面深化改革的科學力量；

③教育大數據匯聚、存儲了教育領域的信息資產，是發展智慧教育最重要的基礎。

（2）應用層價值

①開展數據驅動的教育決策，實現教育設備與環境的智能管控，提升教育危機預防與安全管理的能力；

②持續優化教與學，輔助教師開展精準教學，輔助學生實現個性化學習；

③促使教育評價從「經驗主義」走向「數據主義」、從「宏觀群體評價」走向「微觀個體評價」、從「單一評價」走向「綜合評價」；

④教育數據的合理、合法、有效、創新應用，不斷催生越來越多樣化且越來越智慧化的教育服務；

⑤推動社會科學的研究範式從抽樣模式走向全樣本模式，使社會科學成為一門實實在在的實證科學。

教育大數據的最終價值應體現在與教育主流業務的深度融合以及持續推動教育系統的智慧化變革上。目前，國內外已有一些教育大數據的創新應用案例，涵蓋教學、管理、評價、服務等方面。

參考文獻

教育大數據的技術體系框架與發展趨勢——「教育大數據研究與實踐專欄」之整體框架篇  楊現民

教育大數據的應用模式與政策建議  楊現民

Ⅳ 大數據是什麼意思

大數據是一種在獲取、存儲、管理、分析等方面大大超出了傳統資料庫軟體工具能力范圍的數據集合。它具有大量、快速、多樣、價值空蘆遲密度低和真實性五大特徵。對於「大數據」研究機構Gartner給出了這樣的定義。「大數據」是需要新處理模式才能具有更強的決策力、洞察發現力和流程優化能力來適應海量、高增長率和多樣化的信息資產。

大數據的特性：

大量 (Volume)：大量體現在數據量上，大數據的採集、存儲、計算的量都很大。一般PB以上的數據才能稱為大數據，在實際應用中，大數據的數據量通常高達數十TB，甚至數百 PB。

快速 (Velocity)：高速是指高速接收、高速處理數據，因為數據具有一定的時效性嘩輪。

多樣 (Variety)：多樣是指可用的數據類型眾多。包括結構化、半結構斗李化和非結構化數據，具體表現為網路日誌、音頻、視頻、圖片、模擬信號等等。

價值(Value)：大數據的數據價值密度相對較低，我們需要以低成本創造高價值。

真實性(Veracity)：數據的質量，即保證數據的准確性和可信賴度。