⑴ 大數據時代是什麼意思大數據是在什麼背景下提出的
大數據時代:
最早提出大數據時代到來的是全球知名咨詢公司麥肯錫, 大數據在物理學、生物學、環境生態學等領域以及軍事、金融、通訊等行業存在已有時日,卻因為近年來互聯網和信息行業的發展而引起人們關注。
大數據提出的背景:
進入2012年,大數據(big data)一詞越來越多地被提及,人們用它來描述和定義信息爆炸時代產生的海量數據,並命名與之相關的技術發展與創新。
它已經上過《紐約時報》《華爾街日報》的專欄封面,進入美國白宮官網的新聞,現身在國內一些互聯網主題的講座沙龍中,甚至被嗅覺靈敏的國金證券、國泰君安、銀河證券等寫進了投資推薦報告。
數據正在迅速膨脹並變大,它決定著企業的未來發展,雖然很多企業可能並沒有意識到數據爆炸性增長帶來問題的隱患,但是隨著時間的推移,人們將越來越多的意識到數據對企業的重要性。
正如《紐約時報》2012年2月的一篇專欄中所稱,「大數據」時代已經降臨,在商業、經濟及其他領域中,決策將日益基於數據和分析而作出,而並非基於經驗和直覺。
哈佛大學社會學教授加里·金說:「這是一場革命,龐大的數據資源使得各個領域開始了量化進程,無論學術界、商界還是政府,所有領域都將開始這種進程。」
(1)大數據大數據時代擴展閱讀
大數據影響
現在的社會是一個高速發展的社會,科技發達,信息流通,人們之間的交流越來越密切,生活也越來越方便,大數據就是這個高科技時代的產物。
隨著雲時代的來臨,大數據(Big data)也吸引了越來越多的關注。大數據(Big data)通常用來形容一個公司創造的大量非結構化和半結構化數據,這些數據在下載到關系型資料庫用於分析時會花費過多時間和金錢。
大數據分析常和雲計算聯繫到一起,因為實時的大型數據集分析需要像MapRece一樣的框架來向數十、數百或甚至數千的電腦分配工作。
在現今的社會,大數據的應用越來越彰顯他的優勢,它佔領的領域也越來越大,電子商務、O2O、物流配送等,各種利用大數據進行發展的領域正在協助企業不斷地發展新業務,創新運營模式。
有了大數據這個概念,對於消費者行為的判斷,產品銷售量的預測,精確的營銷范圍以及存貨的補給已經得到全面的改善與優化。
「大數據」在互聯網行業指的是這樣一種現象:互聯網公司在日常運營中生成、累積的用戶網路行為數據。這些數據的規模是如此龐大,以至於不能用G或T來衡量。
大數據到底有多大?一組名為「互聯網上一天」的數據告訴我們,一天之中,互聯網產生的全部內容可以刻滿1.68億張DVD;發出的郵件有2940億封之多(相當於美國兩年的紙質信件數量)。
發出的社區帖子達200萬個(相當於《時代》雜志770年的文字量);賣出的手機為37.8萬台,高於全球每天出生的嬰兒數量37.1萬……
截止到2012年,數據量已經從TB(1024GB=1TB)級別躍升到PB(1024TB=1PB)
EB(1024PB=1EB)乃至ZB(1024EB=1ZB)級別。國際數據公司(IDC)的研究結果表明,2008年全球產生的數據量為0.49ZB,2009年的數據量為0.8ZB,2010年增長為1.2ZB,2011年的數量更是高達1.82ZB,相當於全球每人產生200GB以上的數據。
而到2012年為止,人類生產的所有印刷材料的數據量是200PB,全人類歷史上說過的所有話的數據量大約是5EB。IBM的研究稱,整個人類文明所獲得的全部數據中,有90%是過去兩年內產生的。而到了2020年,全世界所產生的數據規模將達到今天的44倍。
每一天,全世界會上傳超過5億張圖片,每分鍾就有20小時時長的視頻被分享。然而,即使是人們每天創造的全部信息——包括語音通話、電子郵件和信息在內的各種通信,以及上傳的全部圖片、視頻與音樂,其信息量也無法匹及每一天所創造出的關於人們自身的數字信息量。
這樣的趨勢會持續下去。我們現在還處於所謂「物聯網」的最初級階段,而隨著技術成熟,我們的設備、交通工具和迅速發展的「可穿戴」科技將能互相連接與溝通。
科技的進步已經使創造、捕捉和管理信息的成本降至2005年的六分之一,而從2005年起,用在硬體、軟體、人才及服務之上的商業投資也增長了整整50%,達到了4000億美元。
大數據的精髓
大數據帶給我們的三個顛覆性觀念轉變:是全部數據,而不是隨機采樣;是大體方向,而不是精確制導;是相關關系,而不是因果關系。
A.不是隨機樣本,而是全體數據:在大數據時代,我們可以分析更多的數據,有時候甚至可以處理和某個特別現象相關的所有數據,而不再依賴於隨機采樣(隨機采樣,以前我們通常把這看成是理所應當的限制,但高性能的數字技術讓我們意識到,這其實是一種人為限制);
B.不是精確性,而是混雜性:研究數據如此之多,以至於我們不再熱衷於追求精確度;之前需要分析的數據很少,所以我們必須盡可能精確地量化我們的記錄,隨著規模的擴大,對精確度的痴迷將減弱;擁有了大數據,我們不再需要對一個現象刨根問底,只要掌握了大體的發展方向即可。
適當忽略微觀層面上的精確度,會讓我們在宏觀層面擁有更好的洞察力;
C.不是因果關系,而是相關關系:我們不再熱衷於找因果關系,尋找因果關系是人類長久以來的習慣,在大數據時代,我們無須再緊盯事物之間的因果關系,而應該尋找事物之間的相關關系;相關關系也許不能准確地告訴我們某件事情為何會發生,但是它會提醒我們這件事情正在發生。
⑵ 澶ф暟鎹鏃朵唬鏄浠涔
闂棰樹竴錛氫粈涔堟槸澶ф暟鎹鏃朵唬
澶ф暟鎹鏃朵唬鎸囩殑鏄鎴戜滑鎵澶勭殑鏃朵唬錛屽叾涓鍖呭惈鐫闅句互鎯寵薄鐨勬暟瀛楀寲淇℃伅錛岃繖浜涗俊鎮鍦ㄥ晢涓氥佺戝︺佽壓鏈絳夊氫釜棰嗗煙涓鏃犲勪笉鍦ㄣ傜戝﹀跺拰璁$畻鏈哄伐紼嬪笀浠鍒涢犱簡鈥滃ぇ鏁版嵁鈥濊繖涓鏂板悕璇嶆潵鎻忚堪榪欎竴鐜拌薄銆傚ぇ鏁版嵁鎸囩殑鏄鎵娑夊強鐨勬暟鎹璧勬枡閲忚勬ā宸ㄥぇ鍒版棤娉曢氳繃浜鴻剳鎴栦富嫻佽蔣浠跺伐鍏峰湪鍚堢悊鏃墮棿鍐呰揪鍒版挿鍙栥佺$悊銆佸勭悊銆佸苟鏁寸悊鎴愪負甯鍔╀紒涓氱粡钀ュ喅絳栨洿縐鏋佺洰鐨勭殑璧勮銆傚ぇ鏁版嵁鎶鏈鏄鎸囦粠鍚勭嶅悇鏍風被鍨嬬殑澶ф暟鎹涓錛屽揩閫熻幏寰楁湁浠峰間俊鎮鐨勬妧鏈鐨勮兘鍔涳紝鍖呮嫭鏁版嵁閲囬泦銆佸瓨鍌ㄣ佺$悊銆佸垎鏋愭寲鎺樸佸彲瑙嗗寲絳夋妧鏈鍙婂叾闆嗘垚銆傚ぇ鏁版嵁搴旂敤鏄鎸囧圭壒瀹氱殑澶ф暟鎹闆嗘垚搴旂敤澶ф暟鎹鎶鏈錛岃幏寰楁湁浠峰間俊鎮鐨勮屼負銆
闂棰樹簩錛氬ぇ鏁版嵁鏃朵唬錛氬ぇ鏁版嵁鏄浠涔堬紵
澶ф暟鎹鏄涓縐嶈繍钀ユā寮忋佷竴縐嶈兘鍔涖佷竴縐嶆妧鏈錛屾垨鏄涓縐嶆暟鎹澶勭悊鏂瑰紡鐨勭粺縐般傚畠涓庤繃鍘諱紶緇熸剰涔変笂鐨勨滄暟鎹鈥濈殑鍖哄埆鍦ㄤ簬錛屽ぇ鏁版嵁涓嶄粎浠呮寚鈥滄暟瀛椻濓紝榪樺寘鎷鈥滄枃鏈銆佸浘鐗囥侀煶棰戙佽嗛戔濈瓑澶氱嶆牸寮忋傚ぇ鏁版嵁鐨勬潵婧愪富瑕佹湁涓ら儴鍒嗭細涓閮ㄥ垎鏉ヨ嚜浜庝紒涓氬唴閮ㄨ嚜韜鐨勪俊鎮緋葷粺涓浜х敓鐨勮繍钀ユ暟鎹錛屽彟涓閮ㄥ垎鍒欐潵鑷浜庡栭儴錛屽寘鎷紺句氦緗戠粶銆佺墿鑱旂綉銆佺數瀛愬晢鍔$瓑涔嬩腑鐨勯潪緇撴瀯鍖栨暟鎹銆
闂棰樹笁錛氬ぇ鏁版嵁鏃朵唬鏄浠涔堟剰鎬濓紵璇﹁В
澶ф暟鎹鏃朵唬鏈鏃╃敱鍏ㄧ悆鐭ュ悕鍜ㄨ㈠叕鍙擱害鑲閿℃彁鍑猴紝鎸囩殑鏄鏁版嵁宸茬粡娓楅忓埌褰撲粖姣忎竴涓琛屼笟鍜屼笟鍔¤亴鑳介嗗煙錛屾垚涓洪噸瑕佺殑鐢熶駭鍥犵礌銆備漢浠瀵逛簬嫻烽噺鏁版嵁鐨勬寲鎺樺拰榪愮敤錛岄勭ず鐫鏂頒竴娉㈢敓浜х巼澧為暱鍜屾秷璐硅呯泩浣欐氮娼鐨勫埌鏉ャ傚ぇ鏁版嵁鍦ㄧ墿鐞嗗︺佺敓鐗╁︺佺幆澧冪敓鎬佸︾瓑棰嗗煙浠ュ強鍐涗簨銆侀噾鋙嶃侀氳絳夎屼笟瀛樺湪宸叉湁鏃舵棩錛屽嵈鍥犱負榪戝勾鏉ヤ簰鑱旂綉鍜屼俊鎮琛屼笟鐨勫彂灞曡屽紩璧蜂漢浠鍏蟲敞銆
闂棰樺洓錛氬ぇ鏁版嵁鏃朵唬,澶ф暟鎹姒傚康,澶ф暟鎹鍒嗘瀽鏄浠涔堟剰鎬濓紵
澶ф暟鎹鏃朵唬鎸囩殑鏄鎴戜滑鎵澶勭殑鏃朵唬錛屽叾涓鍖呭惈鐫闅句互鎯寵薄鐨勬暟瀛楀寲淇℃伅錛岃繖浜涗俊鎮鍦ㄥ晢涓氥佺戝︺佽壓鏈絳夊氫釜棰嗗煙涓鏃犲勪笉鍦ㄣ傚ぇ鏁版嵁鎸囩殑鏄鎵娑夊強鐨勬暟鎹璧勬枡閲忚勬ā宸ㄥぇ鍒版棤娉曢氳繃浜鴻剳鎴栦富嫻佽蔣浠跺伐鍏峰湪鍚堢悊鏃墮棿鍐呰揪鍒版挿鍙栥佺$悊銆佸勭悊銆佸苟鏁寸悊鎴愪負甯鍔╀紒涓氱粡钀ュ喅絳栨洿縐鏋佺洰鐨勭殑璧勮銆傚ぇ鏁版嵁鎶鏈鏄鎸囦粠鍚勭嶅悇鏍風被鍨嬬殑澶ф暟鎹涓錛屽揩閫熻幏寰楁湁浠峰間俊鎮鐨勬妧鏈鐨勮兘鍔涳紝鍖呮嫭鏁版嵁閲囬泦銆佸瓨鍌ㄣ佺$悊銆佸垎鏋愭寲鎺樸佸彲瑙嗗寲絳夋妧鏈鍙婂叾闆嗘垚銆傚ぇ鏁版嵁搴旂敤鏄鎸囧圭壒瀹氱殑澶ф暟鎹闆嗘垚搴旂敤澶ф暟鎹鎶鏈錛岃幏寰楁湁浠峰間俊鎮鐨勮屼負銆
闂棰樹簲錛氫粈涔堟槸澶ф暟鎹錛屽ぇ鏁版嵁鏃朵唬鎬庝箞鐞嗚В
澶ф暟鎹錛屾垨縐板法閲忚祫鏂欙紝鎸囩殑鏄闇瑕佹柊澶勭悊妯″紡鎵嶈兘鍏鋒湁鏇村己鐨勫喅絳栧姏銆佹礊瀵熷姏鍜屾祦紼嬩紭鍖栬兘鍔涚殑嫻烽噺銆侀珮澧為暱鐜囧拰澶氭牱鍖栫殑淇℃伅璧勪駭銆傚ぇ鏁版嵁鏃朵唬鎸囩殑鏄鎴戜滑鎵澶勭殑鏃朵唬錛屽叾涓鍖呭惈鐫闅句互鎯寵薄鐨勬暟瀛楀寲淇℃伅錛岃繖浜涗俊鎮鍦ㄥ晢涓氥佺戝︺佽壓鏈絳夊氫釜棰嗗煙涓鏃犲勪笉鍦ㄣ
闂棰樺叚錛氫粈涔堟槸澶ф暟鎹鏃朵唬
澶ф暟鎹鏃朵唬鎸囩殑鏄鎴戜滑鎵澶勭殑鏃朵唬錛屽叾涓鍖呭惈鐫闅句互鎯寵薄鐨勬暟瀛楀寲淇℃伅錛岃繖浜涗俊鎮鍦ㄥ晢涓氥佺戝︺佽壓鏈絳夊氫釜棰嗗煙涓鏃犲勪笉鍦ㄣ傚ぇ鏁版嵁鏃朵唬鏄鐢卞叏鐞冪煡鍚嶅挩璇㈠叕鍙擱害鑲閿℃彁鍑虹殑錛屾寚鐨勬槸鏁版嵁宸茬粡娓楅忓埌褰撲粖姣忎竴涓琛屼笟鍜屼笟鍔¤亴鑳介嗗煙錛屾垚涓洪噸瑕佺殑鐢熶駭鍥犵礌銆備漢浠瀵逛簬嫻烽噺鏁版嵁鐨勬寲鎺樺拰榪愮敤錛岄勭ず鐫鏂頒竴娉㈢敓浜х巼澧為暱鍜屾秷璐硅呯泩浣欐氮娼鐨勫埌鏉ャ
闂棰樹竷錛氫粈涔堟槸澶ф暟鎹鏃朵唬
澶ф暟鎹鏃朵唬鎸囩殑鏄鎴戜滑鎵澶勭殑鏃朵唬錛屽叾涓鍖呭惈鐫闅句互鎯寵薄鐨勬暟瀛楀寲淇℃伅錛岃繖浜涗俊鎮鍦ㄥ晢涓氥佺戝︺佽壓鏈絳夊氫釜棰嗗煙涓鏃犲勪笉鍦ㄣ傚ぇ鏁版嵁鏃朵唬鏄鐢卞叏鐞冪煡鍚嶅挩璇㈠叕鍙擱害鑲閿℃彁鍑虹殑錛屾寚鐨勬槸鏁版嵁宸茬粡娓楅忓埌褰撲粖姣忎竴涓琛屼笟鍜屼笟鍔¤亴鑳介嗗煙錛屾垚涓洪噸瑕佺殑鐢熶駭鍥犵礌銆備漢浠瀵逛簬嫻烽噺鏁版嵁鐨勬寲鎺樺拰榪愮敤錛岄勭ず鐫鏂頒竴娉㈢敓浜х巼澧為暱鍜屾秷璐硅呯泩浣欐氮娼鐨勫埌鏉ャ
闂棰樺叓錛氱畝榪頒粈涔堟槸澶ф暟鎹鏃朵唬
澶ф暟鎹鏃朵唬鎸囩殑鏄鎴戜滑鎵澶勭殑鏃朵唬錛屽叾涓鍖呭惈鐫闅句互鎯寵薄鐨勬暟瀛楀寲淇℃伅錛岃繖浜涗俊鎮鍦ㄥ晢涓氥佺戝︺佽壓鏈絳夊氫釜棰嗗煙涓鏃犲勪笉鍦ㄣ傚ぇ鏁版嵁鏃朵唬鏄鐢卞叏鐞冪煡鍚嶅挩璇㈠叕鍙擱害鑲閿℃彁鍑虹殑錛屾寚鐨勬槸鏁版嵁宸茬粡娓楅忓埌褰撲粖姣忎竴涓琛屼笟鍜屼笟鍔¤亴鑳介嗗煙錛屾垚涓洪噸瑕佺殑鐢熶駭鍥犵礌銆備漢浠瀵逛簬嫻烽噺鏁版嵁鐨勬寲鎺樺拰榪愮敤錛岄勭ず鐫鏂頒竴娉㈢敓浜х巼澧為暱鍜屾秷璐硅呯泩浣欐氮娼鐨勫埌鏉ャ
闂棰樹節錛氫粈涔堟槸澶ф暟鎹鏃朵唬銆備粈涔堝張鍙鍋氫簯鍟嗐?
澶ф暟鎹鏃朵唬鎸囩殑鏄鎴戜滑鎵澶勭殑鏃朵唬錛屽叾涓鍖呭惈鐫闅句互鎯寵薄鐨勬暟瀛楀寲淇℃伅錛岃繖浜涗俊鎮鍦ㄥ晢涓氥佺戝︺佽壓鏈絳夊氫釜棰嗗煙涓鏃犲勪笉鍦ㄣ備簯鍟嗭紝鍙堢О鏅烘収浜戝晢錛屾槸鎸囦俊鎮銆佸簲鐢ㄣ佸熀紜璁炬柦鏃犲勪笉鍦ㄧ殑騫沖彴搴旂敤錛岃法鍦板煙銆佽法緇堢銆佽法緋葷粺銆佽法騫沖彴銆
闂棰樺嶮錛氶┈浜戣村ぇ鏁版嵁鏃朵唬宸茬粡寮濮嬪埌鏉ワ紝閭d箞澶ф暟鎹鏄鎸囦粈涔堝唴瀹瑰憿錛熸兂娣卞叆瀛︿範榪欐柟闈㈢殑鐭ヨ瘑
澶ф暟鎹鏄鎸囬渶瑕佹柊澶勭悊妯″紡鎵嶈兘鍏鋒湁鏇村己鐨勫喅絳栧姏銆佹礊瀵熷姏鍜屾祦紼嬩紭鍖栬兘鍔涚殑嫻烽噺銆侀珮澧為暱鐜囧拰澶氭牱鍖栫殑淇℃伅璧勪駭銆傚傛灉鎮ㄦ兂娣卞叆瀛︿範澶ф暟鎹鏂歸潰鐨勭煡璇嗭紝鍙浠ヨ冭檻瀛︿範Hadoop絳夊紑婧愬ぇ鏁版嵁欏圭洰錛屾垨Yonghong Z-Suite絳夊晢涓氬ぇ鏁版嵁BI宸ュ叿銆傞殢鐫浜掕仈緗戝拰縐誨姩鐨勫揩閫熷彂灞曪紝澶ф暟鎹鍦ㄥ悇涓棰嗗煙涓嶆柇澧炲姞搴旂敤銆備篃瓚婃潵瓚婇潰鍚戜釜浜哄ぇ鏁版嵁搴旂敤銆
⑶ 什麼是大數據,大數據時代怎麼理解
大數據的定義
大數據(Bigdata)通常用來形容一個公司創造的大量非結構化和半結構化數據,這些數據在下載到關系型資料庫用於分析時會花費過多時間和金錢。大數據分析常和雲計算聯繫到一起,因為實時的大型數據集分析需要像MapRece一樣的框架來向數十、數百或甚至數千的電腦分配工作。
大數據的特點
數據量大、數據種類多、要求實時性強、數據所蘊藏的價值大。在各行各業均存在大數據,但是眾多的信息和咨詢是紛繁復陪答雜的,需要搜索、處理、分析、歸納、總結其深層次的規律。
大數據時代的影響
越來越多的政府、企業等機構開始意識到數據正在成為組織最重要的資產,數據分析能力正在成為組織的核心競爭力。如2012年3月22日,奧巴馬政府宣布投資2億美元拉動大數據相關產業發展,將「大數據戰略」上升為國家意志。聯合國也在2012年發布了大數據政務白皮書,指出大數據對於聯合國和各國政府來說是一個歷史性的機遇,人們如今可以使用極為豐富的數據資源,來對社會經濟進行前所未有的實時分析,幫助政府更好地響應社會和經濟運行。
大數據的意義和前景
大數據是對大量、動態、能持蘆游慧續的數據,通過運用新系統、新工具、新模型的挖掘,從而獲得具有洞察力和新價值的東西。以前,面對龐大的數據,我們可磨配能會一葉障目、可見一斑,因此不能了解到事物的真正本質,從而在科學工作中得到錯誤的推斷,而大數據時代的來臨,一切真相將會展現在大家面前。
大數據分析的目的
大數據分析的核心目的就是預測,在海量數據的基礎上,通過機器學習相關的各種技術和數學建模來預測事情發生的可能性並採取相應措施。預測股價、預測機票價格、預測流感等等。
預測事情發生的可能性繼續往下延伸,就可以通過適當的干預,來引導事情向著期望的方向發展。比如亞馬遜和所有的電商一樣,都會基於對用戶的喜好及消費能力分析來推薦商品,引導用戶提高消費金額;Google等互聯網巨頭也會通過各種技術手段來試圖向不同的用戶展現不同的廣告,並稱之為精準營銷,由此來提高點擊率(公司收入);網游公司也會在運營工程中通過玩家行為數據的分析來及時調整游戲關卡及計費點等設計。
⑷ 什麼是大數據時代
利用相關演算法對海量數據的存儲、處理與分析,從海量數據中發現價值,服務於生產和生活。
大數據無處不在,社會各行各業都可以找到大數據的印記,在金融,餐飲,電信,體育,娛樂等領域都可以感受到大數據對各行各業的影響
1、更多,更亂,但內部有關系可循。
示例:
大約20年前,亞馬遜剛成立時,傑夫·貝索斯讓50個書評員來為他賣書,他意識到不僅僅可以請人來寫書評,還可以用數據技術來提供圖書推薦。起初他使用的是小數據,不是大數據,把客戶進行分類,比如說有人對中國旅遊或者是對園藝感興趣,系統會自動提供推薦。他的同事告訴他,剛剛開始使用這個數據推薦時,使用體驗並不好;在進一步分析後,亞馬遜決定不對人進行分類,而是對用戶的需求分類。這個做法做法非常成功,以至於到今天,推薦系統為亞馬遜帶去30%的銷售收入。
這就是數據收集和再處理。亞馬遜有交易數據,每買一本書就是一個交易,然後對這個數據進行分析。但今天我們已不再滿足於交易數據了,轉而收集起溝通數據。你看了某一個書評、某一個交流會給商家更多的信息和細節。
2、數據可以被重復使用(數據的產生和收集本身並沒有直接產生服務,最具價值的部分在於:當這些數據在收集以後,會被用於不同的目的,數據被重新再次使用)
示例:
比方說這家公司實時車輛交通數據採集商Inrix,該公司目前有1億個手機端用戶。Inrix可以幫助你開車,避開堵車,為司機呈現路的熱量圖,紅的就表面堵車。如果只提供數據,這個產品沒什麼特色,
但值得一提的是,Inrix並沒有用交警的數據,這個軟體的每位用戶在使用過程中會給伺服器發送實時數據,比如走的多快,走到哪裡,這樣每個客戶都是探測器。
每天早上起來想一下,這么多數據我能用來干什麼,這些價值在哪裡可以找到,能不能找到一個別人以前都沒有做過的事情。你的想法和思路,是最重要的資產。
示例:
我們可以通過大數據來確定哪些地方會有火災。以前防火檢查員只有13%的時間可以准備預測,現在他們找到火災隱患的概率達到了70%,比以前提高了6倍。將效率提高6倍是一個巨大無比的進步,未來的公共服務業可以由此獲得更多便利。