① 數據科學與大數據技術專業怎麼樣學成之後可以從事的職業有哪些
隨著電子技術和信息科學的發展,近兩年每個網民都有機會在社交媒體發出自己的聲音,留下海量的信息。人類生產信息的速度可謂風馳電掣,每兩年就會增長一倍,近兩年產生的數據總量相當於人類有史以來所有數據量的總和。科研領域、企業運營及日常生活中的數字、文字、圖像、音頻都是數據,大數據的處理速度快、價值密度低、商業價值高。擁有海量數據的國家或企業如果能合理地解釋運用這些數據,就會增強自身的競爭力。大數據專業就在這樣的背景下應運而生,很多學校看到該領域的前景,競相申請設立數據科學與大數據技術專業。今天小編將帶你深入了解數據科學與大數據技術專業。
扎實的數學功底
由課程設置可以看出本專業對學生的數學基礎有一定要求,通識課部分就設置了三門數學課,學科基礎課依然有離散數學,數字邏輯與數學系統。建議想報考的同學提前觀看一些入門課程,客觀評估自己的數學能力。盲目報考無益於個人發展,會造成掛科過多、學習壓力過大、就業困難等不良後果。
有耐心有毅力
大數據專業和計算機專業比較像,是注重實踐的專業。學生需要獨立編寫程序,對程序進行修改與調試,需要注意每一個細節才能順利查錯並運行程序。有耐心有毅力的學生顯然更能坐的住,心浮氣躁的學生則需要一番磨練才能成功。
自主學習能力強
一般情況下,大數據專業無法向學生傳授大數據核心技術之外的知識技能,如果學生需要進入全新領域去實習就業,就必須要迅速掌握新領域的相關知識。假如學生到金融行業從事數據挖掘工作,就必須對金融產品及用戶有所了解。
該專業畢業生的發展工作
畢業生就業主要集中在一線城市,畢業於985院校的畢業生常常被各大企業一搶而空,就業行業以互聯網、金融、通信、教育、文化娛樂、電子商務等行業為主。薪資待遇令人羨慕,即使是剛畢業的學生,平均月薪就在12000-15000之間,工作3-5年比較有經驗的人可以拿到20-35k的月薪。
考研
主要方向有:計算機科學與技術、計算機系統結構、計算機軟體與理論、計算機應用技術、科學與信息技術(清華、北大、復旦、北京航空航天大學等少數學校開設)。
留學
該專業留學首推美國。國外的大學設置了數據科學專業,數據科學就是從數據中提取信息知識,是數據挖掘與預測分析的延伸,亦是發掘知識與數據的過程。所以,數據科學專業不僅包含了大數據也包含了數據分析。推薦學校有:哥倫比亞大學、加州大學伯克利分校、斯坦福大學、麻省理工學院、卡耐基梅隆大學等。
② 大數據和數字化轉型
企業致力於收集和存儲大量數據,但通常只分析其中的一小部分。他們發現數據是新的貨幣,因為數據中隱藏著很多價值。他們正在利用數據科學和大數據分析工具從其「數據寶庫」中提取價值。這有助於他們進行數字化轉型。一些組織在這方面取得了巨大的成功,並不斷創新、獲得市場份額、增加價值(例如Amazon、谷歌、Facebook等公司),而其他公司也在努力效仿。
麥肯錫全球研究院於2011年5月發表了一篇開創性論文,名為「大數據:創新,競爭和生產力的下一個前沿」,使得大數據和分析開始引起人們的關注。根據谷歌公司的趨勢分析(它提高了人們對關鍵詞的搜索興趣),大數據和分析熱潮在2016年6月達到了頂峰。而雲計算一直持續受到人們的高度關注,因為越來越多的企業繼續實施雲計算技術,以提高業務靈活性、運營彈性、改進性能,以及更高的效率。
數字化轉型需要在組織層面上發揮作用,並將成為一種永久的運營方式。
人們可能會想知道,在大數據和分析達到發展頂峰之後將會變成什麼樣子。只要所公布的客戶調查、供應商利益、分析師報告、收入來源等資料具有價值,那麼企業都將採用大數據和分析來獲取。調研機構Gartner公司2016年進行的一項調查報告表明,在過去五年中,企業對大數據和分析的投資一直在不斷增長,但對其未來投資的興趣似乎有所下降。這可能是由於這些投資獲得實際收益的一種停頓。而Gartner公司的另一份調查報告顯示,只有大約12%的大數據項目取得了可衡量的成果。然而,社交媒體、物聯網(IoT)、智能手機、移動設備、游戲裝備、可穿戴設備、感測器、無人機、遠程監控器、精密醫療、精準農業、智能城市、智能建築、自動駕駛汽車、遠程式控制制車輛等技術將產生大量需要收集、匯總和分析的數據,以做出有用且有價值的決策。
而使用傳統方法和系統來人工分析數據是不可能的。來自大數據和分析的潛在價值每年達到數十億美元。這被認為是一個保守的估計。因為麥肯錫公司2011年進行的調查報告僅僅占據了大數據潛在價值的一小部分。只有基於位置的數據的採用率和價值捕獲率高達50%-60%,其次是美國零售業,達到30%-40%,製造業佔20%-30%,美國醫療保健行業為10%-20%,歐盟公共部門為10%-20%。因此,大數據和分析的興趣和投資在幾乎所有行業都會增加,以捕捉大數據中隱藏的價值。預計在未來幾年中企業對雲計算的大數據會持續產生興趣。
數據安全
隨著越來越多的數據被收集、匯總、分析,並用於做出影響人們生活的決策,數據安全性成為人們最為關切的問題。數據治理需要處理從不同來源收集的數據高峰以及管理這些數據元素所涉及的風險的中心階段。美國聯邦、州、市和地方政府機構以及其他非營利性公共服務組織需要符合嚴格的保密性、完整性和可用性(CIA)規則,並且還要提供良好的治理、滿足合規要求和管理風險(GCR)。
人們一個常見的誤解是,組織需要從不同來源收集的大量結構化和非結構化數據,包括外部來源(需要驗證和風險評估)來開始分析。企業不需要大量數據來啟動分析項目。可以從已有的「黃金標准數據」開始,並考慮單獨使用這些數據或將其與其他內部數據集結合使用,以解決業務問題作為向決策者購買的概念證明的可能性。企業可以嘗試和分析以前沒有查看的不同變數,以確定相關性、因果關系和預測因素,謹慎發現,並避免重合。這是行業領域知識和專業知識發揮作用的地方。利用可用且經濟實惠的計算能力、存儲和網路容量,企業可以輕松地分析更多數據,以查看隱藏在數據中的模式和概率。基於業務需求,分析可用於描述性、診斷性、預測性、規定性的目的。物聯網、感測器、操作技術、設備維護、精密醫療、電網、航運、物流、執法和精準農業正在越來越多地利用上述不同類型的分析來處理一個或多個業務問題,或根據需要來提供解決方案。
大數據的需求
大數據對不同的人意味著不同的事物。不同的IT分析師、商業領袖、顧問、學術研究人員、標准組織已經根據他們的觀點定義了大數據,其中包括數量、速度、品種、准確性、復雜性等因素。雖然在大數據方面沒有明確的共識,他們現有的能力在人員、過程和技術方面的處理能力太大了。就大數據和分析而言,人員是最難的部分。存在組織慣性、缺乏決策者的支持,以及難以找到正確理解分析的數據和業務領域的數據科學家等問題。同樣,大數據分析師也很缺乏。世界各地的許多高校或認證機構都在提供數據科學和分析方面的新課程,以滿足日益增長的需求。
由於大數據領域是新興行業,很難找到適合的專家,因此所謂的「大數據專家或數據科學家」被金融交易、銀行、信用評級機構,以及信用卡公司等大型金融組織所吸引。此外,谷歌、Facebook、LinkedIn、雅虎、微軟、亞馬遜等行業巨頭也求賢若渴,因為他們為這些人才提供了豐厚的薪酬、股票期權,以及更好的發展前景。在爭奪同樣的人才方面,美國的聯邦、州、市和地方政府以及非營利組織都處於劣勢。但是,一些具有深謀遠慮的政府組織已經成功招募了一些優秀的大數據科學家。
克服人才短缺的挑戰
為了克服數據科學家短缺的挑戰,許多企業正在建立一個數據科學團隊,其中包括具有大數據分析方面知識和專業知識的人員,以及行業專家,例如IT和業務領域。他們可以一起補充彼此的專業知識,互相協作並提出業務問題的解決方案。一個成功的大數據分析團隊的一個重要特徵是能夠用商業術語講述故事,並實現數據可視化,而這些數據可視化只需要很少的解釋。這是一項非常特殊的技能,需要銷售技能來完成交易。這些能力有助於建立數據科學團隊或大數據和分析團隊的可信度,以獲得高級管理人員的支持,並將分析從一個業務領域擴展到另一個業務領域,並最終擴展到整個組織或企業。這些人員則是「翻譯者」,他們可以從數據分析中獲得結果,並將其置於商業術語中,以便企業能夠理解和適應。數字化轉型需要在組織層面上發揮作用,並成為一種永久的運營方式。大數據和分析是私營或公共企業數字化轉型的一個組成部分。因此,許多組織開始了數字化轉型之旅,通過分析釋放隱藏在大數據中的價值。今後將會有更多的組織效仿跟隨。
③ 大數據趨勢與專業圖書館
數據被稱作信息化時代的石油,其重要性不言而喻。「大數據」通常被認為是一種數據量很大、數據形式多樣化的非結構化數據。從產業角度,常常把這些數據與採集它們的工具、平台、分析系統一起稱為「大數據」。在大數據時代,順應大數據趨勢,實現傳統業務的轉移,是帶給國內專業圖書館的一個契機。
1.大數據與科學研究
2011年,麥肯錫研究院在《大數據:創新、競爭和生產率的下一個前沿》的報告中提出「大數據」時代已經到來。2012年3月,奧巴馬政府發布了「大數據研究和發展計劃」;2012年6月,聯合國專門發布了大數據發展戰略。這是聯合國第一次就某一技術問題發布報告。「大數據」成為2012年熱門詞彙和研究熱點之一。除了國家和研究機構,全球主要的大型IT商業公司均對大數據技術投入巨資,目的是利用大數據為國家治理、企業決策乃至個人生活提供服務。目前,科學研究正在進入一個嶄新的階段。在信息與網路技術迅速發展的推動下,大量從宏觀到微觀,從自然到社會的觀察、感知、計算、模擬、模擬、傳播等設施和活動產生出大量科學數據,形成被稱為「大數據」的新的科學基礎設施。數據不再僅僅是科學研究的結果,而且是科學研究活動的基礎。科學家不僅通過對廣泛的數據實時、動態地監測與分析來解決難以解決或不可觸及的科學問題,更是把數據作為科學研究的對象和工具,基於數據來思考、設計和實施科學研究。以數據考察為基礎,聯合理論、實驗和模擬為一體的數據密集計算的範式,成為與經驗範式、理論範式和模擬範式並列的第四範式。數據被一起捕獲或者由模擬器生成,處理後存儲在計算機中,科研人員使用數據管理和統計學方法分析資料庫和文檔,據此產生創新思維和成果。這種科研模式被稱為數據密集型範式,簡稱數據範式,是一種新的科研模式。
2.大數據與現有資料庫技術的對比
大數據具有數據持續增加、體量巨大(Volume)、數據類型和來源多樣(Variety)、速度快(Velocity)等特點。
3.大數據與新型數字圖書館
圖書館在科學文獻(紙質或是電子)的組織與服務方面積累了豐富的經驗,已成為科研活動和學術交流體系中的有力支撐。隨著學術信息交流方式的變化,既有數據檔案庫,也有文獻檔案庫,而數據則進入數據檔案庫中。因此,數據圖書館將成為未來數字圖書館的一部分。存儲在各類資料庫和文檔系統中的科學數據,以及以業界標准化關系資料庫所產生的元數據體系,將構成一種新型的、分布式的和整合式的數字圖書館。這種數字圖書館既包括傳統數字圖書館的各類處理、管理、檢索服務等功能,又包括數據轉換、可視化和數據挖掘服務等新型數據服務功能。
4.大數據在專業研究領域中的應用
生物醫學領域是大數據的先行者,這主要得益於美國國家醫學圖書館基於科學數據建立的超級計算和數據處理平台。這些平台支持基礎科學和應用科學的知識發現和數據關聯,以及分析基礎上的模擬模擬研究,為科研和政府決策提供服務。2007年,吉姆格雷擴展了其對數據密集型科學的看法,提出7個重要行動領域之一就是同國家醫學圖書館支持生物科學一樣,建立更多數字圖書館以支持其他科學。生物醫學領域的數據量在飛速增長。歐洲分子生物實驗室核酸序列資料庫EMBL-Bank收到數據的速度每年遞增200%;人類基因組計劃2008年生產數據1萬億鹼基對,2009年速率又翻一番;在生物醫學文獻編目中已經有1800萬醫學文章,每年增加接近百萬篇。
美國國立醫學圖書館的Entrez系統是美國國立醫學圖書館建立的生命科學搜索引擎,它真正實現了數據和文獻的交互性操作。用戶可以在閱讀論文的同時打開基因數據,跟隨基因找到這個疾病,再回到文章(微軟的WWT也實現了數據與文獻的融合)。融合和交互操作可通過統一的鏈接、統一的標簽和ID號實現。醫學、生物學、心理學等學科領域的大型實驗設備的實驗型數據、人類基因數據中,有些由於觀測和實驗的不可重復性,有些由於時間、設備和經濟等條件的限制,數據獲取難度大,因此,數據的長期有效保存、科學管理、有條件共享和促進利用是極有意義和價值的一項工作。把全世界的數據都集成在一起,形成巨型的動態數據集,將誕生一個全球化的資料庫。
5.國內專業圖書館的實踐
專業圖書館的思考在實踐方面,國內已經建立了一系列的科學數據平台,如科技部支持建設的科學數據共享工程等,但圖書館人員參與很少。在新的交流體系形成之際,專業圖書館應該深刻思考和研究支撐科研創造的信息服務環境;思考科研成果融合數據之後,形成的原始數據、派生數據和科學文獻融為一體的新的信息環境下,如何提供信息和數據服務;研究數據科研基礎設施建設和運行過程中信息機構的職責、作用和角色。從大量的數據中分析其潛在的價值將成為大數據時代圖書館的一大主要業務,並且提供這些業務的水平將決定著大數據時代圖書館的發展水平和方向。專業圖書館尤其要分析研究數據科學家的知識結構、基本素養、基本技能,並將此納入培養計劃加以實施,為未來社會提供所需人才。
④ 大數據的應用案例以及未來發展趨勢
趕超發達國家的重要機遇
半個世紀以來,隨著計算機技術全面融入社會生活,信息爆炸已經積累到了一個開始引發變革的程度,不僅使世界充斥著比以往更多的信息,而且其增長速度也在加快。信息爆炸的學科如天文學和基因學,創造出來大數據這個概念,如今,這個概念幾乎應用到了所有人類智力與發展的領域中。21世紀是數據信息大發展的時代,移動互聯、社交網路、電子商務等極大拓展了互聯網的邊界和應用范圍,各種數據正在迅速膨脹並變大。互聯網(社交、搜索、電商)、移動互聯網(微博)、物聯網(感測器、智慧地球)、車聯網、GPS、醫學影像、安全監控、金融(銀行、股市、保險)、電信(通話、簡訊)都在瘋狂產生著數據,大數據時代已經到來。
當前全球和我國大數據都呈現了井噴式爆發性增長,大數據已經滲透到各個行業和業務職能領域,成為重要的生產因素,大數據的演進與生產力的提高有著直接的關系。其發展特點,一是數據量呈現指數級增長。二是不同行業的大數據內容和開發應用特點各有不同,如證券、投資服務以及銀行等金融服務領域擁有最高的平均數字化數據存儲量,通信和媒體公司、公共事業公司以及政府等組織也有規模顯著的數字化數據存儲,這些行業更加具有通過大數據來創造價值的潛力。三是可以預見到大數據高速增長的現有趨勢將繼續推動數據增長,例如在各部門和地區之間,企業正在加快收集數據的步伐,推動了傳統的事務資料庫的增長;醫療衛生等面向消費者的行業中,多媒體的廣泛使用刺激了大數據的增長;社交媒體的廣泛普及以及物聯網中應用的不斷創新都進一步推動了大數據不斷增長……這些相互交叉的動力刺激了數據的增長,並將繼續推動數據池的迅速擴張。
發展大數據及其相關服務業將成為新興經濟體特別是我國在戰略性新興產業領域發揮後發優勢趕超發達國家的重要機遇。只要條件具備,發展中經濟體能夠利用大數據發揮巨大的潛力。例如,亞洲地區移動手機用戶最多,終端設備最多,其中中國設備數量最多,個人位置數據在亞洲已經領先。此外,在IT資產方面,盡管一些新興市場組織落後於發達市場,但發展中經濟體可以用最新技術跳躍式前進。大數據的應用不僅僅是商務,通過用戶行為分析實現精準管理、科學決策和人性化服務是大數據的典型應用,大數據在各行各業特別是公共服務領域具有廣闊的應用前景,包括消費行業、金融服務、食品安全、醫療衛生、軍事、交通環保、電子商務、氣象等。發展大數據產業機遇可貴潛力巨大。從經濟和產業發展維度看大數據及相關產業發展的潛力,我國獨特的位勢和經濟社會高速穩定發展,給大數據及其應用帶來了巨大的發展空間。大數據在我國各領域和不同行業的應用潛力巨大、機遇重大。大數據的核心技術進展和大數據應用有可能帶來我國新興戰略性產業發展的新機遇。
信息服務業發展的重要推力
研究表明,大數據是繼傳統IT之後下一個提高生產率的技術前沿和信息服務業發展的重要推動力。大數據的使用將成為未來提高競爭力、生產力、創新能力以及創造消費者盈餘的關鍵要素。
例如醫療衛生行業,能夠利用大數據避免過度治療、減少錯誤治療和重復治療,從而降低系統成本、提高工作效率,改進和提升治療質量;公共管理領域,能夠利用大數據有效推動稅收工作開展,提高教育部門和就業部門的服務效率;零售業領域,通過在供應鏈和業務方面使用大數據,能夠改善和提高整個行業的效率;市場和營銷領域,能夠利用大數據幫助消費者在更合理的價格範圍內找到更合適的產品以滿足自身的需求,提高附加值。數據已經成為可以與物質資產和人力資產相提並論的重要的生產要素,伴隨著信息化發展,企業將收集更多的信息,從而帶來數據呈現指數級的增長。大數據在同時為商業和消費者創造價值方面有巨大的發展潛力。
大數據應用能夠發揮重要的經濟作用,不但有利於私人商業活動,更有利於國民經濟和公民。數據可以為世界經濟創造重要價值,提高企業和公共部門的生產率與競爭力,並為消費者創造大量的經濟剩餘。例如,能夠富有創造性而有效地利用大數據來提高效率和質量。麥卡錫公司研究報告指出,預計美國醫療行業每年通過數據獲得的潛在價值可超過3000億美元,能夠使得美國醫療衛生支出降低超過8%,充分利用大數據的零售商有可能將其經營利潤提高60%以上。通過利用大數據實現政府行政管理方面的運作效率提高。估計歐洲發達經濟體可以節省開支超過1000億歐元,其中尚不包括可以用來減少欺詐、錯誤以及稅差的影響作用。可以預見的是,隨著人們存儲、匯聚和組合數據然後利用其結果進行深入分析的能力超過以往,隨著越來越尖端技術的軟體與不斷提高的計算能力相結合,從數據中提取洞見的能力也在顯著提高。
大數據及其開發利用能夠催生新的產業形態,拓展成為戰略性新興產業的重要組成部分。大數據的生產、整合、開發利用具有廣泛的高附加值,可以形成和應用於各行業的關鍵發現,大數據的有效利用可以創造巨大的潛在價值,許多行業和承擔業務職能的組織可以利用大數據提高人力、物力資源的分配和協調能力,減少浪費,增加透明度,並促進新想法和新見解的產生。其價值一是提高透明度,讓利益相關方能夠更加容易地及時獲取信息,例如在公安部門,讓原本相互分離的部門之間更加容易地獲取相關數據,就可大大降低搜索和處理時間;在製造業,整合來自研發、工程和製造部門的數據以便實現並行工程,可以顯著縮短產品上市時間並提高質量。二是可以通過實驗來發現需求、暴露可變因素並提高業績。隨著組織創造並存儲更多數字形式的交易數據,並以實時或接近實時的方式收集更多准確而詳細的績效數據,組織能夠通過安排對比實驗,運用數據分析獲取更好的決策,例如在線零售商,通過將流量和銷售結合的試驗論證決定價格調整和促銷活動的制定。三是更加精準地組織市場,根據客戶需求細分人群。利用大數據使組織能夠對人群進行非常具體的細分,以便精確地定製產品和服務以滿足用戶需求。例如在公共部門如公共勞動力機構,利用大數據為不同的求職者提供工作培訓服務,確保採用最有效和最高效的干預措施使不同的人重返工作崗位。四是可以協助決策者更加科學地進行決策。大數據的自動處理能夠更好地為決策者提供更加精準恰當的決策支持,通過對大數據的自動處理來替換或支持人為決策。有些組織已經在通過分析來自客戶、雇員甚至嵌入產品中的感測器的整個數據集而做出更有效的決策。五是能夠創新商業模式、產品和服務。例如在醫療保健領域,通過分析病人的臨床和行為數據已經創造了瞄準最適當群體的預防保健項目。例如互聯網公司收集大量的在線行為數據,創新速度非常快。
應組織實施大數據產業專項
發展大數據及其相關服務業具有重要意義,有望使各個行業產生更多收益。隨著我國經濟和社會信息化的高速發展,不僅信息產業自身獲取了巨大的數據池,各個行業都存在利用大數據獲取價值的潛力。大數據促使信息化建設模式大轉變,結構化數據向非結構化數據演進,使得未來IT投資重點不再是建系統為核心,而是圍繞大數據為核心。政府和企業決策者應對大數據發展研究制定發展戰略和策略給予高度重視。
大數據真正的問題是大數據應用,讓大數據更有意義。目前大數據管理多從架構和並行等方面考慮,解決高並發數據存取的性能要求及數據存儲的橫向擴展,但對非結構化數據的內容理解仍缺乏實質性的突破和進展,這是實現大數據資源化、知識化、普適化的核心。非結構化海量信息的智能化處理包括自然語言理解、多媒體內容理解、機器學習等。例如2012年3月29日白宮發布美國政府的大數據計劃:通過提高從大型復雜的數據集中提取知識和觀點的能力,承諾幫助加快在科學與工程中的步伐,加強國家安全,並改變教學研究。
由此,我們提出組織實施大數據產業專項的初步設想。一是圍繞拓展新興信息服務業態,組織實施以大數據示範、加工、處理、整合和深加工的信息資源與內容服務業示範工程,面向重點行業和重點民生領域包括金融證券、醫療衛生、稅務海關、交通運輸、社會保障、電子商務等領域,開展大數據重大應用示範,提升基於大數據的公共服務能力;二是加快推動北斗導航核心技術研發和產業化,推動北斗導航與移動通信、地理信息、衛星遙感、移動互聯網等融合發展,支持位置信息服務市場拓展,完善北斗導航基礎設施,推進服務模式和產品創新,在重點區域和領域開展示範應用;三是大力發展地理信息產業,拓寬地理信息服務市場,推進大數據技術和服務模式融合創新,支持大數據服務創新和商業模式創新;四是組織實施基於大數據的信息內容加工服務業典型示範工程,包括關鍵技術產品產業化和大數據生產、轉換、加工、投送平台及專用工具的產業化項目,為豐富信息消費內容產品供給提供支撐;五是組織實施自主可控的大數據關鍵技術產品產業化項目,主要包括商業智能、數據倉庫、數據集市、元數據、可視化技術等。
⑤ 大數據技術是否有可能拯救計劃經濟
最早提出大數據概念的學科是天文學和基因學,這兩個學科從誕生之日起就依賴於基於海量數據的分析方法。大數據可以說是計算機和互聯網結合的產物,計算機實現了數據的數字化;互聯網實現了數據的網路化;兩者結合才賦予了大數據生命力!隨著互聯網如同空氣、水、電一樣無處不在地滲透入我們的工作和生活,加上移動互聯網、物聯網、可穿戴聯網設備的普及,新的數據正在以指數級別的加速度產生。據說目前世界上90%的數據是互聯網出現以後迅速產生的。不過,拋開數據的海量化生產和存儲這種表面現象,我們更加要關注的是由數據量變帶來的質變,這種質變表現在以下3個方面:1)數據思維大數據時代帶給我們的是一種全新的思維方式,思維方式的改變在下一代成為社會生產中流砥柱的時候就會帶來產業的顛覆性變革!-分析全面的數據而非隨機抽樣;-重視數據的復雜性,弱化精確性;-關注數據的相關性,而非因果關系。歷來的商業變革都是由思維方式的轉變開始的,舊的經濟體制和傳統的商業理念面臨新的商業思維邏輯的時候,如果大腦不能與時俱進,吸收並轉變為順應潮流的新思維,通過新思維重新組織企業組織的戰略、結構、文化和各種策略,那麼貌似強大的體魄反而變成了企業前進的累贅。這種新思維顛覆巨頭的案例最先發生在信息技術的傳統領域,然後滲透到傳統的商業領域:黑莓(Blackberry)、摩托羅拉、諾基亞、柯達、雅虎。。。案例比比皆是!當然,這些企業的沒落並不是因為沒有數據思維,但他們都是被新互聯網思維淘汰的昔日巨人。數據思維是最新的思想,其影響力還沒有發展到導致巨頭轟然倒塌。但是,如果不給予足夠的重視,下一波沒落王國的名單中,可能就會有你!2)數據資產大數據時代,我們需要更加全面的數據來提高分析(預測)的准確度,因此我們就需要廉價、便捷、自動的數據生產工具。除了我們在互聯網虛擬世界使用瀏覽器、軟體有意或者無意留下的各種個人信息數據之外,我們正在用手機、智能手錶、智能手環、智能項鏈等各種可穿戴數碼產品生產數據;我們家裡的路由器、電視機、空調、冰箱、飲水機、吸塵器、智能玩具等也開始越來越智能並且具備了聯網功能,這些家用電器在更好地服務我們的同時,也在生產大量的數據;甚至我們出去逛街,商戶的路由器,運營商的WLAN和3G,無處不在的攝像頭電子眼,百貨大樓的自助屏幕,銀行的ATM,加油站以及遍布各個便利店的刷卡機都在收集和生產數據。在互聯網領域,我們喜歡說入口這個詞,入口對應的直接意義是流量,而流量在互聯網領域就意味著金錢,這種流量變現可能是廣告,可能是游戲,也可能是電商。在大數據時代,入口這個詞還有更深刻的意義,那就是數據生產的源頭,用戶通過某個APP或者硬體產品滿足某種需求的同事,也會留下一系列相關的數據,這些數據的合理使用可以讓擁有這部分數據的企業獲得更大的商業利益!所以,在大數據時代,意識到數據也是資產的公司都已經開始在各個數據生產的源頭進行布局,可能是一個解決剛興需求的WEB網站,也可能是一個單純的工具APP,還可能是一個可穿戴的數碼產品!3)數據變現有了數據資產,就要通過分析來挖掘資產的價值,然後變現為用戶價值、股東價值甚至社會價值。大數據分析的核心目的就是預測,在海量數據的基礎上,通過機器學習相關的各種技術和數學建模來預測事情發生的可能性並採取相應措施。預測股價、預測機票價格、預測流感等等。預測事情發生的可能性繼續往下延伸,就可以通過適當的干預,來引導事情向著期望的方向發展。比如亞馬遜和所有的電商一樣,都會基於對用戶的喜好及消費能力分析來推薦商品,引導用戶提高消費金額;Google等互聯網巨頭也會通過各種技術手段來試圖向不同的用戶展現不同的廣告,並稱之為精準營銷,由此來提高點擊率(公司收入);網游公司也會在運營工程中通過玩家行為數據的分析來及時調整游戲關卡及計費點等設計。滿意請採納。
⑥ 當今時代的大數據閾值是多少呢
當今時代的大數據閾值是數百個TB。
大數據是近兩年繼Web2.0、雲計算、物聯網之後的一個新詞彙,其引發了信息科技領域越來越多的關注。2011年,麥肯錫在研究報告《大數據:下一個創新、競爭和生產率前沿》中首次提出「大數據」的概念,之後《紐約時報》、《華爾街日報》等都對其進行了專欄介紹。隨著2012年奧巴馬政府宣布投資2億美元啟動「大數據研究與發展計劃」,大數據正式上升為與歷史上的互聯網、超級計算同等重要的國家戰略。「我們的確正在起航,在龐大的新數據來源的支持下,量化的前進步伐將會踏遍學術、商業和政府領域,沒有一個領域可以不被觸及。」大數據時代的到來,給檔案館也帶來了極大的沖擊。
⑦ 如何應對大數據時代的變革機遇挑戰
大數據搭著信息時代的快車來到了我們的面前,數據的價值逐漸為人們所重視,同時也讓數據分析師的身價倍增。而隨著大數據分析工具等大數據應用技術的出現,未來的數據分析師又將遇到怎樣的挑戰和機遇呢?
工具搶了人的飯碗?
很多大數據分析工具的設計起點非常高,定位了數據分析過程中所需要的大部分功能。很多工具的功能涵蓋了從數據前期整合、收集到挖掘、分析乃至末端的數據可視化的整個數據分析過程,功能不可謂不強大。
但如果僅憑這些就認定大數據分析工具能取代數據分析師,未免有些杞人憂天了。恰恰相反,大數據分析工具不是數據分析師的競爭者,而是協助者。工具本來就是為人服務的,數據分析師的專業素養讓其能很好的發揮大數據分析工具的性能,二者相輔相成,是友非敵。
企業的支持
雖然大數據的概念已經普及,但是很多企業還是留存有一些傳統的觀念。很多企業雖然重金聘用了數據分析師甚至是組建了數據分析師團隊,但是卻並沒有建立完善的數據價值體系。對數據分析工作缺乏理解與支持。
相對於數據管理,數據分析工的工作重心還應該放在「挖掘數據價值」上。企業與數據分析師直接缺少職能的溝通,將直接影響企業對數據分析師工作性質的定位;同時,企業應該建立資料庫並部署大數據分析工具,為了能更好地對接用戶,也為企業和數據分析師留有足夠的空間。
從幕後到台前的轉變
以往的業務人員經常要磨破嘴皮才能得到別人的認同,而現在許多企業正在考慮讓數據分析師帶著數據分析結果去談業務。打算以「讓數據說話,以數據服人」去贏得客戶的信任。而主要的實施過程,是靠數據可視化技術來實現的。
數據可視化技術讓數據能以圖表和視頻的方式直觀地展示在人們面前,而數據分析師作為數據的管理者和挖掘者,是最適合不過的講解人了。這樣就要求數據分析師不僅要有扎實的數據分析能力,還要能提取數據精髓,並將之演講出來以獲得他人的認同。從幕後轉到台前,這裡面會需要許多技能,數據分析師的工作性質也將發生改變。
在大數據時代,數據分析師所扮演的角色不可能是一成不變的。而只有順應時代的潮流,響應時代的需要,數據分析師這個行業才能繼續生存並發展。其實,大數據分析工具,數據可視化這些技術的出現固然使行業受到了影響與挑戰,但對於數據分析師來說,未嘗不是一次擺脫傳統束縛的機遇!
⑧ 塗子沛大數據讀後感1800字
進入2012年大數據一詞越來越多地被提及,人們用它來描述和定義信息爆炸時代產生的海量數據,並命名與之相關的技術發展與創新,人們對於海量數據的挖掘和運用,預示著新一波生產率增長和消費者消費浪潮的到來。「大數據」的運用在各個領域發揮著前所未有的重要作用,滲透到了當今每一個行業和業務職能領域,成為重要的生產因素,並對人類的數據駕馭能力提出了更新的挑戰。
一、傳統的信息格局被打破
不是我不明白,這世界變化快。2000年還是一張軟盤打天下的時代,短短十多年光景,硬碟的存儲容量已從4GB、16GB、32GB迅速攀升到1TB(相當於1024GB的容量)。原來僅有1.44MB的軟盤在當時感覺存儲容量還是蠻大的,到現在硬碟容量躥升至1TB了,反而感覺存儲空間捉襟見肘,到底是哪裡出現了問題呢?1965年英特爾的創始人之一戈登摩爾考察了計算機硬體的發展規律,提出了著名的摩爾定律。該定律認為,同一個面積集成電路上可容納的晶體管數目,一到兩年將增加一倍,換句話說,計算機硬體的處理速度和存儲能力,一到兩年將提升一倍。這一定律,得到驗證。
大數據!一語驚醒夢中人,大數據時代已經悄然來臨。隨著社交網路的逐漸成熟,移動寬頻迅速提升,雲計算、互聯網應用更加豐富。更多的感測設備、移動終端接入到網路,由此產生的數據及增長速度迅速攀升。那麼什麼是大數據呢,正如IBM總結的那樣:「大量化(Volume)、多樣化(Variety)和快速化(Velocity)」就是「大數據」的顯著特徵。
二、管理法則:質量是數據時代的根本
數據能滿足其既定的用途,它才有質量。如果不能滿足既定的目標和用途,就談不上質量。換句話說,數據的質量不僅取決於它本身,還取決於它的用途(引致資料庫專家傑克.奧爾森)。
隨著網路的出現,政府開始在網上發布信息和數據,對政府而言,是一個很大的挑戰,因為數據一經政府發布,往往被視為權威,對社會的各個領域都可能產生重大的影響。任何一份通過網路發布的信息,面對的都不是一定特定群體,而是全體國民,如果政府發布數據的質量不可靠,將受到頻繁的、大范圍的質疑,特別是一些可以會影響到公共政策和行業管制標準的數據,將引起巨大的爭議。
例如:單位奶製品中蛋白質含量、菌落總數應該是多少 ?飲用水裡能混雜多少含量的微量元素?新鮮蔬菜能帶有多少指標的殺蟲劑殘留?工廠排放的廢氣、汽車的尾氣以及車間的通風條件都要符合怎樣的標准等等,這些標准,都是數據。隨著社會的發民、科學的進步,這些標准越來越多越來越細,每一個都和國民生活和經濟發展息息相關。所以政府在網上發布數據,必須慎之又慎,保證質量。
三、大數據在各領域中的價值表現
1、數據競爭:企業贏利之道
企業以「低成本、高效率」的方式來開展公司的業務,而要做到「低成本、高效率」的運營以及決策正確,企業必須廣泛推選以事實為基礎的決策方法、大量使用數據分析來優化企業的各個運營環節,通過基於數據的優化和對接,把業務流程和決策過程當中存在的每一分潛在的價值都「擠」出來,從而節約成本,戰勝對手,在市場上倖存。這種競爭,就是一種基於數據的競爭。
已經有越來越多令人信服的證據表明:只要實施正確的政策和激勵,大數據將成為競爭的關鍵性基礎,並成為下一波生產率提高、創新和為消費者創造價值的支柱。信息時代的競爭,不是勞動生產率的競爭,而是知識生產率的競爭。數據,是信息的載體、是知識的源泉,當然也就可以創造價值和利潤,可以預見,基於知識的競爭,將集中表現為基於數據的競爭,這種數據競爭,將成為經濟發展的必然。
2、通訊、電信、商務智能、互聯網的逐步演變
近年來,隨著大數據的迅猛增加,各個行業、政府部門都在嘗試「用數據來決策」、「用數據來管理」、「用數據來創新」,在這個過程中,涌現了一大批既務實管用,又令人耳目一新的做法和應用。
回顧歷史,我們從廣播的年代到電視的年代再到本世紀初互聯網的年代,從音頻對話到可視電話,數據技術一直在我們的生活中扮演重要的角色,互聯網出現之後,就交流和互動而言,廣播和電視無疑相形見絀。
「大數據」可能帶來的巨大價值正漸漸被人們認可,它通過技術的創新與發展,以及數據的全面感知、收集、分析、共享,為人們提供了一種全新的看待世界的方法。
四、總結
塗先生從數據本身的革命、社會科學的革命、企業管理的革命、社會管理的革命四個方面深刻闡述了大數據的重要意義,以最前沿的視野、直接的解讀和剖析為我們理清了《大數據》一書的脈絡和精髓,為我們如何能更好地閱讀、理解、領會《大數據》一書的精神實質提供了很好的幫助,讓我們意識到:大數據的時代,是不可逃避的。
塗子沛大數據讀後感二:讀塗子沛的《大數據》有感
首先說下《大數據》這本書好的地方就是將大數據變化為一本科普讀物,不是講大數據的關鍵技術和具體實現,而更多的是圍繞美國政府基於數據的管理歷史線條展開,讓大家更加容易理解大數據在政府執政和公共事務管理中發揮的作用,所以我看完後最大的感覺就是關注智慧城市的相關人員完全有必要閱讀該書,會對以後在智慧城市的管理和建設中如何更好的理解大數據,應用大數據,發揮大數據本身的業務價值有更好的理解。
為何近幾年出現大數據,最重要的還是隨著信息技術和互聯網,管理的精細化,全球化和社交圈擴大,數據呈現了指數級的增長。2009年美國的數據,離散製造業966PB,政府848PB,傳媒行業715PB,這是麥肯錫2011年出版的一份報告《大數據:下一代創新,競爭和生產率的前沿》裡面的一個估算。正是由於數據指數級的增長,對數據的開放,信息自由,數據的採集,數據的分析和處理,預測和決策提出了更高的要求。
信息自由,一為信息公開,二為信息發布。公開是政府和某一社會特定主體的關系,是點對點的;而信息發布是政府和社會的關系,是點對面的。信息自由法已經成為美國不可缺少的一個基本法案,只有信息自由才談得上進一步的數據開放和數據共享。
我們信奉上帝,除了上帝任何人都要以數據說話。信息技術發展,數據指數級增長,已經徹底改變了政府,社會,商業群體的決策方法。需要的是形成一種數據驅動的決策方法,數據治國,需要基於實證的事實而非簡單的`意識形態。而真正要讓數據能夠上升到決策層面,首先需要的就是數據大范圍採集,數據抽樣,數據測量和數據質量管理。另外數據驅動和事件驅動是兩種模式,數據驅動強調的是歷史和預測,而事件驅動強調的是實時和響應。大數據有一個維度專門是指速度和快速響應,更需要考慮事件驅動和數據驅動融合。
帝國法則,詳細講述了數據的收集法則,使用法則,發布法則和管理法則。數據能夠滿足既定的用途,它才有質量。如果不能滿足既定的目標和用途,就談不上質量。換句話說,數據的質量不僅取決於它本身,還取決於它的用途。數據質量的問題涉及到數據收集,使用,發布等所有過程的問題。數據質量管理要有標准,有流程,有救助機制。
從軟體的開源到數據的開放,我們過渡到一個新的世界,可以講數據開放式本身的另外一個重點。在這個新的世界裡面,數據遠遠比軟體更加重要。從2004年以來,美國一直在進行數據開放運動,聯邦政府也專門家裡了數據開放站DataGov,其主要目標就是通過數據開放,通過鼓勵新的創意,讓數據走出政府,得到更多的創新型應用。從而進一步鞏固政府透明化,民主化和政府效能。
數據之爭涉及到原始數據採集,數據質量,數據安全,數據粒度,數據價值,數據虛實多個維度。而DataGov不僅僅開放了原始數據,地理數據,還包含了數據分析工具的開放。數據開放為創新提供了無窮的燃料,因為創新型應用,數據的能量將逐層放大。
預測未來最好的方法,就是創造未來。而數據最大的價值仍然在預測上面,在解決了數據開放,數據採集,數據質量管理,數據處理後,最重要的作用就是基於數據進行科學的預測和決策。數據競爭將是企業贏之道,一些企業已經將他們商業活動的每個環節放在了數據收集,分析和行動的能力上。
塗子沛大數據讀後感三:讀塗子沛《大數據》有感
7月的一天,我有幸拿到了塗子沛的《大數據》一書,幾個月來認真翻閱了好幾遍,並查閱了許多相關的文章,也讓我產生了寫下這篇讀後感的沖動。
。
我們處於大數據時代
當今的時代是一個信息的時代,是一個數據爆炸的時代。信息是數據的內容,數據是信息的載體。隨著電腦、網路的普及,搜索引擎技術的進步以及雲時代的來臨,上至國家下至個人,無不為數據所包圍,信息無處不在、數據無處不在。難以想像離開數據、離開數據管理,我們這個社會將會是什麼樣子。
那麼大數據時代到底有多大呢?我們知道計算機用二進制存儲和處理數據,一位是指一個二進制數位——0或1,這是存儲信息的邏輯單元。一個位元組有8位,再往上是KB(1KB是210位元組)、MB(1MB是220位元組)、GB(1GB是230位元組)、TB(1TB是240位元組)、PB(1PB是250位元組)、EB(1EB是260位元組)、ZB(1ZB是270位元組)、YB(1YB是280位元組)。但這究竟是多大的數據呢,我們還是難以想像。有人統計過將1TB的數據全部列印出來,需要用5000萬個四開門的書櫃去儲藏。這是多麼龐大的一個數啊,而這只是1TB——240個位元組。而僅全世界消費者一年產生的數據就有6000PB,全世界企業一年產生的數據有7000PB。截至2010年,人類產生的數據為1。2ZB,且數據每年以指數級增長,每兩年我們擁有的數據將翻一番。
在大數據時代,數字電視、手機、移動互聯網統治了我們。截至2012年,中國手機網民數突破4。2億;2013年中國超過美國成為最大的智能手機市場;2013年2月微信用戶數突破4億,到9月,微信用戶達到5億,微信用戶正在以每6個月增長1億用戶的速度增長;95%的智能手機用戶睡前玩手機。
「棱鏡門」事件主角愛德華斯諾登一時間成為全球關注的目標,網路時代何處安放我們的隱私?美國間諜衛星精度達到了5至10厘米,當今社會我們每個人近乎「透明」!
大數據時代給我們帶來什麼。
1965年,英特爾創始人之一戈登摩爾考察了計算機硬體的發展規律,提出了著名的摩爾定律。該定律認為,同一個面積集成電路上可容納的晶體管數目,一到兩年將增加1倍,也就是說,其性能將提升1倍。換句話說,計算機硬體的處理速度和存儲能力,一到兩年將提升1倍。這一定律揭示了信息技術進步的速度。
數據的爆炸是「三維」的,是立體的,這三個維度,主要表現在:同一類型的數據量在快速增長;數據增長速度在加快;數據的多樣性,即新的數據來源和新的數據種類在不斷增長。
任何一件事物,都有一個從量變到質變的過程。在當前這個數據爆炸的時代,數據帶給我們什麼呢?我想最重要的是帶來了思維模式的轉變。轉變了我們一直以來以因果邏輯思維的模式,變成了相互關系的邏輯思維。舉一個例子,在不久的將來我們完全可以通過數據分析,預判出一次地震的時間、地點、強度,但我們不是通過分析地殼運動而來的,而是通過相互關系的龐大的數據分析而來的。
2008年的冰災,當時的廣州火車站滯留了25萬人,這個數據是通過當時在這個區域的手機使用數統計出來的,與後期的最終統計基本吻合。大數據使我們開始了一次全新的探索,而探索的意義不在於發現新大陸,而在於發現新視角。
大數據時代給企業帶來了什麼。
數據挖掘是一種知識產生的過程,從中產生創新、產生管理、產生推動社會變革的理論與實踐。
沃爾瑪公司是美國的一家世界性連鎖企業,以營業額計算,為全球最大的公司。沃爾瑪一年產生的數據有2500TB。沃爾瑪公司通過對大量歷史數據的分析發現,年輕爸爸去超市購買嬰兒尿布會順便買點啤酒犒勞自己。因此,沃爾瑪推出了尿布與啤酒搭售的營銷策略,使銷售量增長。
紐約,美國最大的城市及第一大港,擁有810多萬人口,其36%為外國移民,人口使用約170種語言。1990年,紐約市共發生了兇殺案2245宗,1995年下降到1171宗,2009年下降到466宗,創下50年最低。紐約是如何實現這個成績的呢?原來紐約通過把20年的犯罪數據和交通數據整合,開發出了「數據驅動的警務管理」,發現交通事故高發地帶,也是犯罪活動的高發地帶,而且兩者的高發時間段也同樣吻合。這就將警察以往「亡羊補牢」的工作模式轉變為「守株待兔」的工作模式,取得了巨大的成績。
大數據及其分析,將會在未來10年改變幾乎每一個行業的業務功能。任何一個組織,如果早一點著手大數據工作,都可以獲得明顯的競爭優勢。用另一本類似著作《大數據時代》的作者維克托的一句話:「大數據是未來,是新的油田、金礦。」
當前我們的企業每天獲得大量的生產、營銷、辦公數據,如何將數據分析應用其中是時代賦予我們的挑戰。如何實現粗放型向精細化轉變,大數據為我們的企業提升管理效率、提高服務水平提供了有利平台。
世界每天都在變,唯一不變的是變化。大數據將是傳統行業的掘墓者,盛極一時的柯達倒閉了,微軟收購了諾基亞……我們的企業處在這樣一個變革的社會,應該何去何從,值得我們每一個人深思。