1. 3000字概括《大數據時代》
有言在先
近期有些起伏,這種情況最適合回歸書本,尋找一些你內心認同的東西。這幾天花了點時間重溫《大數據時代》,整理、總結出了精華的東西,分享給大家。
大數據引起了變革
當今社會所獨有的一種新型能力:以一種前所未有的方式,通過對海量數據進行分析,獲得巨大價值的產品和服務,或深刻的洞見。
? 震人心魄的數據
2003年,人類第一次破譯人體基因密碼的時候,辛苦工作10年才完成了三十億對鹼基對的排序;大約10年後,世界范圍內的基因儀每15分鍾就可以完成同樣的工作。在金融領域,美國股市每天的成交量高達70億股,而其中三分之二的交易都是郵件里在數學模型和演算法之上的計算機程序自動完成的。
在2007年,所有數據中只有7%是存儲在報紙、書籍、圖片等媒介上的模擬數據,其餘全部是數字數據;在2000年時,數字存儲信息仍只佔全球數據量的四分之一;當時,另外四分之三的信息都存儲在報紙、膠片、黑膠唱片和盒式磁帶這類媒介上。
? 大數據的精髓
大數據帶給我們的三個顛覆性觀念轉變:是全部數據,而不是隨機采樣;是大體方向,而不是精確制導;是相關關系,而不是因果關系。
A.不是隨機樣本,而是全體數據:在大數據時代,我們可以分析更多的數據,有時候甚至可以處理和某個特別現象相關的所有數據,而不再依賴於隨機采樣(隨機采樣,以前我們通常把這看成是理所應當的限制,但高性能的數字技術讓我們意識到,這其實是一種人為限制);
B.不是精確性,而是混雜性:研究數據如此之多,以至於我們不再熱衷於追求精確度;之前需要分析的數據很少,所以我們必須盡可能精確地量化我們的記錄,隨著規模的擴大,對精確度的痴迷將減弱;擁有了大數據,我們不再需要對一個現象刨根問底,只要掌握了大體的發展方向即可,適當忽略微觀層面上的精確度,會讓我們在宏觀層面擁有更好的洞察力;
C.不是因果關系,而是相關關系:我們不再熱衷於找因果關系,尋找因果關系是人類長久以來的習慣,在大數據時代,我們無須再緊盯事物之間的因果關系,而應該尋找事物之間的相關關系;相關關系也許不能准確地告訴我們某件事情為何會發生,但是它會提醒我們這件事情正在發生。
? 大數據的核心是預測
大數據的核心就是預測,它通常被視為人工智慧的一部分,或者更確切地說,被視為一種機器學習。大數據不是要教機器人像人一樣思考,而是把數學演算法運用到海量的數據上來預測事情發生的可能性。
●●●
不是隨機樣本,而是全體數據
歷史上,因為記錄、儲存、分析數據的工具都不夠好,為了讓分析變得簡單,我們選擇了把數據量減少,
統計學的一個目的就是用盡可能少的數據來證實盡可能重大的發現。
? 傳統抽樣的精確性
采樣分析的精確性隨著采樣隨機性的增加而大幅提高,但與樣本數量的增加關系不大,大致原因是當樣本數量達到某個值後,我們從新個體身上得到的信息會越來越少,這與經濟學中的邊際效應類似。
? 隨機采樣的問題
隨機采樣有一個很大的問題:人們只能從隨機采樣中得出事先設計好的問題的結果,調查得出的數據不可以重新分析以實現計劃之外的目的,而且一旦采樣過程中存在任何偏見,分析結果就會相去甚遠。
? 樣本=總體
采樣的目的就是用最少的數據得到最多的信息,當我們可以獲得海量數據的時候,它就沒有什麼意義了;生活中真正有趣的事情經常藏匿在細節之中,而采樣分析卻無法捕捉到這些細節(因為采樣不能得到計劃之外的東西);大數據建立在掌握所有數據,至少是盡可能多的數據的基礎上,所以我們就可以正確地考察細節並進行新的分析。
●●●
不是精確性,而是混雜性
執迷於精確性是信息缺乏時代和模擬時代的產物,只有5%的數據是結構化且能適用於傳統資料庫的,如果不能接受混亂,剩下的95%的非結構化數據都無法被利用。
? 小數據時代的精確性
在「小數據時代」,人們收集、處理數據的能力有限,對「小數據」而言,最基本、最重要的要求就是減少錯誤,保證質量(收集信息的有限意味著細微錯誤會被放大,甚至有可能影響整個結果的准確性)。人們創造了很多精確的系統,這些系統試圖讓我們接受一個世界睏乏而規整的慘象——假裝世間萬物都是整齊地排列的;事實上現實是紛繁復雜的,天地間存在的事物也遠遠多於系統所設想的。
? 我們要的是概率
我們總是為了一個「答案」而活著,精確性似乎一直是我們生活的支撐,但認為每個問題只有一個答案的想法是站不住腳的。「一個唯一的真理「的存在是不可能的,而且追求這個唯一的真理是對注意力的分散。大數據也許是拯救我們的關鍵方法:大數據通常用概率說話,而不是板著「准確無疑」的面孔。
●●●
不是因果關系,而是相關關系
在大數據時代,我們不必知道現象背後的原因,而是要讓數據自己「發聲」。我們不再一味追求人們為什麼這么做,知道人們為什麼這么做可能是有用的,但這個問題目前並不是很重要,重要的是我們能通過大數據分析出人們的相關行為。
? 相關關系
相關關系的核心是量化兩個數據值之間的數理關系:相關關系強是指當一個數據值增加時,另一個數據值很有可能也會隨之增加;相關關系弱就意味著當一個數據值增加時,另一個數據值幾乎不會發生變化。相關關系通過識別有用的關聯物來幫助我們分析一個現象,而不是通過揭示其內部的運作機制。相關關系沒有絕對,只有可能性。
? 人們的直接目的就是尋找因果關系
人們的直接願望就是了解因果關系,我們已經習慣了信息的匱乏,故此亦習慣了在少量數據的基礎上進行推理思考。以前我們用實驗來證明因果關系,它是通過是否有誘因來分別觀察所產生的結果是不是和真實情況相符。但是,凡事皆有因果的話,那麼我們就沒有決定任何事的自由了。如果說我們做的每一個決定或者每一個想法都是其他事情的結果,而這個結果又是由其他原因導致的,以此循環往復,那麼就不存在人的自由意志這一說了——所有的生命軌跡都只是受到因果關系的控制了——這顯然是不正確的。
? 相關關系和因果關系並不矛盾
相關關系分析本身意義重大,同時它也為研究因果關系奠定了基礎,通過找出可能相關的事物,我們可以在此基礎上進行進一步的因果關系分析,如果存在因果關系的話,我們再進一步找出原因。在大多數情況下,一旦我們完成了對大數據的相關關系分析,而又不再滿足於僅僅知道「是什麼」時,我們就會繼續向更深層次研究因果關系,找出背後的「為什麼」。在小數據時代,我們會假象世界是怎麼運作的,然後通過收集和分析數據來驗證這種假象;在大數據時代,我們會在數據的指導下探索世界,不再受限於各種假想;我們的研究始於數據,也因為數據我們發現了以前不曾發現的聯系。
A.大量的數據意味著「理論的終結」:用一系列的因果關系來驗證各種猜測的傳統研究範式已經不實用了,如今它已經被無需理論指導的相關關系研究所取代;
B.現在已經是一個有海量數據的時代,應用數學已經取代了其他的所有學科工具,而且只要數據足夠,就能說明問題,如果你有一拍位元組的數據,只要掌握了這些數據之間的相關關系,一切就迎刃而解了;
C.「理論的終結」:所有的普遍規則都不重要了,重要的是數據分析,它可以揭示一切問題;但大數據並不意味著理論已死,因為大數據就是在理論的基礎上形成的。
●●●
大數據時代的商業變革
在一個可能性和相關性佔主導地位的世界裡,專業性變得不那麼重要了;行業並不會消失,但是他們必須與數據表達的信息進行博弈。
? 數據化:一切皆可量化
大數據的核心發展動力來源於人類測量、記錄和分析世界的渴望。為了得到可量化的信息,我們要知道如何計量;為了數據化量化了的信息,我們要知道怎麼記錄計量的結果。如今我們經常把「數字化」和「數據化」這兩個概念搞混,但是對這兩個概念的區分實際上非常重要:
A.數據化:一種把現象轉變為可製表分析的量化形式的過程;
B.數字化:把模擬數據轉換成0和1表示的二進制碼;
數字化帶來了數據化,但是數字化無法取代數據化;數字化是把模擬數據變成計算機課讀的數據,和數據化有著本質的不同。
? 當方位變成了數據
1978年見證了一個偉大的轉變,當時構成全球定位系統(GPS)的24顆衛星第一次發射成功,通過與技術手段的融合,全球定位系統能夠快速、相對低價地進行地理定位,而且不需要任何專業知識。地理位置信息匯集起來,可能會揭示事情的發展趨勢;位置信息一旦被數據化,新的用途就猶如雨後春筍般涌現出來,而新價值也會隨之不斷催生。
? 當溝通變成數據
社交網路平台不僅給我們提供了尋找和維持朋友、同事關系的場所,也將我們日常生活的無形元素提取出來,再轉化為可作新用途的數據。數據化不僅能將態度和情緒轉變為一種可分析的形式,也可能轉化人類的行為,這些行為難以跟蹤,特別是在廣大的社區和其中的子人群環境中。
A.Facebook將關系數據化——社交關系在過去一直被視作信息而存在,但從未被正式界定為數據,直到Facebook「社交圖譜」的出現;
B.Twitter通過創新,讓人們能輕易記錄以及分享他們零散的想法,從而使情緒數據化得以實現。
? 「取之不盡,用之不竭「的數據創新
盡管數據長期以來一直是有價值的,但通常只是被視作附屬企業經營核心業務的一部分,或者被歸入知識產權或個人信息中相對狹窄的類別,但在大數據時代,所有數據都是有價值的。我們的時代,數據收集不再存在固有的局限性,由於存儲成本的大幅下降,保存數據比丟棄數據更加容易,這使得以較低成本獲得更多數據的可能性比以往任何時候都大。不同於物質性的東西,數據的價值不會隨著它的使用而減少,而是可以不斷地被處理,信息不會像其他物質產品一樣隨著使用而有所損耗。數據的價值並不僅限於特定的用途,它可以為了同一目的而被多次使用,也可用於其他目的。 作者 _Glen_ 本文轉自簡書,轉載需授權
2. 大數據時代讀後感 [說說大數據的三個「不是」]
有人說,大數據是個謊言;有人說,大數據是個偽命題。大數據市場確實存在。Gartner預測,到2015年,70%的信息基礎架構擴展與投資的主要驅動因素是業務分析需求。以前,人們把精力主要放在如何存儲好海量的數據上,而沒有想到深入挖掘數據的內在價值。隨著數據與業務之間的關系越來越緊密,以及一些大數據分析工具不斷涌現,數據分析成了企業決策的前提。
大數據不一定是復雜的分析
許多人一提到大數據,首先想到的是復雜的數據分析。這讓有些希望採用大數據分析工具的用戶產生了畏難情緒,也讓有手念叢些用戶產生了誤解,認為大數據分析只是那些擁有復雜業務流程和海量數據的大企業的事。市場研究機構麥肯錫的研究人員表示:「要創造新的重大價值,並不一定要採用復雜的大數據分析方法,有時只要能保證數據的可用性或對數據應用進行基本的分析,就能獲得所需的重要價值。」
不同的企業或一個企業內部不同的部門對數據分析和數據價值的理解都不相同。企業處於不同的信息化發展階段,也會設定不同的數據分析目標,採用不同的數據分析工具。正是基於此,戴爾率先提出了大數據成熟度模型。戴爾公司全球企業級解決方案副總裁Cheryl Cook表示:「這一模型已經得到了業內許多分析機構的認可。所有行業以及所有數據應用都適用於此模型。」
如下圖所示,大數據成熟度模型分成五個階段。第一個階段,數據處於混亂狀態,數據存儲無章可循,數據難以訪問,企業的信息系統處於高風險狀態。第二個階段,實現數據的保留。在這個階段,企業被動地對數據進行存儲。數據雖然經過一定的處理,但還不具有高質量,數據的訪問也會受到一定限制。第三個階段,實現存儲的優化。在這個階段,通過對存儲系統的進一步優化以及基於策略的控制與管理,用戶可以逐步發現數據的價值。第四個階段,實現簡單的分析。在存儲優化的基礎上,用戶可以進行數據建模和簡單的數據分析,對歸檔數據進行搜索等。第五個階段,實現復雜的分析。在這個階段,大數據分析工具將得到充分應用,用戶可以進行比較復雜的建模、分析和決策。經過上述五個階段,曾經雜亂無章的數據也將經歷從數據畢櫻到信息再到知識的轉變過程,最終成為企業決策的重要依據。
這個大數據成熟度模型可以解答人們對於大數據應用的幾個疑惑。第一,用戶使用大數據分析工具,並不意味著一定要進行復雜的分析。舉例來說,處於存儲優化階段的用戶就可以實現無障礙的數據訪問,並能獲得所需的數據價值。第二,大數據的應用要經歷一個逐步完善的過程,必須循序漸進,先做好數據存儲和優化,然後再進行數據分析。第三,大數據解決方案通常包括兩個部分:一是大數據保留解決方案,二是大數據分析解決方案。將兩類解決方案有機地結合在一起,才能有效降低大數據分析應用的成本,更好地挖掘數據的價值。Cheryl Cook表示,戴爾可以提供上述兩種解決方案。一方面,戴爾可以提供針對結構化和非結構化數據的大數據保留解決方案,主要包括存儲虛擬化與整合、應用程序優化、數據保護、災難恢復以及數據保留與管理解決方案;另一方面,戴爾還能提供支持Hadoop、Cloudera等開源軟體的大數據分析解決方案。
記者曾與包括大慶油田、太平洋保險公司等在內的一些用戶進行過交流。它們目前都沒有計劃部署大數據應用。「從全球范圍來看,大數據應用還處於起步階段。」戴爾亞太及日本地區商用事業部企業解決方案副總裁Philip A. Davis表示,「與雲計算興起時一樣,可能要經過兩三年的市場培育,用戶才能逐漸接受大數據應用。」
中國東方航空股份有限公司信息部總經理嚴振紅介紹說:「在大數據的概念出現以前,我們就在做客戶數據、經營數據的分析工作。但是客戶資料庫、經營資料庫等都是相互獨立的,數據不能共享。現在,我們要做的是將這些系統的數據整合起來,統一進行分析。」
Hadoop不是萬能的
簡單來說,Hadoop是一個能夠對大量數據進行分布式處理的軟體框架。Hadoop最獨特的優勢在於為用戶提供了一個分布式的、高容錯的文件系統和加速數據處理高毀的辦法。隨著Web 2.0、社交網站的大規模興起,人們需要一個高效的處理非結構化數據的平台。Hadoop正好可以滿足人們的需求。有些人甚至在Hadoop和大數據之間劃上了等號。Hadoop能夠解決大數據應用的所有難題嗎?
「Hadoop是一個復雜的工具套件。如果沒有廠商或專業技術人員的幫助,用戶自己部署Hadoop是一件十分困難的事。目前,Hadoop的應用並不普及。互聯網用戶是最早採用Hadoop平台的。」Philip A.Davis表示,「如果想讓大數據解決方案充分發揮其作用,就必須搭建一個高效的信息基礎架構,實現信息基礎架構的自動化、智能化,同時提高其可管理性。」
Hadoop的應用是有一定技術門檻的。如今,許多IT廠商都推出了基於Hadoop的解決方案包,其目的是幫助用戶簡化Hadoop的部署與應用。Philip A.Davis表示:「戴爾提供的基於Hadoop的大數據分析方案可以將Hadoop的部署周期從原來的兩個月縮短至兩天。」
VMware全球高級副總裁范承工也認為,由於缺少精通Hadoop技術的專業人才,Hadoop的部署對於用戶來說是一件費時費力的事。如今,VMware可以將Hadoop部署在虛擬化架構之上,將部署工作從半自動化變為全自動化,從而減少了人工干預,使得Hadoop的部署變得更加簡單,也不容易出錯。
「很多中國企業的CIO認為,大數據解決方案是有價值的,但實施起來確實有許多困難。」戴爾全球副總裁、中國區大型企業及公共事業部總經理容永康舉例說,「國內懂得在Hadoop上進行開發的專業技術人員非常少。一些金融行業的用戶很想現在就部署大數據解決方案,但是苦於找不到既懂Hadoop技術,又懂得金融業務的專業人才。」
Informatica首席技術官James Markarian表示:「在IT環境中,Hadoop不可能作為一個孤島存在。為了讓Hadoop跨越不同平台,用戶需要將Hadoop作為其IT大環境中的一部分來管理,並通過Hadoop重復使用他們的開發技巧、資產及數據,同時還要統籌管理全部數據。」
在美國市場上,70%的大數據應用處理的還是結構化的數據。從技術的角度看,雖然Hadoop也能處理結構化的數據,但是目前基於Hadoop的大數據分析解決方案主要還是用於處理非結構化的數據。因此,用戶處理結構化數據和非結構化數據通常是用兩套不同的分析工具。這種混合的大數據處理模式是一種普遍現象。
從未來的發展看,非結構化數據的快速增長是大數據分析的主要驅動因素。從這個角度講,Hadoop的應用前景還是十分廣闊的。
大數據不僅僅是一個解決方案
Cheryl Cook強調說:「用戶千萬不能認為,只要購買了一個大數據的解決方案,就能解決所有的問題。許多中國用戶還沒有充分意識到數據能夠帶來多大的價值。戴爾收購佩羅系統公司,增強了自身的顧問咨詢能力,可以幫助客戶分析數據能夠帶來什麼樣的價值。這為用戶日後正確部署大數據解決方案奠定了基礎。」
有些廠商通過收購或其他方式,很快就推出了大數據解決方案,並將這些解決方案推銷給客戶。Cheryl Cook表示:「戴爾先從客戶的需求入手,幫助客戶分析當前遇到的實際問題是什麼,然後進一步明確客戶能從數據中獲取什麼樣的價值,最後才是提供量身定製的解決方案。」戴爾大數據解決方案的特色在於開放化和多樣化。戴爾既可以提供基於開源軟體的大數據解決方案,也可以提供支持微軟、SAP等軟體的大數據解決方案。針對Hadoop平台,戴爾還能提供一些附加的服務,目的是為了讓Hadoop平台能夠滿足客戶的個性化需求。在部署大數據解決方案之前,用戶首先要搞清楚,能從大數據解決方案中獲得什麼樣的價值,然後再制定具體的實施規劃,接下來就是構建高效的信息基礎架構,最後才是部署大數據分析工具。
3. 我家的「大數據」800字作文
寫作思路:立意要新穎文章最忌隨人後,人雲亦雲,新穎的角度是作文創新的核心。立意新穎要求跳出陳舊的框框、不按順向思維、習慣思維或原有的心理定式進行立意構思,而是以獨到的視角去審視題目中所蘊涵的另類內容。
正文:
一年四季,桃花只盛開一次;一年有三百六十五天,而春天只有短短的三個月……數字可以用來對比,可以用來表達世間所有美好的事物。它觸摸不到卻能讓我們領略人間的溫暖與冷漠。當我們走進數據時代,你會發現世間冷暖,盡收眼底。
數據雖是生冷的數字,但它能折射出人間的冷暖。漫步於天地,沒有數據的世界一片茫然,它可以帶給我們准確的度量,可以讓我們知曉天下事。可以讓我們的生活更加豐富多彩,充滿生機。數據折射出人間冷暖。
數據提醒著人們過錯的同時。也反映出時間的冷酷無情。到了上世紀九十年代。長江里僅剩二百餘頭白鰭豚,到了1997年,這種身長六英尺左右的動物只剩下了十七頭。到了2004年,這種白鰭豚已經幾乎消失在人們的視線。
這一系列逐漸變少的數字無一不敲打著人們的警鍾,提醒著人們保護環境的重要性,這些數據反映的不只是人們意識淡薄,更是對人間冷酷無情的極大反射!生命如此脆弱卻被人類毫不留情地親手扼殺。這些直擊人心的數字是冷漠無情後付出的慘痛的代價,它時時刻刻都讓我們為自己的所做所為感到羞恥。
數字也會如陽光般輕柔,帶給我們溫暖。當你考試得了滿分,拿著卷子看至那鮮紅的數字,你會感到無以言表的快樂與激動:當賣水果的老大爺今天顧客滿員,多掙了一百元錢,看著那鮮紅的鈔票,就會感到幸福滿滿,生活幸福指數提高,經濟發展的進步,每項數據都那麼鼓舞人心,溫暖心靈。
數據有時就像烏雲上的陽光,他會帶你穿過層層阻礙,走向未知的世界。即使是很微小的事情,也會被數據折射幸福的光芒。
數據豐富著人們的生活,改變著我們的思維方式,彷彿離開了數據就會將自己陷入無邊的黑暗。古人也常常用數據描述著事物的發展,曹劌論戰中一鼓作氣,再而衰,三而竭;登高中萬里悲秋常作客,百年多病獨登台。
詩人們多運用數字誇張的手法表現內心情感,數字使他們的情感表達得更加淋漓盡致。作為新一屆高三生,我們每天也會看到許多數字,距離高考僅剩二百餘天,這將激勵著我們去女里奮斗,為了明天的輝煌而放手一搏!
數字如微風吹過,激起陣陣漣漪;數字如陽光拂過,留下絲絲溫暖,我們在這條數據時代的道路上走過,留下了我們的足跡,感受世間冷暖,感受著數據帶給我們的幸福生活。
4. 什麼是大數據,大數據時代怎麼理解
大數據的定義
大數據(Bigdata)通常用來形容一個公司創造的大量非結構化和半結構化數據,這些數據在下載到關系型資料庫用於分析時會花費過多時間和金錢。大數據分析常和雲計算聯繫到一起,因為實時的大型數據集分析需要像MapRece一樣的框架來向數十、數百或甚至數千的電腦分配工作。
大數據的特點
數據量大、數據種類多、要求實時性強、數據所蘊藏的價值大。在各行各業均存在大數據,但是眾多的信息和咨詢是紛繁復陪答雜的,需要搜索、處理、分析、歸納、總結其深層次的規律。
大數據時代的影響
越來越多的政府、企業等機構開始意識到數據正在成為組織最重要的資產,數據分析能力正在成為組織的核心競爭力。如2012年3月22日,奧巴馬政府宣布投資2億美元拉動大數據相關產業發展,將「大數據戰略」上升為國家意志。聯合國也在2012年發布了大數據政務白皮書,指出大數據對於聯合國和各國政府來說是一個歷史性的機遇,人們如今可以使用極為豐富的數據資源,來對社會經濟進行前所未有的實時分析,幫助政府更好地響應社會和經濟運行。
大數據的意義和前景
大數據是對大量、動態、能持蘆游慧續的數據,通過運用新系統、新工具、新模型的挖掘,從而獲得具有洞察力和新價值的東西。以前,面對龐大的數據,我們可磨配能會一葉障目、可見一斑,因此不能了解到事物的真正本質,從而在科學工作中得到錯誤的推斷,而大數據時代的來臨,一切真相將會展現在大家面前。
大數據分析的目的
大數據分析的核心目的就是預測,在海量數據的基礎上,通過機器學習相關的各種技術和數學建模來預測事情發生的可能性並採取相應措施。預測股價、預測機票價格、預測流感等等。
預測事情發生的可能性繼續往下延伸,就可以通過適當的干預,來引導事情向著期望的方向發展。比如亞馬遜和所有的電商一樣,都會基於對用戶的喜好及消費能力分析來推薦商品,引導用戶提高消費金額;Google等互聯網巨頭也會通過各種技術手段來試圖向不同的用戶展現不同的廣告,並稱之為精準營銷,由此來提高點擊率(公司收入);網游公司也會在運營工程中通過玩家行為數據的分析來及時調整游戲關卡及計費點等設計。
5. 塗子沛大數據讀後感1800字
進入2012年大數據一詞越來越多地被提及,人們用它來描述和定義信息爆炸時代產生的海量數據,並命名與之相關的技術發展與創新,人們對於海量數據的挖掘和運用,預示著新一波生產率增長和消費者消費浪潮的到來。「大數據」的運用在各個領域發揮著前所未有的重要作用,滲透到了當今每一個行業和業務職能領域,成為重要的生產因素,並對人類的數據駕馭能力提出了更新的挑戰。
一、傳統的信息格局被打破
不是我不明白,這世界變化快。2000年還是一張軟盤打天下的時代,短短十多年光景,硬碟的存儲容量已從4GB、16GB、32GB迅速攀升到1TB(相當於1024GB的容量)。原來僅有1.44MB的軟盤在當時感覺存儲容量還是蠻大的,到現在硬碟容量躥升至1TB了,反而感覺存儲空間捉襟見肘,到底是哪裡出現了問題呢?1965年英特爾的創始人之一戈登摩爾考察了計算機硬體的發展規律,提出了著名的摩爾定律。該定律認為,同一個面積集成電路上可容納的晶體管數目,一到兩年將增加一倍,換句話說,計算機硬體的處理速度和存儲能力,一到兩年將提升一倍。這一定律,得到驗證。
大數據!一語驚醒夢中人,大數據時代已經悄然來臨。隨著社交網路的逐漸成熟,移動寬頻迅速提升,雲計算、互聯網應用更加豐富。更多的感測設備、移動終端接入到網路,由此產生的數據及增長速度迅速攀升。那麼什麼是大數據呢,正如IBM總結的那樣:「大量化(Volume)、多樣化(Variety)和快速化(Velocity)」就是「大數據」的顯著特徵。
二、管理法則:質量是數據時代的根本
數據能滿足其既定的用途,它才有質量。如果不能滿足既定的目標和用途,就談不上質量。換句話說,數據的質量不僅取決於它本身,還取決於它的用途(引致資料庫專家傑克.奧爾森)。
隨著網路的出現,政府開始在網上發布信息和數據,對政府而言,是一個很大的挑戰,因為數據一經政府發布,往往被視為權威,對社會的各個領域都可能產生重大的影響。任何一份通過網路發布的信息,面對的都不是一定特定群體,而是全體國民,如果政府發布數據的質量不可靠,將受到頻繁的、大范圍的質疑,特別是一些可以會影響到公共政策和行業管制標準的數據,將引起巨大的爭議。
例如:單位奶製品中蛋白質含量、菌落總數應該是多少 ?飲用水裡能混雜多少含量的微量元素?新鮮蔬菜能帶有多少指標的殺蟲劑殘留?工廠排放的廢氣、汽車的尾氣以及車間的通風條件都要符合怎樣的標准等等,這些標准,都是數據。隨著社會的發民、科學的進步,這些標准越來越多越來越細,每一個都和國民生活和經濟發展息息相關。所以政府在網上發布數據,必須慎之又慎,保證質量。
三、大數據在各領域中的價值表現
1、數據競爭:企業贏利之道
企業以「低成本、高效率」的方式來開展公司的業務,而要做到「低成本、高效率」的運營以及決策正確,企業必須廣泛推選以事實為基礎的決策方法、大量使用數據分析來優化企業的各個運營環節,通過基於數據的優化和對接,把業務流程和決策過程當中存在的每一分潛在的價值都「擠」出來,從而節約成本,戰勝對手,在市場上倖存。這種競爭,就是一種基於數據的競爭。
已經有越來越多令人信服的證據表明:只要實施正確的政策和激勵,大數據將成為競爭的關鍵性基礎,並成為下一波生產率提高、創新和為消費者創造價值的支柱。信息時代的競爭,不是勞動生產率的競爭,而是知識生產率的競爭。數據,是信息的載體、是知識的源泉,當然也就可以創造價值和利潤,可以預見,基於知識的競爭,將集中表現為基於數據的競爭,這種數據競爭,將成為經濟發展的必然。
2、通訊、電信、商務智能、互聯網的逐步演變
近年來,隨著大數據的迅猛增加,各個行業、政府部門都在嘗試「用數據來決策」、「用數據來管理」、「用數據來創新」,在這個過程中,涌現了一大批既務實管用,又令人耳目一新的做法和應用。
回顧歷史,我們從廣播的年代到電視的年代再到本世紀初互聯網的年代,從音頻對話到可視電話,數據技術一直在我們的生活中扮演重要的角色,互聯網出現之後,就交流和互動而言,廣播和電視無疑相形見絀。
「大數據」可能帶來的巨大價值正漸漸被人們認可,它通過技術的創新與發展,以及數據的全面感知、收集、分析、共享,為人們提供了一種全新的看待世界的方法。
四、總結
塗先生從數據本身的革命、社會科學的革命、企業管理的革命、社會管理的革命四個方面深刻闡述了大數據的重要意義,以最前沿的視野、直接的解讀和剖析為我們理清了《大數據》一書的脈絡和精髓,為我們如何能更好地閱讀、理解、領會《大數據》一書的精神實質提供了很好的幫助,讓我們意識到:大數據的時代,是不可逃避的。
塗子沛大數據讀後感二:讀塗子沛的《大數據》有感
首先說下《大數據》這本書好的地方就是將大數據變化為一本科普讀物,不是講大數據的關鍵技術和具體實現,而更多的是圍繞美國政府基於數據的管理歷史線條展開,讓大家更加容易理解大數據在政府執政和公共事務管理中發揮的作用,所以我看完後最大的感覺就是關注智慧城市的相關人員完全有必要閱讀該書,會對以後在智慧城市的管理和建設中如何更好的理解大數據,應用大數據,發揮大數據本身的業務價值有更好的理解。
為何近幾年出現大數據,最重要的還是隨著信息技術和互聯網,管理的精細化,全球化和社交圈擴大,數據呈現了指數級的增長。2009年美國的數據,離散製造業966PB,政府848PB,傳媒行業715PB,這是麥肯錫2011年出版的一份報告《大數據:下一代創新,競爭和生產率的前沿》裡面的一個估算。正是由於數據指數級的增長,對數據的開放,信息自由,數據的採集,數據的分析和處理,預測和決策提出了更高的要求。
信息自由,一為信息公開,二為信息發布。公開是政府和某一社會特定主體的關系,是點對點的;而信息發布是政府和社會的關系,是點對面的。信息自由法已經成為美國不可缺少的一個基本法案,只有信息自由才談得上進一步的數據開放和數據共享。
我們信奉上帝,除了上帝任何人都要以數據說話。信息技術發展,數據指數級增長,已經徹底改變了政府,社會,商業群體的決策方法。需要的是形成一種數據驅動的決策方法,數據治國,需要基於實證的事實而非簡單的`意識形態。而真正要讓數據能夠上升到決策層面,首先需要的就是數據大范圍採集,數據抽樣,數據測量和數據質量管理。另外數據驅動和事件驅動是兩種模式,數據驅動強調的是歷史和預測,而事件驅動強調的是實時和響應。大數據有一個維度專門是指速度和快速響應,更需要考慮事件驅動和數據驅動融合。
帝國法則,詳細講述了數據的收集法則,使用法則,發布法則和管理法則。數據能夠滿足既定的用途,它才有質量。如果不能滿足既定的目標和用途,就談不上質量。換句話說,數據的質量不僅取決於它本身,還取決於它的用途。數據質量的問題涉及到數據收集,使用,發布等所有過程的問題。數據質量管理要有標准,有流程,有救助機制。
從軟體的開源到數據的開放,我們過渡到一個新的世界,可以講數據開放式本身的另外一個重點。在這個新的世界裡面,數據遠遠比軟體更加重要。從2004年以來,美國一直在進行數據開放運動,聯邦政府也專門家裡了數據開放站DataGov,其主要目標就是通過數據開放,通過鼓勵新的創意,讓數據走出政府,得到更多的創新型應用。從而進一步鞏固政府透明化,民主化和政府效能。
數據之爭涉及到原始數據採集,數據質量,數據安全,數據粒度,數據價值,數據虛實多個維度。而DataGov不僅僅開放了原始數據,地理數據,還包含了數據分析工具的開放。數據開放為創新提供了無窮的燃料,因為創新型應用,數據的能量將逐層放大。
預測未來最好的方法,就是創造未來。而數據最大的價值仍然在預測上面,在解決了數據開放,數據採集,數據質量管理,數據處理後,最重要的作用就是基於數據進行科學的預測和決策。數據競爭將是企業贏之道,一些企業已經將他們商業活動的每個環節放在了數據收集,分析和行動的能力上。
塗子沛大數據讀後感三:讀塗子沛《大數據》有感
7月的一天,我有幸拿到了塗子沛的《大數據》一書,幾個月來認真翻閱了好幾遍,並查閱了許多相關的文章,也讓我產生了寫下這篇讀後感的沖動。
。
我們處於大數據時代
當今的時代是一個信息的時代,是一個數據爆炸的時代。信息是數據的內容,數據是信息的載體。隨著電腦、網路的普及,搜索引擎技術的進步以及雲時代的來臨,上至國家下至個人,無不為數據所包圍,信息無處不在、數據無處不在。難以想像離開數據、離開數據管理,我們這個社會將會是什麼樣子。
那麼大數據時代到底有多大呢?我們知道計算機用二進制存儲和處理數據,一位是指一個二進制數位——0或1,這是存儲信息的邏輯單元。一個位元組有8位,再往上是KB(1KB是210位元組)、MB(1MB是220位元組)、GB(1GB是230位元組)、TB(1TB是240位元組)、PB(1PB是250位元組)、EB(1EB是260位元組)、ZB(1ZB是270位元組)、YB(1YB是280位元組)。但這究竟是多大的數據呢,我們還是難以想像。有人統計過將1TB的數據全部列印出來,需要用5000萬個四開門的書櫃去儲藏。這是多麼龐大的一個數啊,而這只是1TB——240個位元組。而僅全世界消費者一年產生的數據就有6000PB,全世界企業一年產生的數據有7000PB。截至2010年,人類產生的數據為1。2ZB,且數據每年以指數級增長,每兩年我們擁有的數據將翻一番。
在大數據時代,數字電視、手機、移動互聯網統治了我們。截至2012年,中國手機網民數突破4。2億;2013年中國超過美國成為最大的智能手機市場;2013年2月微信用戶數突破4億,到9月,微信用戶達到5億,微信用戶正在以每6個月增長1億用戶的速度增長;95%的智能手機用戶睡前玩手機。
「棱鏡門」事件主角愛德華斯諾登一時間成為全球關注的目標,網路時代何處安放我們的隱私?美國間諜衛星精度達到了5至10厘米,當今社會我們每個人近乎「透明」!
大數據時代給我們帶來什麼。
1965年,英特爾創始人之一戈登摩爾考察了計算機硬體的發展規律,提出了著名的摩爾定律。該定律認為,同一個面積集成電路上可容納的晶體管數目,一到兩年將增加1倍,也就是說,其性能將提升1倍。換句話說,計算機硬體的處理速度和存儲能力,一到兩年將提升1倍。這一定律揭示了信息技術進步的速度。
數據的爆炸是「三維」的,是立體的,這三個維度,主要表現在:同一類型的數據量在快速增長;數據增長速度在加快;數據的多樣性,即新的數據來源和新的數據種類在不斷增長。
任何一件事物,都有一個從量變到質變的過程。在當前這個數據爆炸的時代,數據帶給我們什麼呢?我想最重要的是帶來了思維模式的轉變。轉變了我們一直以來以因果邏輯思維的模式,變成了相互關系的邏輯思維。舉一個例子,在不久的將來我們完全可以通過數據分析,預判出一次地震的時間、地點、強度,但我們不是通過分析地殼運動而來的,而是通過相互關系的龐大的數據分析而來的。
2008年的冰災,當時的廣州火車站滯留了25萬人,這個數據是通過當時在這個區域的手機使用數統計出來的,與後期的最終統計基本吻合。大數據使我們開始了一次全新的探索,而探索的意義不在於發現新大陸,而在於發現新視角。
大數據時代給企業帶來了什麼。
數據挖掘是一種知識產生的過程,從中產生創新、產生管理、產生推動社會變革的理論與實踐。
沃爾瑪公司是美國的一家世界性連鎖企業,以營業額計算,為全球最大的公司。沃爾瑪一年產生的數據有2500TB。沃爾瑪公司通過對大量歷史數據的分析發現,年輕爸爸去超市購買嬰兒尿布會順便買點啤酒犒勞自己。因此,沃爾瑪推出了尿布與啤酒搭售的營銷策略,使銷售量增長。
紐約,美國最大的城市及第一大港,擁有810多萬人口,其36%為外國移民,人口使用約170種語言。1990年,紐約市共發生了兇殺案2245宗,1995年下降到1171宗,2009年下降到466宗,創下50年最低。紐約是如何實現這個成績的呢?原來紐約通過把20年的犯罪數據和交通數據整合,開發出了「數據驅動的警務管理」,發現交通事故高發地帶,也是犯罪活動的高發地帶,而且兩者的高發時間段也同樣吻合。這就將警察以往「亡羊補牢」的工作模式轉變為「守株待兔」的工作模式,取得了巨大的成績。
大數據及其分析,將會在未來10年改變幾乎每一個行業的業務功能。任何一個組織,如果早一點著手大數據工作,都可以獲得明顯的競爭優勢。用另一本類似著作《大數據時代》的作者維克托的一句話:「大數據是未來,是新的油田、金礦。」
當前我們的企業每天獲得大量的生產、營銷、辦公數據,如何將數據分析應用其中是時代賦予我們的挑戰。如何實現粗放型向精細化轉變,大數據為我們的企業提升管理效率、提高服務水平提供了有利平台。
世界每天都在變,唯一不變的是變化。大數據將是傳統行業的掘墓者,盛極一時的柯達倒閉了,微軟收購了諾基亞……我們的企業處在這樣一個變革的社會,應該何去何從,值得我們每一個人深思。
6. 以大數據時代為題寫一篇年終總結
進入2012年,大數據(big data)一詞越來越多地被提及,人們用它來描述和定義信息爆炸時代產生的海量數
大數據時代來臨
據,並命名與之相關的技術發展與創新。它已經上過《紐約時報》《華爾街日報》的專欄封面,進入美國白宮官網的新聞,現身在國內一些互聯網主題的講座沙龍中,甚至被嗅覺靈敏的國金證券、國泰君安、銀河證券等寫進了投資推薦報告。
數據正在迅速膨脹並變大,它決定著企業的未來發展,雖然很多企業可能並沒有意識到數據爆炸性增長帶來問題的隱患,但是隨著時間的推移,人們將越來越多的意識到數據對企業的重要性。
正如《紐約時報》2012年2月的一篇專欄中所稱,「大數據」時代已經降臨,在商業、經濟及其他領域中,決策將日益基於數據和分析而作出,而並非基於經驗和直覺。
哈佛大學社會學教授加里·金說:「這是一場革命,龐大的數據資源使得各個領域開始了量化進程,無論學術界、商界還是政府,所有領域都將開始這種進程。」
大數據時代,什麼最貴?
十年前,葛大爺曾說過,「21世紀什麼最貴?」——「人才」,深以為然。只是,十年後的今天,大數據時代也帶來了身價不斷翻番的各種數據。由於急速拓展的網路帶寬以及各種穿戴設備所帶來的大量數據,數據的增長從未停歇,甚至呈井噴式增長。[7]
一分鍾內,微博推特上新發的數據量超過10萬;社交網路「臉譜」的瀏覽量超過600萬……
這些龐大數字,意味著什麼?
它意味著,一種全新的致富手段也許就擺在面前,它的價值堪比石油和黃金。
事實上,當你仍然在把微博等社交平台當作抒情或者發議論的工具時,華爾街的斂財高手們卻正在挖掘這些互聯網的「數據財富」,先人一步用其預判市場走勢,而且取得了不俗的收益。
讓我們一起來看看——他們是怎麼做的。
這些數據都能幹啥。具體有六大價值:
●1、華爾街根據民眾情緒拋售股票;
●2、對沖基金依據購物網站的顧客評論,分析企業產品銷售狀況;
●3、銀行根據求職網站的崗位數量,推斷就業率;
●4、投資機構搜集並分析上市企業聲明,從中尋找破產的蛛絲馬跡;
●5、美國疾病控制和預防中心依據網民搜索,分析全球范圍內流感等病疫的傳播狀況;
●6、美國總統奧巴馬的競選團隊依據選民的微博,實時分析選民對總統競選人的喜好。[1]
可視化
「數據是新的石油。」亞馬遜前任首席科學家Andreas Weigend說。Instagram以10億美元出售之時,成立於1881年的世界最大影像產品及服務商柯達正申請破產。
大數據是如此重要,以至於其獲取、儲存、搜索、共享、分析,乃至可視化地呈現,都成為了當前重要的研究課題[1] 。
「當時時變幻的、海量的數據出現在眼前,是怎樣一幅壯觀的景象?在後台注視著這一切,會不會有接近上帝俯視人間星火的感覺?」
這個問題我曾請教過劉建國,中國著名的搜索引擎專家。劉曾主持開發過國內第一個大規模中英文搜索引擎系統「天網」。
要知道,劉建國曾任至網路的首席技術官,在這樣一家每天需應對網民各種搜索請求1.7億次(2013年約為8.77億次)的網站中,如果只是在後台靜靜端坐,可能片刻都不能安心吧。網路果然在提供搜索服務之外,逐漸增添了網路指數,後又建立了基於網民搜索數據的重要產品「貼吧」及網路統計產品等。
劉建國沒有直接回答這個問題,他想了很久,似乎陷入了回憶,嘴角的笑容含著詭秘。
倒是有公司已經在大數據中有接近上帝俯視的感覺,美國洛杉磯就有企業宣稱,他們將全球夜景的歷史數據建立模型,在過濾掉波動之後,做出了投資房地產和消費的研究報告。
在數據可視化呈現方面,我最新接收到的故事是,一位在美國思科物流部門工作的朋友,很聰明的印度裔小夥子,被Facebook高價挖角,進入其數據研究小組。他後來驚訝地發現,裡面全是來自物流企業、供應鏈方面的技術人員和專家,「Facebook想知道,能不能用物流的角度和流程的方式,分析用戶的路徑和行為。」
7. 互聯網時代數據的價值 八百字作文
美國有句諺語:「除了上帝,任何人都必須用數據來說話。」人們不能漠視數據。我認為這是很片面的,巴爾扎克在《守財奴》中說過:金錢讓葛朗台迷失了自我,讓他放棄了親情,愛情,難道我們就該為了數據二放棄人生中的真善美嗎?
古有仲尼曰:小大由之,有所不行。
而我說:數據為先,有所不行。
首先,數據不能掌控人們的話語權。雖然數據在發展中不斷成熟,人們進入了一個數據時代,但是人分為兩個層次,一位物質,另一為精神。或許,數據的運用於創新能夠帶給我們物質上的滿足,但它卻永遠滿足不了我們精神世界。有人說:「人類社會需要溫情」數據只是冰冷的數字,只有人性與真善美才是社會的永恆(原文:填滿溫情)。
其次,數據也會有出錯的時候。拉奎拉,義大利中部的一個小鎮。一次地震前,有人感到有異動,就報給了地震局的科學家,科學家們根據儀器的顯示,並將不會有地震發生的這個消息通過媒體播送。次日,地震就發生了,8.0級的地震,死傷無數。那些親人死亡的家屬親友紛紛痛罵那些科學家,科學家也只能接受這由「科學數據」帶給他們的結果。(原文:科學家也只能接受)
數據時代,我們為發展而歡呼,同時也面臨著種種來自數據的挑戰,我們既要肯定它存在的價值,同時也不要只靠數據說話,如同冰冷的機器,讓人毛骨悚然。
數據為先,有所不行。但也不能將它排在最後,畢竟,它是人類創造出來改造世界,美化生活的,所以,我們應該在數據的時代,不能只依賴於數據而活,而對我們青春路途上的親情、友情與愛情不屑一顧。
數據如同一張網,既保護了我們,但同時它也禁錮了我們的「自由」,人性的自由。我們始終要明白,人事非數據所能行也,我們也有自己的勞動力和創造力,要讓世人明白,是我們創造了數據而不是數據掌控了我們。
數據為先,有所不行。情於數同行,為上上之策也。「人類史感情的動物」有人如是說,所以我們在用真情去溫暖社會,如太陽般照耀社會的同時,讓數據也如陽光般發展,為人類社會的進步再創輝煌。
8. 讀《大數據時代》有感作文
不知從什麼時候開始,"大數據"這個詞悄然成為了我們的常用詞彙;我們也不知從什麼時候開始,邁進了"大數據時代"那麼,大數據時代究竟是一個怎樣的時代?英國"大數據時代的預言家"維克托邁爾·舍恩伯格和肯尼思庫克耶的《大數據時代》對此有著詳細而深刻的洞見。
一、什麼是大數據?
根據《大數據時代》中所說,"大數據是人們在大規模數據的基礎上可以做到的事情,而這些事情在小規模數據的基礎上是無法完成的。大數據是人們獲得新的認知、創造新的價值的泉,大數據還為改變市場、組織機構以及政府與公民關系服務。"、"大數據即一種新型的能力:以一種前所未有的方式,通過對海量數據進行分析,獲得有巨大價值的產品和服務,或深刻的洞見。"大數據有兩層含義,第一層含義,大數據是一個總結性的概念,是對海量數據的總稱;第二層含義即書本中所指出的,是一種新型的能力與方式。區別於小規模數據時代的抽樣分析,大數據時代,分析的樣本不再需要經過抽樣,直接將全體數據進行更快更准確地分析。
二、大數據的核心是什麼?
大數據的核心應當是減少冗餘,提高資配置效率。根據收集到的數據分析、挖掘出龐大資料庫獨有的價值,以便進行干預或提供相應的資與服務。自古以,人類社會的發展便是資配置不斷優化的過程,大數據作為一種新型的生產工具,它能讓我們通過分析海量的數據,得知該如何更有效地分配稀缺的資。
如醫院通過對某個病人病史、生活習慣、衣食住行、工作娛樂情況等進行全方位分析,便可以准確了解病人的生活情況與生活環境,精確地指出症結引起原因所在,只要建議病人針對引起病的因素做出調整或進行醫學干預,便可以了,避免了對病人過多的用葯與過大范圍的盲目干預。
同樣的道理,如果銀行通過分析某一申請人的家庭情況、消費歷史、生活習慣、財務習慣、網頁瀏覽記錄等各方面的數據,便可以清晰了解此申請人各方面的情況,甚至可推測其內心的真實想法與將要採取的做法,從而判斷申請人的貸款申請資格,決定該不該授信,授信多少等內容,所有的信息在大數據時代,能在系統中搜索一下,幾分鍾便能全部收集完成。相比以前,(fsir)申請人申請後,銀行得派出兩名客戶經理上門進行訪問、調查、收集電信、徵信等多方面的'信息,再進行人工分析、鑒別等過程,耗費的時間多不說,風險也相對更高。
可見,大數據的運用不但提高了工作效率,節省了機構與申請人的時間,更能基於精確的信息,確保風險可控,且保證了授信給該申請人的正確性,將有限的資金用在刀刃上,提高資配置質量。
三、什麼是大數據思維?
書中指出,大數據思維是一種意識,認為公開的數據一旦處理得當就能為千百萬人急需解決的問題提供答案。大數據與三個重大的思維轉變有關:首先,要分析與某事物相關的所有數據,而不再依靠分析少量的樣本;其次,樂於接受數據的紛繁復雜,而不再追求精確度;最後,我們的思維不再探求難以捉摸的因果關系,轉而關注事物的相關關系。
大數據思維應當是一種意識,認識到大數據的無窮威力,並積極擁抱這個繁榮的時代;世界上的一切都是信息,都是可以量化分析的信息。如果將相關的信息進行交互分析,便能獲得"上帝的視覺"——窺視知道分析對象的一切,包括所思所想;獲得的信息可以通過類比,准確推測分析對象的想法以及未行為;根據推測出的內容進行干預或服務,從而獲得商業機會;在一切均有記憶、一切均能收集、能更加准確預測未的時代,我們或許受困於過去的行為;在這個時代,對隱私權、公平與正義的探討上升至一個新的語境。
四、新的時代,我們該怎麼辦?
老子說,無為而治。因此,我們還是該吃飯就吃飯,該逛街就逛街,想吃甜點便吃甜點,過自己的生活,努力自己的工作。大數據是一種意識,更是一種工具,所有的工具最終都是為了讓我們生活得更加方便、更加如意,而作為最高智慧生物的我們,要做的,便是習學如何通過這新的工具,改造世界,創造生活。
當然,西方也有諺語:預測未最好的辦法是創造未。面對新的時代,我們,努力將生活過成自己想要的樣子,便是最好的信條。