A. 什麼是大數據時代
(1)大數據時代的提出
最早提出大數據時代到來的是全球知名咨詢公司麥肯錫,他認為數據已經滲透到當今每一個行業和業務職能領域,成為重要的生產因素。人們對於海量數據的挖掘和運用,預示著新一波生產率增長和消費者盈餘浪潮的到來。
(2)大數據時代的來臨
隨著互聯網快速發展、智能手機以及「可佩帶」計算設備的出現,我們的行為、位置,甚至身體生理數據等每一點變化都成為了可被記錄和分析的數據。這些新技術推動著大數據時代的來臨,各行各業每天都在產生數量巨大的數據碎片,數據計量單位已從Byte、KB、MB、GB、TB發展到PB、EB、ZB、YB甚至BB來衡量。
(3)大數據時代的特點
如果簡單來理解什麼是大數據,我們只要抓住大數據的四個特點,大量、高速、多樣、價值。具體來講就是數據體量巨大,數據的爆發性增長迫切的需要智能的演算法、強大的數據處理平台和新的數據處理技術,來統計、分析、預測和實時處理如此大規模的數據;數據類型繁多,廣泛的數據來源決定了大數據形式的多樣性。任何形式的數據都可以產生作用,目前應用最廣泛的就是推薦系統的應用;價值密度低,現實世界所產生的數據中,有價值的數據所佔比例很小。相比於傳統的小數據,大數據最大的價值在於通過從大量不相關的各種類型的數據中,挖掘出對未來趨勢與模式預測分析有價值的數據;數據分析處理速度快,主要通過互聯網傳輸。大數據對處理速度有非常嚴格的要求,伺服器中大量的資源都用於處理和計算數據,很多平台都需要做到實時分析。
B. 3000字概括《大數據時代》
有言在先
近期有些起伏,這種情況最適合回歸書本,尋找一些你內心認同的東西。這幾天花了點時間重溫《大數據時代》,整理、總結出了精華的東西,分享給大家。
大數據引起了變革
當今社會所獨有的一種新型能力:以一種前所未有的方式,通過對海量數據進行分析,獲得巨大價值的產品和服務,或深刻的洞見。
? 震人心魄的數據
2003年,人類第一次破譯人體基因密碼的時候,辛苦工作10年才完成了三十億對鹼基對的排序;大約10年後,世界范圍內的基因儀每15分鍾就可以完成同樣的工作。在金融領域,美國股市每天的成交量高達70億股,而其中三分之二的交易都是郵件里在數學模型和演算法之上的計算機程序自動完成的。
在2007年,所有數據中只有7%是存儲在報紙、書籍、圖片等媒介上的模擬數據,其餘全部是數字數據;在2000年時,數字存儲信息仍只佔全球數據量的四分之一;當時,另外四分之三的信息都存儲在報紙、膠片、黑膠唱片和盒式磁帶這類媒介上。
? 大數據的精髓
大數據帶給我們的三個顛覆性觀念轉變:是全部數據,而不是隨機采樣;是大體方向,而不是精確制導;是相關關系,而不是因果關系。
A.不是隨機樣本,而是全體數據:在大數據時代,我們可以分析更多的數據,有時候甚至可以處理和某個特別現象相關的所有數據,而不再依賴於隨機采樣(隨機采樣,以前我們通常把這看成是理所應當的限制,但高性能的數字技術讓我們意識到,這其實是一種人為限制);
B.不是精確性,而是混雜性:研究數據如此之多,以至於我們不再熱衷於追求精確度;之前需要分析的數據很少,所以我們必須盡可能精確地量化我們的記錄,隨著規模的擴大,對精確度的痴迷將減弱;擁有了大數據,我們不再需要對一個現象刨根問底,只要掌握了大體的發展方向即可,適當忽略微觀層面上的精確度,會讓我們在宏觀層面擁有更好的洞察力;
C.不是因果關系,而是相關關系:我們不再熱衷於找因果關系,尋找因果關系是人類長久以來的習慣,在大數據時代,我們無須再緊盯事物之間的因果關系,而應該尋找事物之間的相關關系;相關關系也許不能准確地告訴我們某件事情為何會發生,但是它會提醒我們這件事情正在發生。
? 大數據的核心是預測
大數據的核心就是預測,它通常被視為人工智慧的一部分,或者更確切地說,被視為一種機器學習。大數據不是要教機器人像人一樣思考,而是把數學演算法運用到海量的數據上來預測事情發生的可能性。
●●●
不是隨機樣本,而是全體數據
歷史上,因為記錄、儲存、分析數據的工具都不夠好,為了讓分析變得簡單,我們選擇了把數據量減少,
統計學的一個目的就是用盡可能少的數據來證實盡可能重大的發現。
? 傳統抽樣的精確性
采樣分析的精確性隨著采樣隨機性的增加而大幅提高,但與樣本數量的增加關系不大,大致原因是當樣本數量達到某個值後,我們從新個體身上得到的信息會越來越少,這與經濟學中的邊際效應類似。
? 隨機采樣的問題
隨機采樣有一個很大的問題:人們只能從隨機采樣中得出事先設計好的問題的結果,調查得出的數據不可以重新分析以實現計劃之外的目的,而且一旦采樣過程中存在任何偏見,分析結果就會相去甚遠。
? 樣本=總體
采樣的目的就是用最少的數據得到最多的信息,當我們可以獲得海量數據的時候,它就沒有什麼意義了;生活中真正有趣的事情經常藏匿在細節之中,而采樣分析卻無法捕捉到這些細節(因為采樣不能得到計劃之外的東西);大數據建立在掌握所有數據,至少是盡可能多的數據的基礎上,所以我們就可以正確地考察細節並進行新的分析。
●●●
不是精確性,而是混雜性
執迷於精確性是信息缺乏時代和模擬時代的產物,只有5%的數據是結構化且能適用於傳統資料庫的,如果不能接受混亂,剩下的95%的非結構化數據都無法被利用。
? 小數據時代的精確性
在「小數據時代」,人們收集、處理數據的能力有限,對「小數據」而言,最基本、最重要的要求就是減少錯誤,保證質量(收集信息的有限意味著細微錯誤會被放大,甚至有可能影響整個結果的准確性)。人們創造了很多精確的系統,這些系統試圖讓我們接受一個世界睏乏而規整的慘象——假裝世間萬物都是整齊地排列的;事實上現實是紛繁復雜的,天地間存在的事物也遠遠多於系統所設想的。
? 我們要的是概率
我們總是為了一個「答案」而活著,精確性似乎一直是我們生活的支撐,但認為每個問題只有一個答案的想法是站不住腳的。「一個唯一的真理「的存在是不可能的,而且追求這個唯一的真理是對注意力的分散。大數據也許是拯救我們的關鍵方法:大數據通常用概率說話,而不是板著「准確無疑」的面孔。
●●●
不是因果關系,而是相關關系
在大數據時代,我們不必知道現象背後的原因,而是要讓數據自己「發聲」。我們不再一味追求人們為什麼這么做,知道人們為什麼這么做可能是有用的,但這個問題目前並不是很重要,重要的是我們能通過大數據分析出人們的相關行為。
? 相關關系
相關關系的核心是量化兩個數據值之間的數理關系:相關關系強是指當一個數據值增加時,另一個數據值很有可能也會隨之增加;相關關系弱就意味著當一個數據值增加時,另一個數據值幾乎不會發生變化。相關關系通過識別有用的關聯物來幫助我們分析一個現象,而不是通過揭示其內部的運作機制。相關關系沒有絕對,只有可能性。
? 人們的直接目的就是尋找因果關系
人們的直接願望就是了解因果關系,我們已經習慣了信息的匱乏,故此亦習慣了在少量數據的基礎上進行推理思考。以前我們用實驗來證明因果關系,它是通過是否有誘因來分別觀察所產生的結果是不是和真實情況相符。但是,凡事皆有因果的話,那麼我們就沒有決定任何事的自由了。如果說我們做的每一個決定或者每一個想法都是其他事情的結果,而這個結果又是由其他原因導致的,以此循環往復,那麼就不存在人的自由意志這一說了——所有的生命軌跡都只是受到因果關系的控制了——這顯然是不正確的。
? 相關關系和因果關系並不矛盾
相關關系分析本身意義重大,同時它也為研究因果關系奠定了基礎,通過找出可能相關的事物,我們可以在此基礎上進行進一步的因果關系分析,如果存在因果關系的話,我們再進一步找出原因。在大多數情況下,一旦我們完成了對大數據的相關關系分析,而又不再滿足於僅僅知道「是什麼」時,我們就會繼續向更深層次研究因果關系,找出背後的「為什麼」。在小數據時代,我們會假象世界是怎麼運作的,然後通過收集和分析數據來驗證這種假象;在大數據時代,我們會在數據的指導下探索世界,不再受限於各種假想;我們的研究始於數據,也因為數據我們發現了以前不曾發現的聯系。
A.大量的數據意味著「理論的終結」:用一系列的因果關系來驗證各種猜測的傳統研究範式已經不實用了,如今它已經被無需理論指導的相關關系研究所取代;
B.現在已經是一個有海量數據的時代,應用數學已經取代了其他的所有學科工具,而且只要數據足夠,就能說明問題,如果你有一拍位元組的數據,只要掌握了這些數據之間的相關關系,一切就迎刃而解了;
C.「理論的終結」:所有的普遍規則都不重要了,重要的是數據分析,它可以揭示一切問題;但大數據並不意味著理論已死,因為大數據就是在理論的基礎上形成的。
●●●
大數據時代的商業變革
在一個可能性和相關性佔主導地位的世界裡,專業性變得不那麼重要了;行業並不會消失,但是他們必須與數據表達的信息進行博弈。
? 數據化:一切皆可量化
大數據的核心發展動力來源於人類測量、記錄和分析世界的渴望。為了得到可量化的信息,我們要知道如何計量;為了數據化量化了的信息,我們要知道怎麼記錄計量的結果。如今我們經常把「數字化」和「數據化」這兩個概念搞混,但是對這兩個概念的區分實際上非常重要:
A.數據化:一種把現象轉變為可製表分析的量化形式的過程;
B.數字化:把模擬數據轉換成0和1表示的二進制碼;
數字化帶來了數據化,但是數字化無法取代數據化;數字化是把模擬數據變成計算機課讀的數據,和數據化有著本質的不同。
? 當方位變成了數據
1978年見證了一個偉大的轉變,當時構成全球定位系統(GPS)的24顆衛星第一次發射成功,通過與技術手段的融合,全球定位系統能夠快速、相對低價地進行地理定位,而且不需要任何專業知識。地理位置信息匯集起來,可能會揭示事情的發展趨勢;位置信息一旦被數據化,新的用途就猶如雨後春筍般涌現出來,而新價值也會隨之不斷催生。
? 當溝通變成數據
社交網路平台不僅給我們提供了尋找和維持朋友、同事關系的場所,也將我們日常生活的無形元素提取出來,再轉化為可作新用途的數據。數據化不僅能將態度和情緒轉變為一種可分析的形式,也可能轉化人類的行為,這些行為難以跟蹤,特別是在廣大的社區和其中的子人群環境中。
A.Facebook將關系數據化——社交關系在過去一直被視作信息而存在,但從未被正式界定為數據,直到Facebook「社交圖譜」的出現;
B.Twitter通過創新,讓人們能輕易記錄以及分享他們零散的想法,從而使情緒數據化得以實現。
? 「取之不盡,用之不竭「的數據創新
盡管數據長期以來一直是有價值的,但通常只是被視作附屬企業經營核心業務的一部分,或者被歸入知識產權或個人信息中相對狹窄的類別,但在大數據時代,所有數據都是有價值的。我們的時代,數據收集不再存在固有的局限性,由於存儲成本的大幅下降,保存數據比丟棄數據更加容易,這使得以較低成本獲得更多數據的可能性比以往任何時候都大。不同於物質性的東西,數據的價值不會隨著它的使用而減少,而是可以不斷地被處理,信息不會像其他物質產品一樣隨著使用而有所損耗。數據的價值並不僅限於特定的用途,它可以為了同一目的而被多次使用,也可用於其他目的。 作者 _Glen_ 本文轉自簡書,轉載需授權
C. 大數據時代,給我們帶來了哪些改變
大數據這個詞語的概念已經有好幾年的時間,人們會經常的提起。但是只有很少的一部分人能理解了它的概念。雖然大多數人不知道大數據是什麼。但是,也多多少少能聽人們說起,大數據時代的到來,帶給了人們很多的變化。畢竟,人都是向前看的,都想趕上一股嶄新的浪潮,使自己與這個時代與時俱進,不斷的提升自己的綜合能力,拋棄封建傳統的思想,接受大數據時代帶來的新的機遇和挑戰。
一、思維方式改變:
所謂思維方式,是一種習慣性的思考問題和處理問題的模式,並由此對我們的行為方式產生直接的影響。然而,如今大數據正影響著我們的思維方式。隨著網路、騰訊、淘寶等網路公司的迅速崛起以及他們的迅速致富,數據致富成了新的致富神話。先前那些房地產、電器大亨費了九牛二虎之力才取得的億萬財富,而這些網路數據商則在短短的幾年時間就迅速超越了這些實體公司的財富,並且所費人力、物力和財力甚少。這些致富的神話使人們意識到了數據在我們這個時代成了最重要的資源之一,改變了我們傳統的認知觀念與往常的思維方式。
二、教育的改變:
傳統的學校教育模式映射了工業化集中物流批量生產的模式:鈴聲、標准化的課堂、統一的教材、統一的服裝等。雖然這種教育也培養出了很多人才,然而大數據教育將呈現另外的特徵,例如彈性學習、個性化輔導等。學習分析是近年來大數據在教育領域較為典型的應用,利用鬆散耦合的數據收集工具和分析技術,研究並分析學生學習參與、學習表現和學習過程的相關數據,進而對課程、教學進行實時修正並預測學習者未來的學習趨勢。因此,大數據教育將更好的詮釋「因材施教」這一詞語,實現個性化學習與教學,培養出更多傑出的、優秀的人才。
三、經濟的改變:雖然我們在政治課上學到的是,生產決定消費,消費對生產有重要的反作用力。然而我認為,在如今這個極為宣揚個性與創造力的社會中,消費很大程度地決定著生產。消費者不認同的,就賣不出去,只有消費者認同的,才賣得出去。然而,大數據可以在較短的時間內,通過對數據的全面感知、篩選、收集、分析、共享等為生產者提供可靠的、及時的信息,讓生產者生產出更為暢銷、更具個性化的物品。
其實,大數據時代,大數據改變我們的還有很多很多,如:醫療、交通等等方面,大數據時代來臨,我們應該跟緊時代的改變,順應時代的發展,在改變找准自己的定位,不斷提高自己!
D. 怎麼理解現今時代是「大數據時代」
一切都可以以數據的形式表現出來,人們可以通過大數據手段做到許多曾經難以做到的事。
隨著信息技術的不斷發展,我們已經開始進入所謂的“大數據時代”。在這個時代當中,大資料庫對一切行為都有了一個數據化的表達,用量化的方式來分析我們生活中所遇到的一切。
這其實就是大數據在生活當中的表現,雖然我們還沒有意識到自己已經被影響,但是大數據確實無時無刻不在影響著人們的人生進程。
在生活可以被數據化的今天,大數據時代已經悄然來到。
E. 大數據時代發展歷程是什麼
可按照時間點劃分大數據的發展歷程。
F. 北大青鳥分享大數據時代究竟帶來了什麼
數據正滑悔,讓一切有跡可循,讓一切有源可溯。我們每天都在產生數據,創造大數據和使用大數據,只是,你,仍然渾然不知。
網路知道和知乎問答里一直有小夥伴在問這個問題,比如「大數據時代,生活和思維發生了哪些變」、「大數據時代給我們的生活帶來了哪些好處呢?」以及「大數據時代生活將會有怎樣的變化」等等。看著大家熱火朝天的在了解大數據、認識大數據和討論大數據,北大青鳥認為這說明大數據已經漸漸被大眾所接受,也標志著大數據產業正在走向成熟化和大眾化。
那麼大數據時代給我們的生活帶來了哪些便利與好處呢?
1、節約時間,更有效率
先看看我們身邊經常用到的一些服務,比如我們經常用到的快遞、外賣和共享單車,這些APP的後台都有一張「大數據」。快遞後台會根據數百億歷史地址去做預測,用大數據演算法來做智能分單取代了原來的人工分單,可以最大程度地優化路線,降低人工配單時間,還能減少錯誤操作,節省人力成本。快遞只是整個物流領域里漏出的一隻角,大數據技術可以幫助全部環節的物流供給與需求匹配,優化資源配給,另外,根據消費者習慣偏好,大數據可提前預測消費者需求,將商品物流環境和客戶的需求同步,提前計算出運輸路線和配送路線,緩解物流壓力,提高用戶滿意度。
2、讓人們更容易借到錢,讓老賴無處遁形
對於普通人來說,開通信用卡需要提供收入學歷等證明;在農村,你需要向信用社借錢,也需要提供可抵押的不動產等。現階段的信用卡是容易辦到了,可是額度還是遠遠滿足不了剁手黨的需求。去銀行借錢也很不方便,拿號,排隊,填一大堆單子等等。
對於辦理信用卡和貸款來說,銀行需要的都是「指定數據」,指定的收入證明,指定的不動產證明等。而互聯網金融(如:螞蟻花唄、螞蟻借唄和京東白條),他們需要的數據更多,但是這些數據不需要完全由借錢的人來提供,他們會根據借貸人在電子商務的消費數據、綁定的銀行卡數據、行為數據等等來做評分授信。
3、大數據讓人更加聰明更智慧
人的智慧是無窮讓悶的,但是人的計算能力和記憶力是有上限的。就拿我們最愛玩的《王者榮耀》來說,你知道哪個英雄的勝率最高嗎?有人會回答是武則天,也有人回答是諸葛亮,更有人回答是亞瑟,但是通過後台統計分析了廣大玩家數以萬計的數據來看,2017年6月的最新數據,《王者榮耀》勝率最高的前3英雄分別為牛魔、蔡文姬和宮本武藏。根據官方提供的這份數據,用戶可以做出最優的選擇,更有效率的王者舉正。
G. 怎樣解讀大數據時代
隨著4G的普及和5G的發展,大數據時代到來,在我們的日常生活中,大數據已經存在於生活中,大數據不難理解,但就具體以西而言,可以從三個方面來理解大數據,幫助大家更好地了解。
1、海量數據
從字面上看,大數據實際上是海量數據的聚合。在當今的互聯網時代,當您在手機或電腦上下載和安裝軟體時,您需要對收集個人使用數據的軟體進行授權。否則無法使用,基於這些條件,大數據在合理的時間內,通過合法的手段,對個人的使用習慣和使用信息進行採集、管理和處理,然後將其整合成一個龐大的數據集。
2、大數據技術
企業產生的數據一般稱為大數據,將數據下載並分析到資料庫中。因此,雲計算往往與大數據相結合,大規模的數據分析需要藉助雲計算。大數據應用技術被任何人稱為大數據技術,包括各種大數據平台的應用技術。
3、大數據的目標
通過了解大數據的價值,我們可以了解大數據的重要性,通過了解大數據的特點,我們可以了解大數據在行業中的定性本質。你需要學會分析大數據的發展趨勢,可以從大數據和隱私的角度看數據,大數據的最終目標是通過海量數據與數據測量檢測的融合,幫助提升產品和服務,促進產品和行業的進一步發展。而大數據演算法可以有效幫助政府協調和控制市場,盡可能避免金融危機。
AI智能輿情監控系統,點擊獲取你的專屬報告
快速、全面、精準監測
點亮工場
查看
就大數據而言,大數據的終極價值應該是實踐,它描述了互聯網大數據公司的大數據、個人大數據,最後是政府大數據等各個方面的大數據領域。
H. 大數據時代讀後感1000字(2)
大數據時代讀後感1000字(精選7篇)
舍恩伯格分三部分來討論大數據,即思維變革、商業變革和管理變革。在第一部分」大數據時代的思維變革「中,舍恩伯格旗幟鮮明的亮出他的三個觀點:一、更多:不是隨機樣本,而是全體數據;二、更雜:不是精確性,而是混雜性;三、更好:不是因果關系,而是相關關系。對於第一個觀點,我不敢苟同。一方面是對全體數據進行處理,在技術和設備上有相當高的難度。另一方面是不是都有此必要,對於簡單事實進行判斷的數據分析難道也要採集全體數據嗎?我曾與香港城市大學的祝建華教授討論過。祝教授是傳播學研究方法和數據分析的專家,他認為一定可以找到一種數理統計方法來進行分析,並不一定需要全部數據。聯繫到舍恩伯格第二個觀點中所說的相關關系,我理解他說的全體數據不是指數量而是指范圍,即大數據的隨機樣本不限於目標數據,還包括目標以外的所有數據。我認為大數據分析不能排除隨機抽樣,只是抽樣的方法和范圍要加以拓展。
我同意舍恩伯格的第二觀點,我認為這是對他第一個觀點很好的補充,這也是對精準傳播和精準營銷的一種反思。」大數據的簡單演算法比小數據的復雜演算法更有效。「更具有宏觀視野和東方哲學思維。對於舍恩伯格的第三個觀點,我也不能完全贊同。」不是因果關系,而是相關關系。「不需要知道」為什麼「,只需要知道」是什麼「。傳播即數據,數據即關系。在小數據時代人們只關心因果關系,對相關關系認識不足,大數據時代相關關系舉足輕重,如何強調都不為過,但不應該完全排斥它。大數據從何而來?為何而用?如果我們完全忽略因果關系,不知道大數據產生的前因後果,也就消解了大數據的人文價值。如今不少學者為了闡述和傳播其觀點往往語出驚人,對舊有觀念進行徹底的否定。
世間萬物的復雜性多樣化並非非此即彼那麼簡單,舍恩伯格也是這種二元對立的幼稚思維嗎?其實不然,讀者在閱讀時一定要看清楚他是在什麼語境下說的,不要因囫圇吞棗的淺讀而陷入斷章取義的誤讀。比如說舍恩伯格在提出」不是因果關系,而是相關關系。「這一論斷時,他在書中還說道:」在大多數情況下,一旦我們完成了對大數據的相關關系分析,而又不再滿足於僅僅知道『是什麼』時,我們就會繼續向更深層次研究的因果關系,找出背後的『為什麼』。「[i]由此可見,他說的全體數據和相關關系都在特定語境下的,是在數據挖掘中的選項。
大數據研究的一大驅動力就是商用,舍恩伯格在第二部分里討論了大數據時代的商業變革。舍恩伯格認為數據化就是一切皆可」量化「,大數據的定量分析有力地回答」是什麼「這一問題,但仍然無法完全回答」為什麼「。因此,我認為並不能排除定性分析和質化研究。數據創新可以創造價值,這是毫無疑問的。舍恩伯格在討論大數據的角色定位時仍把它置於數據應用的商業系統中,而沒有把它置於整個社會系統里,但他在第二部分大數據時代的管理變革中討論了這個問題。在風險社會中信息安全問題日趨凸顯,數據獨裁與隱私保護成為一對矛盾。如何擺脫大數據的困境?舍恩伯格在最後一節」掌控「中試圖回答,但基本上屬於老生常談。我想,或許凱文·凱利的《失控》可以幫助我們解答這個問題?至少可以提供更多的思考維度。正如舍恩伯格在結語中所道:」大數據並不是一個充斥著演算法和機器的冰冷世界,人類的作用依然無法被完全替代。大數據為我們提供的不是最終答案,只是參考答案,幫助是暫時的,而更好的方法和答案還在不久的未來。「謝謝舍恩伯格!讓大數據討論從自然科學回到人文社科。由此推斷,《大數據時代》不是最終答案,也不是標准答案,只是參考答案。
此外,在閱讀此書之前還必須具備一些數據科學的基本知識和基本概念,比如說什麼叫數據?什麼叫大數據?數據分析與數據挖掘的區別,數字化與數據化有什麼不同?讀前做些功課讀起來就比較好懂了。
我們不再熱衷於尋找因果關系,而應該尋找事物之間的相關關系。這個命題是我讀這本書最大的感觸。個人認為也是這本書最核心的思想。從頭說起吧,首先,書提出一個顛覆我以前認知的命題--」並非原子而是信息才是一切的本源「,將世界看做信息,看做可以理解的數據的海洋,為我們提供了一個從未有過的審視下是的視角。它是一種可以滲透到所有生活領域的世界觀。這個命題是在書的最後一部分中的某一段中描寫的。我之所以把它放在最前面來講,因為我覺得,這是談數據化世界的前提,自然也是談論大數據的前提啦。書的中間部分有一節講到數據化和數字化的區別。經過我自己腦子的整理,把數據化世界這個命題列為大數據思維的第二步。寫到這里,我不由得反省下,我是不是有領悟到書的精髓所在(我認為的精髓),就是第一句話。因為回顧我整個思路,還是按照舊模式的因果關系思考模式思考問題。書中另一個吸引我的地方就是,有很多觀點的論述,會從哲學的高度論述。雖然,自己肚子沒多少墨水,但是讀這些描述的時候,就會發現自己會更好的理解作者提出的命題。比如書中有一段文字
當我們說人類是通過因果關系了解世界時,我們指的是我們再理解和解釋世界各種現象時使用的兩種基本方法:一種是通過快速、虛幻的因果關系,還有一種就是通過緩慢、有條不紊的因果關系。大數據會改變這兩種基本方法在我們認識世界時所扮演的角色。
在附上一些事例的時候,用作者提供的」本質「去看待時,很容易理解,確實是這么回事。好了,那麼大數據到底改變了我們什麼呢,作者給出3點,
大數據的精髓在於我們分析信息時的三個轉變,這些轉變講改變我們理解和組建社會的方法。
第一個轉變就是,在大數據時代,我們可以分析更多的數據,有時候甚至可以處理和某個特別現象相關的所有數據,而不再依賴於隨機采樣(樣本=總體)
第二個轉變就是,研究數據如此之多,以至於我們不再熱衷於追求精確度
第三個轉變因前兩個轉變而促成,即我們不再熱衷於尋找因果關系,而應該尋找事物之間的相關關系。大數據告訴我們」是什麼「而不是」為什麼「。在大數據時代,我們不必知道現象背後的原因,我們只要讓數據自己發聲。,出處:短美文,否則追究其責任,謝謝你的支持,我們會給做得更好!
正如大家所知道的那樣,人類的大腦具備這樣的功能,它會把新輸入的刺激或信息與」過去的經驗或積累的部分知識「相對照,然後進行調整並接受下來。如果眼前新的現實與大腦中儲存的固有信息無法協調,便會在無意識中拒絕接受新的現實(當作沒有看見);或者通過自己一知半解的知識任意推測,使自己認識到的情況偏離實際(產生錯覺)。這是人的一種本能,目的在於使自己保持冷靜。
所以作者稱之為revolution。
講了這么多,那麼大數據到底給我們帶來什麼。在這里,我只想談我感觸最深的,其他的有興趣的可以自己去了解。當然,書中提了很多,最多的就是,XXX公司或者個人利用大數據創造了多大的財富了,拋開這些表面的不說,最讓我動心亦或者是害怕的是,預測。這是大數據帶來最核心的東西,動心的理由無須贅述,計算機會告訴你什麼時候買什麼雙色球可以中頭獎,想想心裡是不是有一點小激動咧。當然這只是我打的一個比較誇張的比喻。至於害怕呢,書中有段話我很喜歡
公平正義的基礎是人只有做了某事才需要對它負責,畢竟,想做而未做不是犯罪,社會關系於個人責任的基本信條是,人為其選擇的行為承擔責任。如果大數據分析完全准確,那麼我們的未來會被精準的預測,因此在未來,我們不僅會失去選擇的權利,而且會按照預測去行動。如果精準的預測成為現實的話,我們也就失去了自由意志,失去了自由選擇的權利。既然我們別無選擇,那麼我們也就不需要承擔責任。這不是很諷刺嗎。
扯到這里,順便扯一下,書中另一段關於自由意志的描述
在哲學界,關於因果關系是否存在的爭論已經持續了幾個世紀。畢竟,如果凡事皆有因果的話,那麼我們就沒有決定任何事的自由了。如果說我們做的每一個決定或者每一個想法都是其他事情的結果。而這個結果又是由其他原因導致的。以此循環往復,那麼就不存在人的自由意志這一說了。——所有的生命軌跡都只是受因果關系的控制了。因此,對於因果關系在世間所扮演的角色,哲學家們爭論不休,有時他們認為,這是與自由意志相對立。
書中舉了個例子,舉了部電影《少數派報告》,當我看到這里的時候,」哎喲,我居然看過這部電影,想想心裡還是有點小激動「,有興趣的可以去看下,大概就是講警察通過預測來提前抓捕犯人,不過不是通過大數據,是通過超人類的方式。當你什麼舉動都可以被預測,相當於你完全暴露在太陽光下,換成你,你害怕不。
最後,附上兩段結語,一段是書中的一段話,另一段是我自己瞎編的。
大數據並不是一個充斥著演算法和機器的冰冷世界,人類的作用依然無法被完全替代。大數據為我們提供的不是最終答案,只是參考答案,幫助是暫時的,而更好的方法和答案還在不久的未來。
大數據終將會影響到我們,也像其他技術一樣會是一把雙刃劍,用得好,動心,濫用,害怕。如同核技術一樣,用的話,造福地球,濫用,給個金剛石地球你,照樣爆。我相信,未來的大數據的發展會如作者所說的,是一場生活、工作與思維的革命。
「大數據」一詞不知何時在我們的生活悄然出現,為了一探究竟,我便選擇了《大數據時代》一書。
作者先從全局簡單地描述大數據對我們的生活、工作與思維的影響,再從三方面具體地用上百個學術和商業的實例展開寫作。樣本=總體、追求精確性和相關關系等大數據時代具體特點一一現出。在同時,作者也從個人、企業等多角度分析大數據中的隱憂。
書中內容繁多,在此不能各方面概括。此書中雖有許多專有名詞,但作者以其通俗的語言以及許多實例讓我嗅到大數據時代中一抹清新之氣。
為什麼是清新的呢?因為書中的內容彷彿向我打開了一個既有點熟悉又有點陌生的世界。我們現在已處於網路時代 ,在我們日常簡單的操作中大量數據產生,然而起初我們僅用眾多技術在解決手頭上的問題,那些大數據像沙子中的金子,價值不被發現。到目前,每當我們網上購書時總會看到「猜你喜歡」的欄目、出現谷歌搜索與流感預測、Farecast與飛機票價預測系統等,這些事情的達成全來自於那些曾被忽略的大數據同時也在證明「預測,大數據的核心」這句話,為我們的生活創造了前所未有的可量化的維度。看到書中這部分內容時,我不禁感受到自己的生活已在享大數據帶來的福利,就像「猜你喜歡」欄目讓我觸到更多合我口味的書,讓我看到了以前無法發現的細節。擁有大量數據的公司巨頭如谷歌、亞馬遜大力開發有關大數據的新型產業和研究相關項目。借網路時代的便利大數據成為了如今最有商業價值的事物,使一切可量化的趨勢也開始出現。「本質上世界是由信息構成的」,面對這句話時,大數據時代彷彿就在眼前。
在感受驚嘆著大數據能為我們做到以往無法想像的事和它巨大的價值時,我認同大數據能極大優化我們的生活,但又不禁為這時代感到擔憂。一旦大數據時代來臨,不僅我們的隱私可能不再是隱私,就如書中所言「我們時刻暴露在『第三隻眼』下:亞馬遜監視著我們的購物習慣,谷歌監視著我們的購物習慣,而微博似乎什麼都知道」,而且利用大數據我們可以預測許多事情並且十分高效,一旦人們依賴大數據極少運用人類自身的創新等能力被數據束縛住,世界只會淪落為一個極少活力的機械環境。而我認為最大的憂患,是大數據時代對人類自身思維、思想、信仰等精神領域的沖擊。如今我們都生活在數據中,大數據時代說不定在幾年後就會逐步來臨,這使我不禁發問:我們一直堅信著信仰著的究竟是什麼?我覺得世界說變就變實在令我想不通這個問題。事情都有好壞,我也不知道自己是否杞人憂天。
於是我繼續去探索作者對這問題的思考。「更大的數據在於人本身」,作者還說「我們是在創造更好的未來」,也說「在一個預測的時代里,人類的自由意志不可侵犯,這一點不可輕視。我們在使用大數據時,應當懷有謙恭之心,銘記人性之本」。人類學家克利福德吉爾茲曾說:「努力在可以應用、可以拓展的地方,應用它、拓展它;在不能應用、不能拓展的地方,就停下來。」這些話語彷彿是陽光,驅散我心中對大數據時代的擔憂以及內心對其的恐懼。我認為,在堅守我們內心和自由意志下,大數據才會造福我們人類世界,發揮出它背後對人溫暖的光芒。
面對時代的變革,我會為堅守內心深處的自由意志而努力並「擁抱大數據」。
世界的本質就是數據,當你掌握了數據,你便掌控了世界—你可以輕而易舉地通過數據中的相關關系預測事物的發展,將一切不利因素扼殺於搖籃之中—這遠勝於"防患於未然"。
《大數據時代》一書,讓我們在觀念上有了三大轉變:要全體不要抽樣,要效率不要絕對精確,要相關不要因果。全書介紹了 "大數據"時代三種大的變革:思維變革,商業變革和管理變革。在這些巨大變革如洪水一般的"沖擊"之下,現代社會的運作方式必將有重大的改變,若不順應這種變革的潮流,就像古中國固步自封,最終被堅船利炮打開國門而自己還用著長鉤鐵戟抗爭一樣,不可避免被掠奪,被落於世界進程之後,所以我們必須轉變我們的思想。
"我們不再熱衷於尋找因果關系,而應該尋找事物間的相關關系",我想這句話是本書的核心思想。大數據時代,信息與數據已成為了一切的本源,我們生活在各種數據構成的海洋之中,如果從另一種視角看,就好像無數條"看不見的線"將我們與這些數據聯繫到一起,這是我們以前從未有過、從未想過的。大數據改變了我們以前的通過因果關系了解世界的方法,而提供了幾種新的途徑,因為,在大數據時代,我們可以分析更多數據,有時甚至可以處理和某個特別現象相關的所有數據,也就是:樣本=總體;而且,當研究數據如此之多時,我們已不熱衷於"精確",而是"混亂",若不接受"混亂",那麼有95%的非結構化數據無法利用,這將無法使我們構建完整的數據世界,在分析更多、更全面的數據之後,我們就可以從這些數據之中發掘它們的相關關系,即以"是什麼"而不是"為什麼"的角度看待數據,不用管其從何而來,只要分析其如何影響其他事物既可,即"讓數據自己發聲",這些,徹底推翻了人類以前探索數據的方法,展現了一個全新的世界。
這種觀念以驚人的力量給現知識狀況帶來了巨大的沖擊,通過對海量數據的分析,獲得巨大價值的產品和服務,或深刻的洞見。比如谷歌公司,2009年h1n1流行之時,通過檢測檢索詞條,處理34。5億個不同的數據模型,通過預測並與2007、2008年的美國疾控中心記錄的實際流感病例進行對比後,確定了45條檢索詞條組合,並將其用於一個特定的數學模型後,預測結果與官方數據相關系數高達97%,這種大數據技術,以前所未有的方式,通過海量數據分析得出流感所傳播的范圍,為預測流感提供了一種更快速、高效的工具。
同時,雖然大數據可為人類造福、對抗病症,但這僅限於掌握這門技術而言,若不重視這種技術,當我們的對手早於我們一步構建這種數據網路之時,便是我們的災難,想想,大數據雖核心的在於預測,當敵人通過這種手段預測我方下一步的行動,將是可怕的—比如你的.導彈將從何處發射,將飛往哪,你的軍隊動向、目標,總之所有一切"未來"將掌控於敵手,敵方甚至可以藉此發現那些將來有"大作為"的人,從而進行滲透或扼殺,這對我們的發展無疑是致命的,所以,盡快加速大數據系統的構建進程是必須的。
對於我們國防生,也必須順應這種發展趨勢,未來的時代必將是數據極易獲取,數據網路共享化的時代,通過這些數據,建立數據模型,可以准確分析並給出適合每一個人的計劃,如運動量、訓練強度,可以"先知、先覺",及時發現一個人的負面情緒前及時疏導,這些必將成為現實,我們必須跟進時代,做好准備,去應對大數據時代的一切!
「除了上帝,任何人都必須用數據來說話。」——這是《大數據》中出現的讓人印象深刻的一句話,也是全書力圖傳遞的信息。在數字信息時代,數據和空氣一樣遍布生活,對於有些人來說,數據無意義,而對於有些人來說,數據,即真相。
美國是《大數據》的主角,全書通過講述美國半個多世紀信息開放、技術創新的歷史,公共財政透明的曲折、《數據質量法》背後的隱情、全民醫改法案的波瀾、統一身份證的百年糾結、街頭警察的創新傳奇、美國礦難的悲情歷史、商務智能的前世今生、數據開放運動的全球興起,Web3·0與下一代互聯網的未來圖景等等,為讀者一一細解數據創新給公民、政府、社會帶來的種種挑戰和變革。
透過全書,一個立體的美國及美國人民的思想呈現在我們面前——美國人民執著於個人隱私的保護,卻又不遺餘力地推動著政府信息的透明與公開。
讀完此書,對生活中的數據及數據處理突然有了很大的興趣。如果有一天,處處以數據說話,那麼,政治、制度、生活將更加清明,事故、將降到最低點。
作為信息技術教師,是有必要閱讀此書的!有慧根的教師將能從書中挖掘出信息技術特有的文化以及能用於教學的鮮活案例。
每天能用來閱讀的時間很少,總是要等到夜深疲倦時才有空打開書本,總是在眼睛極不舒服的情況下堅持閱讀,《大數據》就這樣在堅持中溶入我的思想……
讀完《大數據》,我才意識到這並不是一本枯燥無味的書籍。作者運用案例和講故事的方式,把美國數據開放、收集、使用背後的立法故事、公民故事、技術故事、商業故事娓娓道來,引人入勝,令我大開眼界。
我在想,大數據概念對於教育來說會產生什麼樣的實用價值呢?一直以來,中國教育在研究教育的數字化,比如數字化校園,這個思路就是把我們教育的內容進行數字化,其結果指向的就是電子教材的研發或者是教學過程的數字化。美其名曰,這是教育技術的重要內涵。在教學過程中,學生的行為表現都可以被數據化,而這項研究不是任何一個專業可以深入下去的,它的專業性太強,所以我才會想到,所謂教育技術與其研究教育的數字化,不如研究教育的數據化來得實在,來的有意義。長期以來,我們並不了解教育對一個人的影響具體會如何表現,我們有的只是一個輪廓,我們也並不確定一個教師的行為對學生具體產生了哪些影響。所以,人們對教育一直有一個深深的質疑,它是不是科學的?大數據概念至少提出了關注「是什麼」比「為什麼」要有實際意義得多。而我們的教育恰好需要把注意力從「為什麼」轉移到「是什麼」上面來,只有如此,才能把教育從為什麼發展成「可能成為什麼」上來,這會是一次思想上的革命。而對於現在地位岌岌可危的教育技術來說,把研究的重點從數字化轉移到數據化上面,這才是它的出路。
如何將數據融入教學,教育者首先通過標准化全科教學處方,實現了教師授課模板和教學內容的標准化,保證每個教學過程和內容是可控的,然後結合每天的教學內容,處理好面對的數據,處理好數據,自然也就處理好了課堂的反饋,最終形成了既注重教學體驗又以教學結果為導向的教學體系。
與此同時,不僅要注重課上的學生資源,在課後還要對這些資源進行跟蹤處理。這與過去的教育教學顯然是不同的,面對大數據時代的到來,教學有所改變是必然的。所以,無論環境怎麼變換,數據如何復雜,我們都不能不去改變自己的教學去迎合將來的這個大數據時代。
舍恩伯格的《大數據時代》,讓我重新審視了"大數據"這個在信息時代異軍突起的熱點詞彙,作為信息安全專業的我,對大數據這個詞本身有著更多的熱忱。
在網路上搜索到的解釋是:"大數據",或稱巨量資料,指的是所涉及的資料量規模巨大到無法透過目前主流軟體工具工具,在合理時間內達到擷取、管理、處理、並整理成為幫助企業經營決策更積極目的的資訊。特點:數量、速度、品種、真實性。
而舍恩伯格認為,大數據並不能定義一個確切的概念。他提到"大數據是人們獲得新的認知,創造新的價值的源泉;大數據還是改變市場、組織機構,以及政府和公民關系的方法。"這是一種更具有人文色彩和社會意義的詮釋。
本書中,主要從三個方面論述,即思維變革、商業變革和管理變革。而舍恩伯格更是著重闡明三大觀點:
一、更多:不是隨機樣本,而是全體數據。
二、更雜:不是精確性,而是混雜性。
三、更好:不是因果關系,而是相關關系。
對於觀點一,我不敢苟同,畢竟大數據的實現需要一定的技術支持,而顯然,現在這種技術還不夠成熟,同時一些簡單的事情運用大數據反倒是問題更加復雜化,因此這種大叔據的繁雜處理方式更適用於一些特定的情況,比如商業預測,人類dna的研究等。
而對第二種觀點,我是十分贊同舍恩伯格所說的"大數據的簡單演算法比小數據的簡單演算法有效"。在計算機行業迅速發展中,一種新的簡單可行的演算法的出現,遠沒有計算機在運算速度和存儲容量的發展快,而大數據演算法似乎更能迎合這種大趨勢。
觀點三中提到的相關關系在大數據中可是重量級的,它能較快找到事物規律和對應的解決措施,當然,也不能完全忽視因果關系,畢竟人們在思維上更能夠接受因果關系分析出的結果,而大數據預測的需要人們慢慢的適應才能接受。當我們完成相關關系的分析而又不滿足於只知道"是什麼"的時候,我們就可以轉而研究"為什麼"了,畢竟問題的根本在於因果。而舍恩伯格的全體數據和相關關系是大數據時代下的一種捷徑。
但是在信息時代,信息安全問題的日趨凸顯,數據獨裁與隱私保護之間的矛盾更是立於風口浪尖,成為眾矢之的,舍恩伯格在本書的最後章節曾試圖尋找一種解決方式來擺脫這一種困境,但最終沒能做到,但是他提出"大數據並不是一個充斥著演算法的和機器的冰冷世界,人類的作用仍無法被完全代替。"這里表明人在數據時代同樣的重要,數據是為人類服務的,也就該人類驅使下完成相應的目的。
在這樣的大環境下,常引起我更多的思考和擔憂。
大數據時代對於我們同是機遇與挑戰,一些國家已開始步入大數據時代的行列,並在各個領域開始研究和使用。而對於我國龐大的人口,以及較大的領土面積,都可以在大數據時代為我們提供數據的保障,而能否面臨挑戰,在大國之間的新一輪角色角逐間嶄露頭角,我們更需要解決技術等方面的問題,更應在政策上逐步開放各領域的數據,保證數據來源、許可權等問題得到解決,不斷學習先進的計算機技術,縮小與其他國家的差距。
工業化、信息化,我們都向世界交出了一份讓世界不能小覷的答案;
大數據時代的數據化我們又將怎樣在新的風暴中所向披靡,如果大數據時代是一種必然趨勢,那這就是我們這一代人的責任,是我們新的戰場!
;I. 什麼是大數據時代
在大數據與深度學習中蝶化的人工智慧。當代人工智慧離不開大數據和深度學習演算法。我們先來了解什麼是大數據,大數據的本質是什麼,在大數據時代我們應該如何應對?
當我們談論數據的時候我們在談什麼?在大部分人的日常印象中,數據代表的可能是每月水電煤賬單上的數字,股票k線圖上的紅綠指數,還有可能是電腦文件里那一堆看不懂的源代碼。
人工智慧眼中的數據遠比這些廣泛。數據的存在形式隨著人類文明的發展不斷改變,從最初的聲音,文字,圖畫,數字,到電子時代的每一張圖片,每一段語音,每一個視頻,再到如今互聯網時代人類每一次的滑鼠點擊,用手機時每一次的手指滑動,乃至每一下心跳和呼吸,甚至經濟生產中的一切人機動作,軌跡,都已融入數據流。今天的人類已經能夠將各種或大或小的事物轉化為數據記錄,變成我們生活的一部分。數據已經浸染我們生活的每一個細節,就如生物學家所說人體組織的一半是由微生物組成,在數字時代,我們生活的一半已然是數據。在日常生活中,數據的概念對於我們即親近又陌生。親近它是因為我們從小就會接觸加減乘除這些最基本的數據和演算法。步入社會後也在與各種文件報表賬單打交道。與此同時,當面對高科技產品中各種關於內存,解析度等時髦又復雜的數據是,我們又覺得不了解它們甚至沒意識到它們的存在。隨著大數據,機器演算法和人工智慧的理念相繼到來,這種陌生感會越發加深。
那麼數據生活距離我們遙遠嗎?正相反,數據與我們日常生活的聯系從未如此緊密過,從沒有像今天如此活躍,具體的記錄著人類與世界。從最初的計算機,攝像頭到家用計算機,智能手機,再到大數據和人工智慧,我們不斷升級採集和利用數據的方式。而現在,從一輛車的每日碳排放量統計到全球氣溫的檢測,從預測個人在網上喜好分析到總統選舉時投票趨勢的預測,我們都可以做到。數據將人與人,人與世界連接起來,構成一張繁密的網路,每個人都在影響世界,又在被他人影響著。傳統的統計方法已經無法處理這種相互影響的數據,這么辦?答案是讓機器自己來處理數據,從數據中習得知識。這便是當代人工智慧的本質。與傳統的數據記錄定義不同,這種數據是有「生命」的。它更像是我們身體的一種自然延伸:聆聽我們的聲音,拓寬我們的視野,加深我們的記憶,甚至組成一個以數據形式存在的「我」。
J. 什麼是大數據時代
大數據時代是指利用相關演算法對海量數據的處理與分析、存儲,從海量的數據中發現價值,服務於生活與生產。在餐飲、電信、金融、娛樂、體育等領域都能夠感受到大數據對各行各業帶來的影響。
所謂的大數據時代,從字面意義上就不難理解,數據非常大,信息量比較龐大,這也是互聯網迅速發展所帶來的改變。僅從通訊上面我們就能夠看出來,以前的2G、3G就能夠滿足人們使用,到後來的4G,網路的發展,人們能夠通過互聯網獲取的信息越來越多,現在又開始推出5G,大數據的時代,畢竟容納和接受更多的信息。
思維變革
當數據的處理技術發生翻天覆地的變化時,大數據時代,我們的思維也要變革。
第一個思維變革:利用所有的數據,而不再僅僅依靠部分數據,即不是隨機樣本,而是全體數據。
第二個思維變革:我們唯有接受不精確性,才有機會打開一扇新的世界之窗,即不是精確性,而是混雜性。
第三個思維變革:不是所有的事情都必須知道現象背後的原因,而是要讓數據自己「發聲」,即不是因果關系,而是相關關系。