大數據變得

1. 大數據時代帶來哪些變化

一、思維方式改變

所謂思維方式，是一種習慣性的思考問題和處理問題的模式，並由此對我們的行為方式產生直接的影響。然而，如今大數據正影響著我們的思維方式。隨著網路、騰訊、淘寶等網路公司的迅速崛起以及他們的迅速致富，數據致富成了新的致富神話。先前那些房地產、電器大亨費了九牛二虎之力才取得的億萬財富，而這些網路數據商則在短短的幾年時間就迅速超越了這些實體公司的財富，並且所費人力、物力和財力甚少。

二、教育的改變

傳統的學校教育模式映射了工業化集中物流批量生產的模式：鈴聲、標准化的課堂、統一的教材、統一的服裝等。雖然這種教育也培養出了很多人才，然而大數據教育將呈現另外的特徵，例如彈性學習、個性化輔導等。學習分析是近年來大數據在教育領域較為典型的應用，利用鬆散耦合的數據收集工具和分析技術，研究並分析學生學習參與、學習表現和學習過程的相關數據，進而對課程、教學進行實時修正並預測學習者未來的學習趨勢。

三、經濟的改變

雖然我們在政治課上學到的是，生產決定消費，消費對生產有重要的反作用力。然而我認為，在如今這個極為宣揚個性與創造力的社會中，消費很大程度地決定著生產。消費者不認同的，就賣不出去，只有消費者認同的，才賣得出去。然而，大數據可以在較短的時間內，通過對數據的全面感知、篩選、收集、分析、共享等為生產者提供可靠的、及時的信息，讓生產者生產出更為暢銷、更具個性化的物品。

關於大數據時代帶來哪些變化，青藤小編就和您分享到這里了。如果你對大數據工程有濃厚的興趣，希望這篇文章能夠對你有所幫助。如果您還想了解更多數據分析師、大數據工程師的技巧及素材等內容，可以點擊本站的其他文章進行學習。

2. 大數據時代處理數據的三大轉變

大數據時代處理數據的三大轉變
大數據概念的橫空出世，有賴於短短幾年出現的海量數據。據統計，互聯網上的數據每兩年翻一番，而目前世界上90%以上的數據都是最近幾年才產生的。當然，海量數據僅僅是「大數據」概念的一部分，只有具備4個「V」的特徵，大數據的定義才算完整，而價值恰恰是決定大數據未來走向的關鍵。
大數據發展必備三個條件
大數據的發展需要三個必要條件：數據源、數據交易、數據產生價值的過程。近年來，社交網路的興起、物聯網的發展和移動互聯網的普及，誕生了大量有價值的數據源，奠定了大數據發展的基礎。大數據時代到來的重要標志，則是大批專業級「數據買賣商」的出現，以及圍繞數據交易形成的，貫穿於收集、整理、分析、應用整個流程的產業鏈條。大數據發展的核心，則是使用戶從海量的非結構化數據和半結構化數據中獲得了新的價值，數據價值是帶動數據交易的原動力。
IBM、甲骨文、SAP近年紛紛斥巨資收購數據管理和分析公司，在這些互聯網巨頭的帶動下，數據分析技術日漸成熟。2013年6月，愛德華·斯諾登將「棱鏡計劃」公之於眾，「棱鏡門」事件一方面說明大數據技術已經成熟;另一方面也佐證了現在阻礙大數據發展的不是技術，而是數據交易和數據價值。
大數據技術的發展促進了雲計算的落地，雲計算的部署完成又反過來加大了市場對數據創造價值的期待。大數據概念提出之後，市場終於看到了雲計算的獲利方向：各地的一級系統集成商與當地政府合作，建雲數據中心;各大行業巨頭在搭建各自行業的雲平台;IT巨頭想盡辦法申請中國的公有雲牌照。大數據促成了雲計算從概念到落地。藉助於智慧城市概念的普及，雲計算基礎設施已基本准備就緒，一方面完成了大數據應用的硬體基礎;另一方面迫於回收雲計算投資的壓力，市場急需應用部署，大數據恰如雪中送炭，被市場寄予厚望。
現在，問題的核心指向了「數據如何創造價值?」
整合與開放是基石
大數據服務創業公司Connotate對800多名商業和IT主管進行了調查。結果顯示，60%受調查者稱：「目前就說這些大數據投資項目肯定能夠帶來良好回報尚為時過早。」之所以如此，是由於當前大數據缺乏必需的開放性：數據掌握在不同的部門和企業手中，而這些部門和企業並不願意分享數據。大數據是通過研究數據的相關性來發現客觀規律，這依賴於數據的真實性和廣泛性，數據如何做到共享和開放，這是當前大數據發展的軟肋和需要解決的大問題。
2012年美國大選，奧巴馬因數據整合而受益。在奧巴馬的競選團隊中有一個神秘的數據挖掘團隊，他們通過對海量數據進行挖掘幫助奧巴馬籌集到10億美元資金;他們通過數據挖掘使競選廣告投放效率提升了14%;他們通過製作「搖擺州」選民的詳細模型，每晚實施6.6萬次模擬選舉，推算奧巴馬在「搖擺州」的勝率，並以此來指導資源分配。奧巴馬競選團隊相比羅姆尼競選團隊最有優勢的地方：對大數據的整合。奧巴馬的數據挖掘團隊也意識到這個全世界共同的問題：數據分散在過多的資料庫中。因此，在前18個月，奧巴馬競選團隊就創建了一個單一的龐大數據系統，可以將來自民意調查者、捐資者、現場工作人員、消費者資料庫、社交媒體，以及「搖擺州」主要的民主黨投票人的信息整合在一起，不僅能告訴競選團隊如何發現選民並獲得他們的注意，還幫助數據處理團隊預測哪些類型的人有可能被某種特定的事情所說服。正如競選總指揮吉姆·梅西納所說，在整個競選活中，沒有數據做支撐的假設很少存在。
2012年3月，美國奧巴馬政府宣布投資2億美元啟動「大數據研究和發展計劃」，將「大數據研究」上升為國家意志。一個國家擁有數據的規模和運用數據的能力將成為綜合國力的重要組成部分。國內智慧城市建設目標之一就是實現數據的集中共享。
合作共贏的商業模式
隨著雲計算、大數據技術和相關商業環境的不斷成熟，越來越多的「軟體開發者」正在利用跨行業的大數據平台，打造創新價值的大數據應用，而且這一門檻正在不斷降低。因為首先，數據擁有者能夠以微乎其微的成本獲取額外的收入，提高利潤水平;其次，大數據設備廠商需要應用來吸引消費者購買設備，發展合作共贏的夥伴關系勢必比單純銷售設備要有利可圖，一些具有遠見的廠商已經開始通過提供資金、技術支持、入股等方式來扶持這些「軟體開發者」;第三，行業細分市場的數據分析應用需求在不斷加大，對於整個大數據產業鏈來說，創新型的行業數據應用開發者必將是未來整個大數據產業鏈中最為活躍的部分。
未來，有三種企業將在」大數據產業鏈「中處於重要地位：掌握海量有效數據的企業，有著強大數據分析能力的企業，以及創新的「軟體開發者」。社交網路、移動互聯網、信息化企業、電信運營商都是海量數據的製造者，Facebook公司手中掌握著8.5億用戶，淘寶注冊用戶超過3.7億，騰訊的微信用戶突破3億，這些龐大用戶群所提供的數據，正在等待時機釋放出巨大商業能量。可以預測，在不久的將來，Facebook、騰訊、電信運營商等海量數據持有者或者自我延伸成為數據分析提供商，或者與IBM、ZTE等企業密切對接成為上下游合作企業，大數據產業鏈將在某個爆發時點到來之際，以令人驚訝的速度成長壯大。
警惕大數據的危害
大數據時代，傳統的隨機抽樣被「所有數據的匯攏」所取代，人們的思維決斷模式，已可直接根據「是什麼」來下結論，由於這樣的結論剔除了個人情緒、心理動機、抽樣精確性等因素的干擾，因此將更精確、更有預見性。不過，由於大數據過於依靠數據的匯集，一旦數據本身有問題，就很可能出現「災難性大數據」，即因為數據本身的問題，而導致錯誤的預測和決策。
大數據的理論是「在稻草堆里找一根針」，而如果「所有稻草看上去都挺像那根針」呢?過多但無法辨析真偽和價值的信息和過少的信息一樣，對於需要作出瞬間判斷、一旦判斷出錯就很可能造成嚴重後果的情況而言，同樣是一種危害。「大數據」理論是建立在「海量數據都是事實」的基礎上，而如果數據提供者造假呢?這在大數據時代變得更有害，因為人們無法控制數據提供者和搜集者本人的偏見。擁有最完善資料庫、最先接受「大數據」理念的華爾街投行和歐美大評級機構，卻每每在重大問題上判斷出錯，這本身就揭示了「大數據」的局限性。
不僅如此，大數據時代造就了一個資料庫無所不在的世界，數據監管部門面臨前所未有的壓力和責任：如何避免數據泄露對國家利益、公眾利益、個人隱私造成傷害?如何避免信息不對等，對困難群體的利益構成傷害?在有效控制風險之前，也許還是讓「大數據」繼續待在籠子里更好一些。
大數據的經濟價值已經被人們認可，大數據的技術也已經逐漸成熟，一旦完成數據的整合和監管，大數據爆發的時代即將到來。我們現在要做的，就是選好自己的方向，為迎接大數據的到來，提前做好准備。

3. 如何看待大數據時代讓我們變得更透明

大數據時代的浪潮已經覆蓋我們老百姓所能想像到的領域了，大數據給我們帶來了許多便利。雲購物，手機付款，喜好推送都依賴於大數據。但是同時，我們的隱私也在我們不知不覺中泄露，大數據時代讓我們變得更透明了。

結語：

大數據時代確實讓我們變得更加透明，我們甚至不知道我們的隱私什麼時候被泄露出去的。這個問題我們無需太過害怕，但更不能被我們忽視，無論是我們個人還是社會。

4. 大數據(Big Data)」一詞已經變得沒有以往那麼紅火了，為什麼會這樣呢

原因在於是在於盲目迷戀數據，不加批判地使用，那會引發災難。

盲目迷戀數據與誤用

「大數據」的問題並不在於數據本身很糟糕，也不在於大數據本身很糟糕：謹慎應用的話，大型數據集還是能夠揭示其它途徑發現不了的重要趨勢。正如茱莉婭·羅斯·韋斯特（Julia Rose West）在最近給Slate撰寫的文章里所說的，盲目迷戀數據，不加批判地使用，往往導致災難的發生。

從本質來看，大數據不容易解讀。當你收集數十億個數據點的時候——一個網站上的點擊或者游標位置數據；大型公共空間十字轉門的轉動次數；對世界各地每個小時的風速觀察；推文——任何給定的數據點的來源會變得模糊。這反過來意味著，看似高級別的趨勢可能只是數據問題或者方法造成的產物。但也許更重大的問題是，你所擁有的數據通常只是你真正想要知道的東西的一個指標。大數據不能解決那個問題——它反而放大了那個問題。

例如，民意調查被廣泛用作衡量人們在選舉中的投票意向的指標。然而，從湯姆·布拉德利（Tom Bradley）1982年在加州州長競選中敗北，到英國脫歐公投，再到特朗普的當選，數十年來結果出乎意料的選舉一再提醒我們，民意測驗和人們實際的投票意向之間並不總是完全一致。Facebook以往主要通過用戶有沒有點贊來估量他們對特定的帖子是否有興趣。但隨著經過演算法優化的動態信息開始大量出現標題誘餌、點贊誘餌和嬰兒照片——導致用戶滿意度明顯下降——該公司的高層逐漸意識到，「點贊」這事並不一定意味著用戶真的喜歡特定的內容。

指標和你實際上要估量的東西之間的差別越大，過於倚重它就越危險。以來自奧尼爾的著作的前述例子為例：學區使用數學模型來讓教師的表現評估與學生的測驗分數掛鉤。學生測驗分數與不在教師控制范圍內的無數重要因素有關。大數據的其中一個優勢在於，即便是在非常嘈雜的數據集里，你也可以發現有意義的關聯性，這主要得益於數據量大以及理論上能夠控制混雜變數的強大軟體演算法。例如，奧尼爾描述的那個模型，利用來自多個學區和體系的學生的眾多人口結構方面的相關性，來生成測驗分數的「預期」數據集，再拿它們與學生的實際成績進行比較。（由於這個原因，奧尼爾認為它是「大數據」例子，盡管那個數據集並不夠大，沒達到該詞的一些技術定義的門檻。）

試想一下，這樣的系統被應用在同一所學校裡面——拿每個年級的教師與其它年級的教師比較。要不是大數據的魔法，學生特定學年異常的測驗分數會非常惹眼。任何評估那些測驗的聰明人，都不會認為它們能夠很好地反映學生的能力，更不用說教他們的老師了。

而前華盛頓特區教育局長李洋姬(Michelle Rhee)實行的系統相比之下更不透明。因為數據集比較大，而不是小，它必須要由第三方的咨詢公司利用專門的數學模型來進行分析解讀。這可帶來一種客觀性，但它也排除掉了嚴密質問任何給定的信息輸出，來看看該模型具體如何得出它的結論的可能性。

例如，奧尼爾分析道，有的教師得到低評分，可能不是因為他們的學生表現糟糕，而是因為那些學生之前一年表現得出奇地好——可能因為下面那個年級的教師謊稱那些學生表現很好，以提升他自己的教學評分。但對於那種可能性，學校高層並沒什麼興趣去深究那種模型的機制來予以證實。

加入更多指標

並不是說學生測驗分數、民意調查、內容排名演算法或者累犯預測模型統統都需要忽視。除了停用數據和回歸到奇聞軼事和直覺判斷以外，至少有兩種可行的方法來處理數據集和你想要估量或者預計的現實世界結果之間不完全相關帶來的問題。

其中一種方法是加入更多的指標數據。Facebook採用這種做法已有很長一段時間。在了解到用戶點贊不能完全反映他們在動態消息當中實際想要看到的東西以後，該公司給它的模型加入了更多的指標。它開始測量其它的東西，比如用戶看一篇帖子的時長，他們瀏覽其點擊的文章的時間，他們是在看內容之前還是之後點贊。Facebook的工程師盡可能地去權衡和優化那些指標，但他們發現用戶大體上還是對動態消息里呈現的內容不滿意。因此，該公司進一步增加測量指標：它開始展開大范圍的用戶調查，增加新的反應表情讓用戶可以傳達更加細微的感受，並開始利用AI來按頁面和按出版者檢測帖子的標題黨語言。該社交網路知道這些指標沒有一個是完美的。但是，通過增加更多的指標，它理論上能夠更加接近於形成可給用戶展示他們最想要看到的帖子的演算法。

這種做法的一個弊端在於，它難度大，成本高昂。另一個弊端在於，你的模型加入的變數越多，它的方法就會變得越錯綜復雜，越不透明，越難以理解。這是帕斯誇里在《黑箱社會》里闡述的問題的一部分。演算法再先進，所利用的數據集再好，它也有可能會出錯——而它出錯的時候，診斷問題幾無可能。「過度擬合」和盲目相信也會帶來危險：你的模型越先進，它看上去與你過往所有的觀察越吻合，你對它越有信心，它最終讓你一敗塗地的危險就越大。（想想次貸危機、選舉預測模型和Zynga吧。）

5. 大數據如何改變傳統營銷

現在，隨著從多個渠道不斷湧入的巨大數據量，營銷人員正面對著巨大的「大數據」資源，他們需要想辦法從中獲得可操作的營銷策略。下面讓我們來看看大數據如何從5個方面永久性地改變營銷。1. 提高個性化：在大型百貨公司的輝煌時代，當時的目標是為每一位客戶提供貼心的服務，來提高競爭力。為客戶提供更加個性化的服務能夠提高銷量、獲得客戶的忠誠度以及增加口碑廣告。現在，大型企業和小型企業的營銷人員都可以利用大數據來更有效地了解客戶的需求，比以前更具有針對性、更個性化和相關性。其中一個很好的例子就是亞馬遜，該公司利用從願望清單、瀏覽歷史記錄和購買歷史記錄收集的數據，通過分析技術來為客戶提供更個性化的產品建議。大數據為營銷人員提供了很好的計劃，讓他們能夠創建更富個性化的策略。2. 數據驅動的營銷：大數據已經不再被認為是行業炒作術語，現在大數據已經迎來了數據驅動營銷的時代。隨著原始數據繼續堆積，大數據平台(例如Hadoop)已經出現，來幫助營銷人員更好地利用這些數據。現在，企業可以實時存儲、管理和分析大量數據，讓營銷人員更好地了解客戶，而不是通過人口數據或者樣本數據，而是對個人進行分析。有了這些信息，營銷人員能夠了解客戶真正需要的是什麼，以及如何最好地滿足這些需求來提升客戶體驗。3. 預測分析：有沒有坐過旅行車背後面向後方的座位?希望現在沒有這樣的座位了。這些座位能夠讓乘客知道他們去過哪裡，但對於他們要去哪裡卻沒有提供任何線索。對於數據，營銷人員一直坐在朝向後方的座椅。他們唯一的視圖是之前的web訪問記錄、點擊情況、打開率、下載等。只有過去的數據可以用來預測未來的客戶行為，在不久前，並沒有足夠的營銷數據來准確地預測未來客戶行為。現在，通過外部系統(例如web和社交媒體)以及內部系統(例如CRM和購買歷史記錄)的數據，營銷人員足以分析客戶當前和未來的購買行為，這些可操作的情報可以推動現有產品和服務的銷售，並帶來更新和更好的產品和服務。4. 虛擬活動能力：大數據情報，加上人類創造力，可以引發大膽的想法和宣傳策略。同時，因為大數據模擬，這些大膽的想法可以在虛擬市場中進行測試，從而消除了市場內測試相關的風險和成本費用。通過使用真實世界的數據，即使是最古怪的營銷思路也可以進行測試、挑戰和重新測試，直到這些營銷想法成為實際的活動—其有效性隨後可以使用營銷後分析來衡量。5. 不只是針對大型企業：現在的技術，大數據並不只是針對大型企業。即使是小型企業也可以從存儲、管理、分析和可視化數據中獲得很大的優勢，並且只需要非常有限的成本。此外，現在的軟體讓企業可以部署大數據分析，來完成影響目標，而不需要僱傭若干優秀的數據科學家。小型企業能夠使用與大型企業相同的工具和技術來提高其營銷策略，實現與大型企業公平競爭的機會。責編：孫明春

6. 為什麼大數據時代讓我們生活變得沉重

在大數據高速發展並不斷拓寬應用邊界的同時，監管卻無法及時跟上，以至於一些缺乏操守和剋制的公司，惡意泄露甚至出售用戶隱私，對大家的生活造成很大影響。

大數據給我們帶來了如此大的便利，可能會導致我們過度依賴它，導致最後我們總是聽同一類型的歌，看相似觀點的新聞評論，我們最後可能被大數據困在某個小圈子裡，無法聽見外面不同的聲音，從而使我們變得狹隘。所以大數據的使用也是需要慎重的，它只是一個工具，而不要完全被工具左右了。

提出人物

最早提出「大數據」時代到來的是全球知名咨詢公司麥肯錫，麥肯錫稱：「數據，已經滲透到當今每一個行業和業務職能領域，成為重要的生產因素。人們對於海量數據的挖掘和運用，預示著新一波生產率增長和消費者盈餘浪潮的到來。」 「大數據」在物理學、生物學、環境生態學等領域以及軍事、金融、通訊等行業存在已有時日，卻因為近年來互聯網和信息行業的發展而引起人們關注。