1. 大數據定義、思維方式及架構模式
大數據定義、思維方式及架構模式
一、大數據何以為大
數據現在是個熱點詞彙，關於有了大數據，如何發揮大數據的價值，議論紛紛，而筆者以為，似乎這有點搞錯了原因與結果，就象關聯關系，有A的時候，B與之關聯，而有B的時候，A卻未必關聯，筆者還是從通常的4個V來描述一下我所認為的大數據思維。
1、大數據的量，數據量足夠大，達到了統計性意義，才有價值。筆者看過的一個典型的案例就是，例如傳統的，收集幾千條數據，很難發現血緣關系對遺傳病的影響，而一旦達到2萬條以上，那麼發現這種影響就會非常明顯。那麼對於我們在收集問題時，是為了發現隱藏的知識去收集數據，還是不管有沒有價值地收集，這還是值得商榷的。其實收集數據，對於數據本身，還是可以劃分出一些標准，確立出層級，結合需求、目標來收集，當然有人會說，這樣的話，將會導致巨大的偏差，例如說喪失了數據的完整性，有一定的主觀偏向，但是筆者以為，這樣至少可以讓收集到的數據的價值相對較高。
2、大數據的種類，也可以說成數據的維度，對於一個對象，採取標簽化的方式，進行標記，針對需求進行種類的擴充，和數據的量一樣，筆者認為同樣是建議根據需求來確立，但是對於標簽，有一個通常採取的策略，那就是推薦標簽和自定義標簽的問題，分類法其實是人類文明的一大創舉，採取推薦標簽的方式，可以大幅度降低標簽的總量，而減少後期的規約工作，數據收集時擴充量、擴充維度，但是在數據進入應用狀態時，我們是希望處理的是小數據、少維度，而通過這種推薦、可選擇的方式，可以在標准化基礎上的自定義，而不是毫無規則的擴展，甚至用戶的自定義標簽給予一定的限制，這樣可以使維度的價值更為顯現。
3、關於時效性，現在進入了讀秒時代，那麼在很短的時間進行問題分析、關聯推薦、決策等等，需要的數據量和數據種類相比以前，往往更多，換個說法，因為現在時效性要求高了，所以處理數據的方式變了，以前可能多人處理，多次處理，現在必須變得單人處理、單次處理，那麼相應的信息系統、工作方式、甚至企業的組織模式，管理績效都需要改變，例如筆者曾經工作的企業，上了ERP系統，設計師意見很大，說一個典型案例，以往發一張變更單，發出去工作結束，而上了ERP系統以後，就必須為這張變更單設定物料代碼，設置需要查詢物料的存儲，而這些是以前設計師不管的，又沒有為設計師為這些增加的工作支付獎勵，甚至因為物料的缺少而導致變更單不能發出，以至於設計師工作沒有完成，導致被處罰。但是我們從把工作一次就做完，提升企業的工作效率角度，這樣的設計變更與物料集成的方式顯然是必須的。那麼作為一個工作人員，如何讓自己的工作更全面，更完整，避免王府，讓整個企業工作更具有時間的競爭力，提高數據的數量、種類、處理能力是必須的。
4、關於大數據價值，一種說法是大數據有大價值，還有一種是相對於以往的結構化數據、少量數據，現在是大數據了，所以大數據的單位價值下降。筆者以為這兩種說法都正確，這是一個從總體價值來看，一個從單元數據價值來看的問題。而筆者提出一個新的關於大數據價值的觀點，那就是真正發揮大數據的價值的另外一個思路。這個思路就是針對企業的問題，首先要說什麼是問題，筆者說的問題不是一般意義上的問題，因為一說問題，大家都以為不好、錯誤等等，而筆者的問題的定義是指狀態與其期望狀態的差異，包括三種模式，
1）通常意義的問題，例如失火了，必須立即撲救，其實這是三種模式中最少的一種；
2）希望保持狀態，
3）期望的狀態，這是比原來的狀態高一個層級的。
我們針對問題，提出一系列解決方案，這些解決方案往往有多種，例如員工的培訓，例如設備的改進，例如組織的方式的變化，當然解決方案包括信息化手段、大數據手段，我們一樣需要權衡大數據的方法是不是一種相對較優的方法，如果是，那麼用這種手段去解決，那麼也就是有價值了。例如筆者知道的一個案例，一個企業某產品部件偶爾會出現問題，企業經歷數次後決定針對設備上了一套工控系統，記錄材料的溫度，結果又一次出現問題時，進行分析認為，如果工人正常上班操作，不應該有這樣的數據記錄，而經過與值班工人的質詢，值班工人承認其上晚班時睡覺，沒有及時處理。再往後，同樣的問題再沒有再次發生。
總結起來，筆者以為大數據思維的核心還是要落實到價值上，面向問題，收集足夠量的數據，足夠維度的數據，達到具有統計學意義，也可以滿足企業生產、客戶需求、甚至競爭的時效要求，而不是一味為了大數據而大數據，這樣才是一種務實、有效的正確思維方式，是一線大數據的有效的項目推進方式，在這樣的思維模式基礎上，採取滾雪球方式，把大數據逐步展開，才真正贏來大數據百花齊放的春天。
二、大數據思維方式
大數據研究專家舍恩伯格指出，大數據時代，人們對待數據的思維方式會發生如下三個變化：
1）人們處理的數據從樣本數據變成全部數據；
2）由於是全樣本數據，人們不得不接受數據的混雜性，而放棄對精確性的追求；
3）人類通過對大數據的處理，放棄對因果關系的渴求，轉而關注相關關系。
事實上，大數據時代帶給人們的思維方式的深刻轉變遠不止上述三個方面。筆者認為，大數據思維最關鍵的轉變在於從自然思維轉向智能思維，使得大數據像具有生命力一樣，獲得類似於「人腦」的智能，甚至智慧。
1、總體思維
社會科學研究社會現象的總體特徵，以往采樣一直是主要數據獲取手段，這是人類在無法獲得總體數據信息條件下的無奈選擇。在大數據時代，人們可以獲得與分析更多的數據，甚至是與之相關的所有數據，而不再依賴於采樣，從而可以帶來更全面的認識，可以更清楚地發現樣本無法揭示的細節信息。
正如舍恩伯格總結道：「我們總是習慣把統計抽樣看作文明得以建立的牢固基石，就如同幾何學定理和萬有引力定律一樣。但是，統計抽樣其實只是為了在技術受限的特定時期，解決當時存在的一些特定問題而產生的，其歷史不足一百年。如今，技術環境已經有了很大的改善。在大數據時代進行抽樣分析就像是在汽車時代騎馬一樣。
在某些特定的情況下，我們依然可以使用樣本分析法，但這不再是我們分析數據的主要方式。」也就是說，在大數據時代，隨著數據收集、存儲、分析技術的突破性發展，我們可以更加方便、快捷、動態地獲得研究對象有關的所有數據，而不再因諸多限制不得不採用樣本研究方法，相應地，思維方式也應該從樣本思維轉向總體思維，從而能夠更加全面、立體、系統地認識總體狀況。
2、容錯思維
在小數據時代，由於收集的樣本信息量比較少，所以必須確保記錄下來的數據盡量結構化、精確化，否則，分析得出的結論在推及總體上就會「南轅北轍」，因此，就必須十分注重精確思維。然而，在大數據時代，得益於大數據技術的突破，大量的非結構化、異構化的數據能夠得到儲存和分析，這一方面提升了我們從數據中獲取知識和洞見的能力，另一方面也對傳統的精確思維造成了挑戰。
舍恩伯格指出，「執迷於精確性是信息缺乏時代和模擬時代的產物。只有5%的數據是結構化且能適用於傳統資料庫的。如果不接受混亂，剩下95%的非結構化數據都無法利用，只有接受不精確性，我們才能打開一扇從未涉足的世界的窗戶」。也就是說，在大數據時代，思維方式要從精確思維轉向容錯思維，當擁有海量即時數據時，絕對的精準不再是追求的主要目標，適當忽略微觀層面上的精確度，容許一定程度的錯誤與混雜，反而可以在宏觀層面擁有更好的知識和洞察力。
3、相關思維
在小數據世界中，人們往往執著於現象背後的因果關系，試圖通過有限樣本數據來剖析其中的內在機理。小數據的另一個缺陷就是有限的樣本數據無法反映出事物之間的普遍性的相關關系。而在大數據時代，人們可以通過大數據技術挖掘出事物之間隱蔽的相關關系，獲得更多的認知與洞見，運用這些認知與洞見就可以幫助我們捕捉現在和預測未來，而建立在相關關系分析基礎上的預測正是大數據的核心議題。
通過關注線性的相關關系，以及復雜的非線性相關關系，可以幫助人們看到很多以前不曾注意的聯系，還可以掌握以前無法理解的復雜技術和社會動態，相關關系甚至可以超越因果關系，成為我們了解這個世界的更好視角。舍恩伯格指出，大數據的出現讓人們放棄了對因果關系的渴求，轉而關注相關關系，人們只需知道「是什麼」，而不用知道「為什麼」。我們不必非得知道事物或現象背後的復雜深層原因，而只需要通過大數據分析獲知「是什麼」就意義非凡，這會給我們提供非常新穎且有價值的觀點、信息和知識。也就是說，在大數據時代，思維方式要從因果思維轉向相關思維，努力顛覆千百年來人類形成的傳統思維模式和固有偏見，才能更好地分享大數據帶來的深刻洞見。
4、智能思維
不斷提高機器的自動化、智能化水平始終是人類社會長期不懈努力的方向。計算機的出現極大地推動了自動控制、人工智慧和機器學習等新技術的發展，「機器人」研發也取得了突飛猛進的成果並開始一定應用。應該說，自進入到信息社會以來，人類社會的自動化、智能化水平已得到明顯提升，但始終面臨瓶頸而無法取得突破性進展，機器的思維方式仍屬於線性、簡單、物理的自然思維，智能水平仍不盡如人意。
但是，大數據時代的到來，可以為提升機器智能帶來契機，因為大數據將有效推進機器思維方式由自然思維轉向智能思維，這才是大數據思維轉變的關鍵所在、核心內容。眾所周知，人腦之所以具有智能、智慧，就在於它能夠對周遭的數據信息進行全面收集、邏輯判斷和歸納總結，獲得有關事物或現象的認識與見解。同樣，在大數據時代，隨著物聯網、雲計算、社會計算、可視技術等的突破發展，大數據系統也能夠自動地搜索所有相關的數據信息，並進而類似「人腦」一樣主動、立體、邏輯地分析數據、做出判斷、提供洞見，那麼，無疑也就具有了類似人類的智能思維能力和預測未來的能力。
「智能、智慧」是大數據時代的顯著特徵，大數據時代的思維方式也要求從自然思維轉向智能思維，不斷提升機器或系統的社會計算能力和智能化水平，從而獲得具有洞察力和新價值的東西，甚至類似於人類的「智慧」。
舍恩伯格指出，「大數據開啟了一個重大的時代轉型。就像望遠鏡讓我們感受宇宙，顯微鏡讓我們能夠觀測到微生物一樣，大數據正在改變我們的生活以及理解世界的方式，成為新發明和新服務的源泉，而更多的改變正蓄勢待發」。
大數據時代將帶來深刻的思維轉變，大數據不僅將改變每個人的日常生活和工作方式，改變商業組織和社會組織的運行方式，而且將從根本上奠定國家和社會治理的基礎數據，徹底改變長期以來國家與社會諸多領域存在的「不可治理」狀況，使得國家和社會治理更加透明、有效和智慧。
2. 感覺大數據分析的春天到了 廈門做數據分析的也很多了 可是自己想學習
大數據不是銀彈，而是螞蟻效應
大數據應用常見，多見於推薦系統，業務流程優化，醫療，性能優化，預測，金融交易等，這些業務在傳統的做法上，已經十分依賴於數據了，雖然以前不叫大數據，但是也都是數據驅動的業務。數據的規模和種類增多，處理方法的增多，會漸漸提高這些應用的精準性，這種提高一定是漸漸的，一點一滴的。也許一天兩天感覺不錯來的，但是經過多年的持續改進，這種效果是顯而易見的。
3. 大數據時代:小企業是否也有春天
大數據時代:小企業是否也有春天
說到大數據的應用，先來看這么一則帶著笑話性質的案例吧：某超市通過分析一位女顧客的購物數據（包括購物清單、瀏覽物品、咨詢信息、視頻監控信息<超市內徘徊區域>等），根據分析結果給該女顧客寄來了孕嬰童試用品，這一舉動讓該女顧客的父親非常生氣，立馬致電該超市投訴，因為她女兒還未成年！超市經理立馬登門拜訪道歉，不過事實是，不久後這位小女孩因遮蓋不住隆起的腹部而不得不向父親告知真相：她真的懷孕了。
對於企業而言，大數據有時候像是一個偵探家，能夠撥開重重迷霧，找到問題的本質以及解決方案，而關鍵在於，你是否真的懂得如何去駕馭它，讓它為你服務。
在平日里，我們看到的大部分是像亞馬遜這樣規模的商業巨鱷是如何應用大數據制定商業戰略的案例。那麼，大數據對中小企業來說就沒有意義了嗎？中小企業是如何應用大數據的呢？
雨果網從英國廣播公司（BBC）發表的文章中獲悉：微軟的新領導人薩提亞?納德拉稱，在未來四年左右，對大公司來說，「數據紅利」所產生的價值將達到1.6萬億美元。那麼，對於小公司來說又如何呢？是不是這些大數據只對大公司發揮作用呢？
許多專家認為，大數據以及數據分析工具不僅對大公司有所助益，同時也可以幫助小公司快速成長，甚至走向全世界。各種數據可以轉變成通俗易懂的有效工具，幫助小企業捕獲商機。
Dave Bailey是Mediatonic數字游戲公司的總裁，其公司的游戲業務增長得很快。他說：「大數據對於我們公司來說是至關重要的，對其他中小企業來說也很重要。大數據可以為我們提供指引，讓我們制定出更為精確的發展戰略。」
Mediatonic公司經營數字游戲業務，游戲玩家們的賬號里產生了巨量的用戶數據，比如用戶何時、何地上網玩游戲，玩了多長時間，他們喜歡玩哪一部分游戲，更難一些的還是更容易一些的，等等。
Dave Bailey說：「理解游戲玩家的行為習慣，對我們這個行業來說至關重要。因為現在的游戲往往是免費下載的，而游戲公司的收入大部分產生於玩家在游戲過程中的購買行為。因此我們必須了解玩家的興趣、愛好、習慣，這樣的話才能投其所好，並獲得收入。」
「我們可以在同一時間里，在不同地域測試不同版本的游戲，然後根據玩家的反應以及由此形成實時數據對游戲做出調整。如今我們完全可以通過數據來了解每一個游戲玩家的習慣和其他資料了。」他補充道：「對於一個小公司來說，儲存大量數據的成本是非常低廉的，而這些數據的用處非常大。」
另外一個例子發生在法國的在線廣告公司Criteo身上。藉助於數據分析工具，該公司的業務規模增長迅猛。
Criteo公司通過跟蹤顧客的網路瀏覽記錄，知悉其瀏覽習慣，最後製作出個性化廣告，以吸引不同群體的興趣。如果用戶所瀏覽的內容發生了變化，廣告內容可以實時地做出變化，因此一個用戶可以看到不同的廣告內容。
Criteo公司使用MongoDB作為主要的資料庫，目前每天有25億個banner廣告，同時為全球范圍內5000多個廣告主服務。為此，它每天必須額外儲存20兆兆位元組（terabytes）的數據。
數據分析公司 FICO的首席數據分析主管Andrew Jennings稱，對於一個單獨的企業來說，它往往無法直接使用大數據並讓其發揮作用，但是它可以通過大數據分析工具獲取有用的數據服務，參考這些數據並作出決策的行為就如同我們看地圖或者天氣預報一樣。
APP開發平台Continuuity.com的CEO Jonathan Gray稱：「如今手機APP盛行於世，許多企業可以藉助於手機獲得數據，並由此受益。我們通過Hadoop等數據管理系統幫助APP開發者建造和完善APP，使他們可以獲取並分析實時的數據流。」
在具體的商業實踐中，利用大數據的例子舉不勝舉。比如一個出售雨傘的商店或者一個經營戶外燒烤的商店，往往會關注天氣預報數據，同時也會在社交媒體里觀察顧客的消費情緒，此外也可能使用智能手機跟蹤系統來對顧客進行定位。商家通過這些方式收集各類有效數據，並據此作出一系列的商業決策，比如儲存多少貨物，如何進行商業促銷，等等。
毫無疑問，很多小型企業無法像亞馬遜那樣便利地獲得同店顧客數據，但是如今出現了很多免費的公共數據，這些數據也能在商家進行決策時發揮重要作用。
另外一個例子就是計程車公司利用火車延遲和交通忙閑的數據，制定計程車經營計劃，決定什麼時候集中派遣車輛或者如何部署車輛。
數據分析專家 Jed Mole稱，一個初出茅廬的公司手頭上掌握的客戶數據非常有限，但是與大數據接軌依然是非常重要的事。他說：「我們生活在一個數據時代，任何規模的公司都不能忽略數據。我認為，大數據可以幫助一個小公司成長一個大公司。」
「任何公司，無論其規模大小，都會跟蹤顧客數據和售後數據，根據這些有效數據信息，它們可以對顧客的行為作出快速反應並可以將有效信息推送給顧客。」
如今，數據分析市場一派生機勃勃的景象，各種各樣的數據服務公司如雨後春筍地涌現，比如有些公司提供APP數據分析，也有些公司收集原始數據後進行分析，並生成具體的商業信息，然後為顧客提供切實可行的具體商業方案。
此外，社交媒體顯然也是小企業獲得大數據的一個重要來源，它不僅是一個交流工具，同時也是獲得市場信息的重要渠道。Datasift、mBlast 、SecondSync等數據分析公司就專注於將社交媒體的數據轉換為有用的商業信息，以供大大小小的公司在制定商業決策時使用。
以上是小編為大家分享的關於大數據時代:小企業是否也有春天的相關內容，更多信息可以關注環球青藤分享更多干貨