上億大數據

A. 中國目前在大數據行業的發展情況如何

我國大數據產業開始已進入深化階段

中國大數據產業從萌芽到如今漸成體系，已走過將近10個年頭。「十四五」開局之年，大數據產業也進入了集成創新、深度應用的新階段。大數據在醫療、工業、交通等領域的融合應用技術加快創新突破，大數據融合應用重點從虛擬經濟轉變為實體經濟;大數據底層技術方面，信息安全、模式識別、語言工程、計算機輔助設計、高性能計算等加快突破，大數據技術領域逐漸補齊短板，並進一步強化長板。

—— 更多本行業研究分析詳見前瞻產業研究院《中國大數據產業發展前景與投資戰略規劃分析報告》

B. 百億級實時大數據分析項目，為什麼不用Hadoop

誰說抄百億級大數據分析不用Hadoop了，是你不用的吧，Hadoop是最普遍的大數據分析工具了，大部分人都在用這個的。也是被認為學習大數據必須要學習的課程的，Hadoop是很流行的一個大數據分析工具。檸檬學院大數據。

C. 求教大數據量（50億數據量）查詢方案

分區,索引都是有必要的.還有適當調整相關參數. 我現在的資料庫,超個3億條記錄(大小40G左右)的大表有三個,主要索引用得當沒感覺出有太慢的.

D. 「大數據」的根本是為了價值創造

「大數據」的根本是為了價值創造

前面什麼是「大數據」我就很快的過一下，我們看到了「大數據」的一些想法。更重要的是我們怎麼看待「大數據」，怎麼影響到業務模式的變革，我們也會提到一些案例，我們看到我們的客戶在整個「大數據」的變革中會做一些什麼東西。在當中最重要的，剛剛吳老師也提到，不但是獲取數據，而是如何用它，不管是組織、流程、能力各方面怎麼做很好的准備，怎樣去挖掘這樣的一個機會。
首先剛才大家也提到了，現在進入到了一個「大數據」的時代，如果大家看我們這里做了一個很快的統計，在全球幾百個主要的媒體上面，看到在一些標題，或者是在一些主要的段落裡面，談到「大數據」的這個字的話，其實十年前就已經開始有了，但那時候還不是太多。其實在比如說2005、2007年的時候，看最火的字可能是電子商務，看得更加多。2001年時候看到的最多的字是雲計算。看最近兩三年，「大數據」就突然間增長的非常快了。當然不是說電子商務、雲計算已經落後了，這些還是經常看到的自眼，但「大數據」會看到非常高的比例。
「大數據」剛才大家都談到了一些不同的定義，「大數據」是什麼東西，剛才也提到了，其實十多年前、二十多年前，我們就已經會挖掘客戶的信息了，會做分析了。但是究竟「大數據」和以前有什麼不一樣?首先在量上面，是海量的數據，是本來一些的方法、工具，這些是分析不了的，是做不了的，這個量是非常多的。給大家一個概念，現在世界上所有的數據，90%是在過去兩年產生出來的，所以你會看到，我們的時間再過一年的話，信息量的增長完全是一個爆炸性的增長。比如說另外一個，可能剛才談到視頻分享網站，有人做過一個統計，比如說你現在坐在一個電腦面前一直看這個視頻的話，可能需要一兩千年才能夠看完。這些數據量這么多，當中對你有用的不一定會太多，怎麼挖掘海量的數據，這個量是一個很大的重要的一點。
除了以外，另外一點就是現在不同種類的數據，以前的話，可能在網上你看到了一些文字的資料，現在找東西的話，你會找圖片，會找不同的視頻，有時候還會有很多不同的模式，比如說你的PUO這些東西，或者是其他的很多不同的種類的信息，這個也越來越多。
其實很多時候，剛才已經提到了，我們要分析，客戶分析的數據不但是分析自己的數據，很多時候是要把怎麼樣和外部的數據結合起來。比如說大家一直可能會談到沃爾瑪，怎麼樣挖掘沃爾瑪自己的客戶，他買了什麼東西，對未來會買什麼東西做一個預期，或者是對未來的什麼折扣感興趣。但是有一個有趣的事情，沃爾瑪不但看自己的數據，還會把這些數據和天氣的數據放在一起看。比如說下雨的時候哪些貨品要多做一點，或者是有台風的時候，客戶會來多買什麼東西。把不同種類的數據和不同來源的數據做一個很好的分析的話，這個也是「大數據」時代的一個挑戰。
另外一點，在媒體裡面常常談到的「大數據」是實時，這個是很重要的，不但是量、種類，要實時的應對，比如說十年前客戶做調研和客戶細分，需要兩三個月的時間來做分析，來做出結果怎麼服務好客戶。但是現在客戶的需要已經不一樣了，怎麼實時給出應對是重要的一點。
其實我們對「大數據」的理解也有一定的定義，就剛才提到的，其中首先一點是怎麼樣收集，怎麼樣去分析，怎麼樣去理解這些大數據，這當然是很重要的一部分，這裡面很重要的一點，不單單是獲取，因為我們常常看到一些客戶可能覺得浪費時間，外面有那麼多的數據，怎麼多拿一點進來，但是更加重要的是你有沒有這個能力，怎麼用這個數據，這個能力非常重要。
這裡面提到兩個另外的點，一個是「大數據」不是為了獲取分析來做，更重要的一點是對於公司價值的創造，如果到最終這個數據你拿到了很多，分析了很多的數據，根本影響不了你的業務的話，這個也沒有什麼意思，所以價值創造是根本的一點。在這個過程中，我們相信「大數據」對業務的模式是一個很大的變革。所以我們在後面也會提到。
這裡面我們隨便看不同行業裡面的經驗。今天早上和一些同事聊的時候，大家也在談，其實「大數據」究竟對什麼行業有最大的影響呢?其實我覺得這個問題是很難回答的。因為我們看到很多客戶一直問我們「大數據」對他們有什麼影響，電子商務對他們有什麼影響。這裡面不單單是消費者的公司，或者是B2B的公司，或者是醫葯的種種的公司，主要是看怎麼應用「大數據」，一方面是他們的數據量，數據的來源越來越多了。還有就是剛才提到的，就是怎麼和外部的數據結合起來，做到對你業務有價值的幫助。現在價值創造往往上上億美元的收入，或者是成本方面的增長。
剛剛提到其實不同的行業裡面會有不同的應用，這一頁是我們幾個月之前做的，這上面可能有一些還沒有做「大數據」的公司現在已經開始做了，這個變化是非常快的。舉一個例子，一個保險（放心保）方面的，過去可能看不同人的年齡，以前開汽車有沒有遇到過意外，然後決定你的保險要付多少錢。現在是有一個儀器放你車裡面，看你開車是否安全，這個就可以給不同客戶更加個性化的定價。這個就是一個「大數據」的應用。另外一種，我覺得也很有趣的例子，大家知道現在是歐債危機，很多政府都遇到了這樣的挑戰，比如說義大利政府，義大利政府不但是考慮有沒有人逃稅，不但是要看報上來的數據，在法律允許的情況下，結合了很多消費的帳單、電話費的帳單，比如說你有沒有去外地旅遊等等，你沒有那麼高的收入，為什麼可以有這么高的消費，把這些數據和他們報上來的收入比較，發現20%納稅人是高風險的逃稅人。這個也是一個「大數據」的應用，不但是在業務裡面、商業裡面，也在政府裡面，很多行業裡面都會有不同的應用。
這裡面談一下背景，因為很多客戶常常問我們，什麼叫做商業模式，我們有沒有一個好的定義。這個也是我們很多客戶比較接受和認可的定義。商業模式，在這裡面有兩個大的方面，一個是價值主張，比如說從所提供的產品服務究竟是什麼東西，目標客戶群是誰，收入的模式，比如說定價、商業模式怎麼樣在裡面賺錢的，收入是怎麼樣來的，這也是一部分，我們叫做價值主張。
另外一方面是在運營模式方面，比如說在整個的價值鏈當中，怎麼控制這個價值鏈，或者我們在價值鏈的哪個部分去玩，其中組織的架構，也會影響到商業模式，最終也有成本的模型、成本了模式。我們對於商業模式的變革，商業模式的改造裡面，定義在這六個模式裡面至少有兩個是在改變，才叫做商業模式的改變。比如說你只是改變了目標客戶群，其他沒有什麼改的，這個只是客戶群的改變，如果只是多了一點服務和產品，在其他方面也沒有改的話，這個也不是根本的商業模式的改變。但是我們後面談到例子中就會看到，很多客戶在運用「大數據」的時候，有兩方面的改變和影響，這個就是根本上的商業模式的變革。
「大數據」如何影響到商業模式的變革。這裡面有幾個大的方面，首先是數據的來源，根據提到數據越來越多，在中間怎麼樣影響總體的經濟鏈，或者是總體價值鏈。右邊是結果了，剛才提到，可能是六個方面影響我們的商業模式。但是如果大家看一下左邊的數據方面，其實數據來源，或者是量越來越多，這個當然是一個很重要的一點，但是剛才吳老師和殷總也提到，獲取數據的成本，或者是儲存數據的成本越來越低，這個是使得大家願意越來越多的使用「大數據」。但是更加重要的是要有越來越先進的分析工具，來幫助大家做這些分析，不然的話，如果還是用十年前，十五年前的工具，雖然數據多了很多很多，但是也做不住很好的結果。比如說我們自己內部，過去5年也建立了一個團隊，專門看地理方面的數據，全球不同地方的地理數據，比如說中國國內，什麼地方有餐廳，什麼地方有零售店，其實現在有很好的數據做分析的，十幾年前沒有這樣的資料庫，現在有了，我們也有這樣的能力。我們也有團隊，比如說看全球零售方面的數據分析。比如說幾年前我們用很簡單的工具來做分析，因為數據少，很容易做。而現在我們自己的咨詢公司也會建立這樣的能力。
最後當然是客戶他們，這些消費者也很願意的和大家分享這些數據，當然在隱私這些方面可能還是一定的挑戰，但是對於他們來說，他們貢獻的這種數據，獲得了這種便利，比如說在亞馬遜上面可以提供書的建議，或者我到沃爾瑪裡面，有特價的折扣給我，比較個性化，這些是他們比較願意用他們的數據來換取一些價值。這些種種方面就是為什麼現在數據越來越多，怎麼樣影響到業務模式的變革。
在當中，我們一會兒會談到比較大的一點，就是中間談到怎麼樣真正的影響價值鏈。比如說現在有了那麼多的數據，而且流通性那麼好的話，大大增加了在交易、客戶、產業之間的透明度。其中還談到了交易成本都有一定的降低。比如說以前一家公司要做針對性的營銷的話，以前可能是很難做的，以前做營銷，打一個廣告，面對很大的受眾，但是不一定很有針對性。而現在用比較低的成本，你有了這個能力，有了這個數據，就可以給客戶很個性化的優惠和產品。這個以前是不可能發生的。
在價值鏈不同部分的規模變革，或者是客戶的期望值，這個也是很重要的部分，為什麼這些公司要根本的改善業務模式，很重要的一點是客戶的期望值在改變。大家覺得現在有那麼多的數據，我只看到競爭對手做了那麼多的東西，但是我們對於公司的期望會越來越高。
剛才談到業務模式的六大方面。
我在這裡面就不多提這些例子了，我後面會比較仔細的談在企業和「大數據」當中怎麼樣去競爭。
在這個方面，首先我們很多時候當客戶在看這個問題的時候，會從幾個大的方面看。其中最重要的，就是最上面的，就是整個他們對「大數據」方面的整體的定位，或者是戰略是怎麼樣的。這個是很重要的。剛才也說了，不是為了獲取數據而獲取數據，不是為了分析數據而分析數據，最終希望你怎麼樣去使用，這個在你的業務裡面是希望達到什麼樣的效果，這個是很重要的一點。這個整體的方向，高層、領導層方面的一些大力的資源方面的支持之外，下面我們會從幾個大的緯度看。
第一個，怎麼樣利用這些數據。這是很重要的部分。數據的用途在哪裡。
第二個，我們叫做數據的引擎，其實就是數據基礎的建設。
第三個，生態的系統，整個生態系統怎麼樣去看。
這裡面很快把每一點說一下。首先在上面怎麼樣利用這個數據，我們這裡面看到兩個大的方面，一個是在機會方面，一個是信任方面。機會方面就是要了解用這些數據會達到什麼目的，會有什麼樣的機會，比如說要挖掘一點對業務方面的洞察，還是希望對整個公司的流程有更加好的完善，更加好的改進呢，還是說你希望給客戶提供一些新的產品，以前可能是沒有辦法提供的，比如說你本來有不同的業務，本來是獨立的提供業務，現在不同單元可以分享提供業務，提供新的數據。怎麼樣利用這些數據，就是要看機會方面，有哪些機會。第二方面叫做信任。這裡面其實有兩大部分，一個是剛才提到的數據是不是也願意的提供一些數據給你，就是說讓你獲得一定的便利，獲得一定的優惠，然後客戶能夠信任你，讓你收集這樣的數據。另外一部分就是你怎麼樣建立這個形象，就是在整個的過程中，客戶願意給你，但是慢慢的你要建立一個可信任的形象，就是大家覺得給你這個信息是安全的，就是這個信任。所以怎麼樣利用和獲取信任是很重要的部分。
第二個部分是數據的引擎。第一個是在技術方面，怎麼樣建立這個平台，這個當然很重要。右邊是組織的架構，內部的話，你的組織需要什麼樣的能力，需要什麼樣的人才，比如說組織架構，比如說剛才殷總提到在一個公司裡面有一個CBO，除了這個之外，有一群人在總部，可能對「大數據」分析比較了解。但是在每一個業務單元裡面，是不是也要有人確定這些數據怎麼用，怎麼獲取這些數據，日常和客戶的溝通過程中，怎麼收集和利用這些數據，這也是很重要的一點。這個是第二個部分。
第三個部分是數據的生態系統了，其實看到了很多的公司，他們不單單是看自己的數據，他們是很好的怎麼樣確保和他們整個生態系統，或者是第三方的夥伴，他們怎麼樣分享這些數據，這個總體來說是非常重要的一部分。所以很多時候，我們在過去好幾年做了有上百個不同行業的「大數據」的項目之後，總結出來我們客戶常常遇到的問題，可能都是這樣，很多時候客戶一開始來談的時候，可能都談上面的機會，究竟什麼是大數據，給我們什麼樣的機會，但是他們慢慢了解之後，知道了這個還不是最大的問題，有了系統和做分析的人，這些都OK了，但是更多是在組織、流程、生態系統方面是更加的挑戰。
在其中，我這里准備了兩個例子，一個是谷歌，大家也是比較知道的，在運用數據方面是一個比較大、比較領先的公司。在當中會看到我也會從剛才提到的六個方面，怎麼樣使用數據，裡面是怎麼樣挖掘不同的機會，怎麼樣得到客戶的信任。第二個方面是數據引擎方面、平台方面、組織方面是怎麼樣做的，最後是怎麼樣參與生態系統，建立和不同夥伴的關系。
谷歌也很有戰略，看到了很多大家還沒有看到的機會，他們很早的時候就已經先做了，這個也是客戶裡面現在比較大的改變，現在有很多東西你要嘗試的，因果關系你還沒有看到很清楚，但是看到了關聯性，雖然看不到因果關系，但是看到了就要嘗試。谷歌是比較領先的一個。在當中會看到，在數據用途方面，比如說左邊這里，他們常常有很多不同的應用，不管是地圖，不管是在其他方面，比如說視頻種種方面，有很多不同的應用，有上百種不的應用，就一直在試。它的資料庫並不一定有很多，可能是有單一的資料庫，在這個資料庫裡面可以讓你做很多不一樣的東西，這個就是客戶在想的，其實更加重要的不是要獲取更加多的數據，其實很多時候客戶已經有太多的數據了，甚至有時候他們覺得自己的數據不夠，一定要到外面找，其實他們沒有想清楚自己的數據怎麼用，單一的資料庫已經可以讓你做很多不同的東西出來，讓你嘗試不同的東西。
另外一方面，和客戶怎麼建立信任，比如說一個方面，客戶要慢慢的、很快的感受到他們在這些數據方面裡面獲得的一些好處在哪裡。另外一方面，他們收集了這些數據，谷歌這方面做得挺好的，比如說社會責任、社會形象、捐款，這方面他們做得也是很多的，這是為公司建立起比較正面的形象，這方面讓客戶覺得和你分享這些數據，你也是比較可信的公司。在怎麼獲取，怎麼使用方面，其實很多客戶是會考慮非常清楚的。
第二個方面是數據引擎，在整個基礎建設方面。首先是技術方面，技術方面我當然不是懂很多。首先是要有統一的自己的資料庫，然後在當中擴充性也是比較大的，剛才提到，拿了那麼多的數據，怎麼把資料庫擴充、擴容，這個是非常重要的一點。另外一點是在組織方面，比如說這裡面提到，當然你需要一些，我們這里說到數據的工程師，在很多公司裡面，這個量不一定很多的，不是一家公司可能有上萬人，就要有幾百個這樣的數據工程師，很多時候有十幾個人的小的團隊，但是能力都是比較強的，知道怎麼進行數據挖掘，怎麼把系統建立起來，這個是非常重要的一點。另外一個是在當中右下角，吳老師提到的一點，不是說要根因這方面的東西，其實他們挖掘這個東西的時候，最重要是看關聯性，兩個動作有一定的關聯，然後就知道要去嘗試這個東西，然後慢慢的看究竟為什麼有這個原因，這個是和傳統做一些商業決定是很不一樣的。
對生態系統，這個也都不用說了，這裡面比如說谷歌通過參與不同生態系統裡面，和很多第三方夥伴一起來合作。有一些，比如說上面的是整個搜索的生態系統，下面可能地圖也有生態系統，不同裡面，和不同的很多人在合作，在工作。
後面我很快的說另外一個例子，這個是寶潔。也是從剛才的六個緯度看一下，怎麼使用這些數據，基礎怎麼建立起來，最終怎麼樣建立很好的生態系統。這個是剛才提到的上面的三角形，對於大數據整體的戰略和定位是怎麼樣的，可以看到在過去可能幾十年的歷程中，很多時候，比如說七八十年代、八九十年代，不但是寶潔，很多公司都在想生產力怎麼提升，流程怎麼做得更加好，或者是比較根本的業務方面的東西，但是會看到在過去幾年，有很多大的投入，都是在「大數據」、運用電子商務的機會等，在公司的高層是有很大的決心要做這個工作。所以你會看到，在數據的用途方面是有很多不同的例子，這裡面只是有幾個例子而已。第一個是在社交媒體方面，其實有一些不單單是他自己的數據，還有外部的數據，他們進行分析，分析之後看到不同客戶群的趨勢，客戶在看什麼品牌。後來看到了一個客戶很認同的品牌，買了進來這個品牌，然後客戶增加了10倍，這個是很重要的一部分。
第二部分是流感方面的葯，剛剛第一個是談到客戶端的數據，第二個是在庫存上，怎麼樣提供給零售商足夠的庫存。這個葯可能30%的存貨的機會，就是你買這個產品，很多時候是70%的時間是缺貨的，但是慢慢經過所有數據的挖掘，就把線下的庫存做得更加好了，所以會看到是不同緯度來做「大數據」。第三個方面是怎麼挖掘這些「大數據」。每一天收到的電郵，或者是服務中心收到的電話大概是15萬個，每天都挖掘這些信息，這些人打電話進來到底是問什麼問題，發郵件來到底是問什麼東西，把這些理念灌輸到不同的業務單元裡面。右邊也是，要給消費者一個很有信任的感覺，大家才會比較信任的願意分享和讓你使用這些數據。
另外總體的引擎，左邊談到了平台，前面談的比較多的是技術平台方面，但是也很重要的一個，就是在管理的平台上怎麼樣去做。比如說這裡面提到一個例子，首先要有統一的數據展示的方式，每周一全球的經理開會，就是要把統一資料庫裡面的發現、展示做一定的使用和研究。然後影響力，在大數據的分析等方面都為高層做很透明的信息平台。
在右邊，就整體的組織方面，首先是很清晰的，在集團領導的層面，他們把重要性放得最高的，剛才聽到，過去可能是流程提升、效率優化等，現在「大數據」和電子商務這塊最重要，這個是組織方面。
剛才也提到，在中央，在集團的層面有一個小的團隊，這些可能都是最聰明的PHD、MBA，然後讓他們主導在數據方面的戰略，是同一時間不但是在集團的層次，在不同業務層面，有專門人談數據挖掘和談「大數據」的。
最後是生態系統，雖然以為寶潔是很大的公司，他們有很多的資源和數據，但是要看到和外部，不管是零售商還是經銷商，有很多方面的配合是他們要做的。內部有很多的合資公司，怎麼樣把他們的系統、數據和零售商等做一個聯系，這是很重要的一點。右邊也是有一些，和主要的合作夥伴，比如說谷歌，還有零售終端，比如說沃爾瑪等，這些也是要分析的合作的夥伴。整個的生態系統裡面，究竟要做什麼東西，這個也是很重要的，不是有了數據就可以了，最重要的是要把生態系統打造起來。

E. 上億條數據查詢解決方案

ProctID 用varchar(max)不行。最好限制在比如nvarchar(100).同時ID 沒有用。還不如直接ProctID 做主鍵，或者用ProctID, Name 做主鍵。

分區可能需要但在模糊查詢中沒有什麼幫助。