大數據分析論壇

① 大數據時代的數據分析師該了解哪些事情

大數據時代的數據分析師該了解哪些事情
近幾年來，大數據養精蓄銳，從剛開始的無人談及，到現在的盛行談論，就這樣走進了公眾的視野。什麼是大數據呢?對於數據分析師，它有意味著什麼?處在人人高談的大數據時代，數據分析師該了解哪些內容，本文將為您解答。
用Google搜索了一下「BigData」，得到了19,600,000個結果……而使用同樣的詞語，在兩年前你幾乎搜索不到什麼內容，而現在大數據的內容被大肆宣傳，內容多得讓人眼花繚亂。而這些內容主要是來自IBM、麥肯錫和O』Reilly ，大多數文章都是基於營銷目的的誇誇其談，對真實的情況並不了解，有些觀點甚至是完全錯誤的。我問自己…… 大數據之於數據分析師，它意味著什麼呢?如下圖所示，谷歌趨勢顯示，與「網站分析」(web analytics)和」商業智能」(business intelligence)較為平穩的搜索曲線相比，「大數據」(big data)的搜索量迎來了火箭式的大幅度增長。
被神話的大數據
Gartner把「大數據」的發展階段定位在「社交電視」和「移動機器人」之間，正向著中部期望的高峰點邁進，而現在是達到較為成熟的階段前的二至五年。這種定位有著其合理性。各種奏唱著「大數據」頌歌的產品數量正在迅速增長，大眾媒體也進入了「大數據」主題的論辯中，比如紐約時報的「大數據的時代「，以及一系列在福布斯上發布的題為」 大數據技術評估檢查表「的文章。
進步的一面體現在
，大數據的概念正在促使內部組織的文化發生轉變，對過時的「商務智能」形成挑戰，並促進了「分析」意識的提升。
基於大數據的創新技術可以很容易地被應用到類似數據分析的各種環境中。值得一提的是，企業組織通過應用先進的業務分析，業務將變得更廣泛、更復雜，價值也更高，而傳統的網站分析受到的關注將會有所減弱。
大數據的定義
什麼是「大數據」，目前並沒有統一的定義。維基網路提供的定義有些拙劣，也不完整：「 大數據，指的是所涉及的數據量規模巨大到無法通過主流的工具，在合理的時間內擷取、管理、處理、並整理成為人們所能解讀的信息 「。
IBM 提供了一個充分的簡單易懂的概述：
大數據有以下三個特點：大批量(Volume)、高速度(Velocity)和多樣化(Variety) 。 大批量 – 大數據體積龐大。企業里到處充斥著數據，信息動不動就達到了TB級，甚至是PB級。 高速度 – 大數據通常對時間敏感。為了最大限度地發揮其業務價值，大數據必須及時使用起來。 多樣化 – 大數據超越了結構化數據，它包括所有種類的非結構化數據，如文本、音頻、視頻、點擊流、日誌文件等等都可以是大數據的組成部分。 MSDN的布萊恩·史密斯在IBM的基礎上增加了第四點： 變異性 – 數據可以使用不同的定義方式來進行解釋。不同的問題需要不同的闡釋。
從技術角度看大數據
大數據包括了以下幾個方面：數據採集、存儲、搜索、共享、分析和可視化，而這些步驟在商務智能中也可以找到。在皮特·沃登的「 大數據詞彙表 「中，囊括了60種創新技術，並提供了相關的大數據技術概念的簡要概述。
獲取 ：數據的獲取包括了各種數據源、內部或外部的、結構化或非結構化的數據。「大多數公共數據源的結構都不清晰，充滿了噪音，而且還很難獲得。」 技術： Google Refine、Needlebase、ScraperWiki、BloomReach 。
序列化：「你在努力把你的數據變成有用的東西，而這些數據會在不同的系統間傳遞，並可能存儲在不同節點的文件中。這些操作都需要某種序列化，因為數據處理的不同階段可能需要不同的語言和API。當你在處理非常大量的記錄時，該如何表示和存儲數據，你所做的選擇對你的存儲要求和性能將產生巨大影響。 技術： JSON、BSON、Thrift、Avro、Google Protocol Buffers 。
存儲 ：「大規模的數據處理操作使用了全新的方式來訪問數據，而傳統的文件系統並不適用。它要求數據能即時大批量的讀取和寫入。效率優先，而那些有助於組織信息的易於用戶使用的目錄功能可能就顯得沒那麼重要。因為數據的規模巨大，這也意味著它需要被存儲在多台分布式計算機上。「 技術： Amazon S3、Hadoop分布式文件系統 。
伺服器 ：「雲」是一個非常模糊的術語，我們可能對它所表示的內容並不很了解，但目前在計算資源的可用性方面已有了真正突破性的發展。以前我們都習慣於購買或長期租賃實體機器，而現在更常見的情況是直接租用正運行著虛擬實例的計算機來作為伺服器。這樣供應商可以以較為經濟的價格為用戶提供一些短期的靈活的機器租賃服務，這對於很多數據處理應用程序來說這是再理想不過的事情。因為有了能夠快速啟動的大型集群，這樣使用非常小的預算處理非常大的數據問題就可能成為現實。「 技術： Amazon EC2、Google App Engine、Amazon Elastic Beanstalk、Heroku 。
NoSQL：在IT行為中，NoSQL(實際上意味著「不只是SQL」)是一類廣泛的資料庫管理系統，它與關系型資料庫管理系統(RDBMS)的傳統模型有著一些顯著不同，而最重要的是，它們並不使用SQL作為其主要的查詢語言。這些數據存儲可能並不需要固定的表格模式，通常不支持連接操作，也可能無法提供完整的ACID(原子性—Atomicity、一致性—Consistency、隔離性—Isolation、持久性—Durability)的保證，而且通常從水平方向擴展(即通過添加新的伺服器以分攤工作量，而不是升級現有的伺服器)。 技術： Apache Hadoop、Apache Casandra、MongoDB、Apache CouchDB、Redis、BigTable、HBase、Hypertable、Voldemort 。
處理 ：「從數據的海洋中獲取你想要的簡潔而有價值的信息是一件挑戰性的事情，不過現在的數據系統已經有了長足的進步，這可以幫助你把數據集到轉變成為清晰而有意義的內容。在數據處理的過程中你會遇上很多不同的障礙，你需要使用到的工具包括了快速統計分析系統以及一些支持性的助手程序。「 技術： R、Yahoo! Pipes、Mechanical Turk、Solr/ Lucene、ElasticSearch、Datameer、Bigsheets、Tinkerpop 。 初創公司： Continuuity、Wibidata、Platfora 。
MapRece ：「在傳統的關系資料庫的世界裡，在信息被載入到存儲器後，所有的數據處理工作才能開始，使用的是一門專用的基於高度結構化和優化過的數據結構的查詢語言。這種方法由Google首創，並已被許多網路公司所採用，創建一個讀取和寫入任意文件格式的管道，中間的結果橫跨多台計算機進行計算，以文件的形式在不同的階段之間傳送。「 技術： Hadoop和Hive、Pig、Cascading、Cascalog、mrjob、Caffeine、S4、MapR、Acunu、Flume、Kafka、Azkaban、Oozie、Greenplum 。
自然語言處理 ：「自然語言處理(NLP)……重點是利用好凌亂的、由人類創造的文本並提取有意義的信息。」 技術： 自然語言工具包Natural Language Toolkit、Apache OpenNLP、Boilerpipe、OpenCalais。
機器學習：「機器學習系統根據數據作出自動化決策。系統利用訓練的信息來處理後續的數據點，自動生成類似於推薦或分組的輸出結果。當你想把一次性的數據分析轉化成生產服務的行為，而且這些行為在沒有監督的情況下也能根據新的數據執行類似的動作，這些系統就顯得特別有用。亞馬遜的產品推薦功能就是這其中最著名的一項技術應用。「 技術： WEKA、Mahout、scikits.learn、SkyTree 。
可視化 ：「要把數據的含義表達出來，一個最好的方法是從數據中提取出重要的組成部分，然後以圖形的方式呈現出來。這樣就可以讓大家快速探索其中的規律而不是僅僅籠統的展示原始數值，並以此簡潔地向最終用戶展示易於理解的結果。隨著Web技術的發展，靜態圖像甚至互動式對象都可以用於數據可視化的工作中，展示和探索之間的界限已經模糊。「 技術： GraphViz、Processing、Protovis、Google Fusion Tables、Tableau 。
大數據的挑戰
最近舉行的世界經濟論壇也在討論大數據，會議確定了一些大數據應用的機會，但在數據共用的道路上仍有兩個主要的問題和障礙。
1.隱私和安全
正如Craig & Ludloff在「隱私和大數據「的專題中所提到的，一個難以避免的危機正在形成，大數據將瓦解並沖擊著我們生活的很多方面，這些方麵包括私隱權、政府或國際法規、隱私權的安全性和商業化、市場營銷和廣告……試想一下歐盟的cookie法規，或是這樣的一個簡單情景，一個公司可以輕易地在社交網路上收集各種信息並建立完整的資料檔案，這其中包括了人們詳細的電子郵箱地址、姓名、地理位置、興趣等等。這真是一件嚇人的事情!
2.人力資本
麥肯錫全球研究所的報告顯示 ，美國的數據人才的缺口非常大，還將需要140,000到190,000個有著「深度分析」專業技能的工作人員和1.500個精通數據的經理。尋找熟練的「網站分析」人力資源是一個挑戰，另外，要培養自己的真正擁有分析技能的人員，需要學習的內容很多，這無疑是另一個大挑戰。
大數據的價值創造
很多大數據的內容都提及了價值創造、競爭優勢和生產率的提高。要利用大數據創造價值，主要有以下六種方式。
透明度 ：讓利益相關人員都可以及時快速訪問數據。實驗 ：啟用實驗以發現需求，展示不同的變體並提升效果。隨著越來越多的交易數據以數字形式存儲，企業可以收集更准確、更詳細的績效數據。決策支持 ：使用自動化演算法替換/支持人類決策，這可以改善決策，減少風險，並發掘被隱藏的但有價值的見解。創新 ：大數據有助於企業創造出新的產品和服務，或提升現有的產品和服務，發明新的商業模式或完善原來的商業模式。細分 ：更精細的種群細分，可以帶來不同的自定義行為。
工業領域的增長 ：有了足夠的和經過適當培訓的人力資源，那些重要的成果才會成為現實並產生價值。
數據分析的機會領域
當「網站分析」發展到「數據智能「，毫無疑問，數據分析人員也工作也應該發生一些轉變，過去的工作主要是以網站為中心並制定渠道的具體戰術，而在將來則需要負責更具戰略性的、面向業務和(大)數據專業知識的工作。
數據分析師的主要關注點不應該是較低層的基礎設施和工具開發。以下幾點是數據分析的機會領域：
處理：掌握正確的工具以便可以在不同條件下(不同的數據集、不同的業務環境等)進行高效的分析。目前網站分析專家們最常用的工具無疑是各類網站分析工具，大多數人並不熟悉商業智能和統計分析工具如Tableau、SAS、Cognos等的使用。擁有這些工具的專業技能將對數據分析人員的發展大有好處。
NLP：學習非結構化數據分析的專業技能，比如社交媒體、呼叫中心日誌和郵件的數據多為非結構化數據。從數據處理的角度來看，在這個行業中我們的目標應該是確定和掌握一些最合適的分析方法和工具，無論是社會化媒體情感分析還是一些更復雜的平台。
可視化 ：掌握儀錶板的展示技能，或者寬泛點來說，掌握數據可視化的技術是擺在數據分析師面前一個明顯的機會(註：不要把數據可視化與現在網路營銷中常用的「信息圖」infographics相混淆)。
行動計劃
在大數時代，其中一個最大的挑戰將是滿足需求和技術資源的供給。當前的「網站分析」的基礎普遍並不足夠成熟以支持真正的大數據的使用，填補技能差距，越來越多的「網站分析師」將成長為「數據分析師」。

② 大數據分析一般用什麼工具分析

首先我們要了解java語言和Linux操作系統，這兩個是學習大數據的基礎，學習的順序不分前後。樓主是JAVA畢業的，這無疑是極好的開頭和奠基啊，可謂是贏在了起跑線上，接收和吸收大數據領域的知識會比一般人更加得心應手。
Java ：只要了解一些基礎即可，做大數據不需要很深的Java 技術，學java SE 就相當於有學習大數據。基礎
Linux：因為大數據相關軟體都是在Linux上運行的，所以Linux要學習的扎實一些，學好Linux對你快速掌握大數據相關技術會有很大的幫助，能讓你更好的理解hadoop、hive、hbase、spark等大數據軟體的運行環境和網路環境配置，能少踩很多坑，學會shell就能看懂腳本這樣能更容易理解和配置大數據集群。還能讓你對以後新出的大數據技術學習起來更快。
好說完基礎了，再說說還需要學習哪些大數據技術，可以按我寫的順序學下去。
Hadoop：這是現在流行的大數據處理平台幾乎已經成為大數據的代名詞，所以這個是必學的。Hadoop裡麵包括幾個組件HDFS、MapRece和YARN，HDFS是存儲數據的地方就像我們電腦的硬碟一樣文件都存儲在這個上面，MapRece是對數據進行處理計算的，它有個特點就是不管多大的數據只要給它時間它就能把數據跑完，但是時間可能不是很快所以它叫數據的批處理。
記住學到這里可以作為你學大數據的一個節點。
Zookeeper：這是個萬金油，安裝Hadoop的HA的時候就會用到它，以後的Hbase也會用到它。它一般用來存放一些相互協作的信息，這些信息比較小一般不會超過1M，都是使用它的軟體對它有依賴，對於我們個人來講只需要把它安裝正確，讓它正常的run起來就可以了。
Mysql：我們學習完大數據的處理了，接下來學習學習小數據的處理工具mysql資料庫，因為一會裝hive的時候要用到，mysql需要掌握到什麼層度那?你能在Linux上把它安裝好，運行起來，會配置簡單的許可權，修改root的密碼，創建資料庫。這里主要的是學習SQL的語法，因為hive的語法和這個非常相似。
Sqoop：這個是用於把Mysql里的數據導入到Hadoop里的。當然你也可以不用這個，直接把Mysql數據表導出成文件再放到HDFS上也是一樣的，當然生產環境中使用要注意Mysql的壓力。
Hive：這個東西對於會SQL語法的來說就是神器，它能讓你處理大數據變的很簡單，不會再費勁的編寫MapRece程序。有的人說Pig那?它和Pig差不多掌握一個就可以了。
Oozie：既然學會Hive了，我相信你一定需要這個東西，它可以幫你管理你的Hive或者MapRece、Spark腳本，還能檢查你的程序是否執行正確，出錯了給你發報警並能幫你重試程序，最重要的是還能幫你配置任務的依賴關系。我相信你一定會喜歡上它的，不然你看著那一大堆腳本，和密密麻麻的crond是不是有種想屎的感覺。
Hbase：這是Hadoop生態體系中的NOSQL資料庫，他的數據是按照key和value的形式存儲的並且key是唯一的，所以它能用來做數據的排重，它與MYSQL相比能存儲的數據量大很多。所以他常被用於大數據處理完成之後的存儲目的地。
Kafka：這是個比較好用的隊列工具，隊列是干嗎的?排隊買票你知道不?數據多了同樣也需要排隊處理，這樣與你協作的其它同學不會叫起來，你干嗎給我這么多的數據(比如好幾百G的文件)我怎麼處理得過來，你別怪他因為他不是搞大數據的，你可以跟他講我把數據放在隊列里你使用的時候一個個拿，這樣他就不在抱怨了馬上灰流流的去優化他的程序去了，因為處理不過來就是他的事情。而不是你給的問題。當然我們也可以利用這個工具來做線上實時數據的入庫或入HDFS，這時你可以與一個叫Flume的工具配合使用，它是專門用來提供對數據進行簡單處理，並寫到各種數據接受方(比如Kafka)的。
Spark：它是用來彌補基於MapRece處理數據速度上的缺點，它的特點是把數據裝載到內存中計算而不是去讀慢的要死進化還特別慢的硬碟。特別適合做迭代運算，所以演算法流們特別稀飯它。它是用scala編寫的。Java語言或者Scala都可以操作它，因為它們都是用JVM的。

③ 大數據攻略案例分析及結論

大數據攻略案例分析及結論

我們將迎來一個「大數據時代」。與變化相始終的中國企業，距離這場革命還有多遠？而追上領先者又需要多快的步伐？

｛研究結論｝

■大數據營銷的本質是一個影響消費者購物前心理路徑的問題，而這在大數據時代前很難做到。

■對於傳統企業而言，要打通線上與線下營銷，實現新的商業模式，如O2O等，離不開大數據。

■雖然大數據應用往往集中於大數據營銷，但對於一些企業，大數據的應用早已超越了營銷范疇，全面進入了企業供應鏈、生產、物流、庫存、網站和店內運營等各個環節。

■對於大部分企業，由於數據分析人員與業務人員之間的彼此視角與思考方向不同，大數據分析和運營之間存在脫節情況，這是大數據無法用於企業運營最大的阻力

■對於大多數互聯網公司來說，大數據量、大用戶量是一個相互促進，強者越強的循環過程。

■對於大型互聯網平台，大數據已經成為其生態循環中的血液，對於這些企業，最重要

的不是如何利用大數據改進自身運營，而是利用大數據更好地繁榮平台生態。

■對於平台企業，它們的大數據策略正逐漸從大數據運營，向運營大數據轉變，前者和

後者的差別在於，前者只是運營改進的動力，而後者則成為企業實現未來戰略的核心資源。

我們都已被反復告知：我們將迎來一個「大數據時代」。

大數據應用，將和雲計算、3D列印這些技術變革一樣，顛覆既有規則，並成為先行企業的制勝關鍵。

與變化相始終的中國企業，距離這場革命還有多遠？而追上領先者又需要多快的步伐？

來自於互聯網、移動互聯網、物聯網感測器、視頻採集系統的數據正海量增長，匯成大數據的海洋，相伴的是海量數據存儲、分析技術的突破性發展，所有這一切都給企業的應用帶來了無限可能性。

中國企業家研究院對當前中國企業大數據應用的狀況進行了歸納分類，以幫助企業了解實際應用大數據時的困局難點，並提供領先企業的典型案例以資借鑒。

表1

表2

大數據運營—企業提升效率的助推力

對於大多數企業而言，運營領域的應用是大數據最核心的應用，之前企業主要使用來自生產經營中的各種報表數據，但隨著大數據時代的到來，來自於互聯網、物聯網、各種感測器的海量辯笑虧數據撲面而至。於是，一些企業開始挖掘和利用這些數據，來推動運營效率的提升。大數據運營應用中，大數據的應用分為三類：用於企業外部營銷、用於內部運營，以及用於領導層決策。

一、大數據營銷

大數據營銷的本質是影響目標消費者購物前的心理路徑，它主要應用在三個方面：1、大數據渠道優化，2、精準營銷信息推送，3、線上與線下營銷的連接。在消費者購物前，通過各種方式，直接介入其信息收集和決策過程。而這種介入，是建立在對於線上與線下海量用戶數據分析的基礎之上。相比傳統狂轟濫炸或等客上門的營銷，大數據營銷無論在主動性和精準性方面，都有非常大的優勢。它是目前主要的大數據應用領域。

大數據營銷不僅僅是用大數據找出目標顧客，向其發布促銷信息，它還可以做到：

實現渠道優化。根據用戶的互聯網痕跡進行渠道營銷效果優化，就是根據互聯網上顧客的行為軌跡來找出哪個營銷渠道的顧客來源最多，哪個來源顧客實際購買量最多，是否是目標顧客等等，從而調整營銷資源在各個渠道的投放。例如東風日產，它利用對顧客來源的追蹤，來改進營銷資源在各個網路渠道如門戶網站、搜索和微博的投放。

精準營銷信息攜神推送。精準建立在對海量消費者的行為分析基礎之上，消費者網路瀏覽、搜索行為被網路留下，線下的購買和查看等行為可以被門店的POS機和視頻監控記錄，再加上他們在購買和注冊過程中留下的身份信息，在商家面前，正逐漸呈現出消費者信息的海洋。

一些企業通過收集海量的消費者信息，然後利用大數據建模技術，按消費者屬升猛性（如所在地區、性別）和興趣、購買行為等維度，挖掘目標消費者，然後進行分類，再根據這些，對個體消費者進行營銷信息推送。比如孕婦裝品牌十月媽咪通過對自己微博上粉絲評論的大數據分析，找出評論有「喜愛」相關關鍵詞的粉絲，然後打上標簽，對其進行營銷信息推送。京東商城副總經理李曦表示：「用大數據找出不同細分的顧客需求群，然後進行相應的營銷，是京東目前在做的事情。」小也化妝品將自身網站作為收集消費者信息的雷達，對不同消費者推薦相應的肌膚解決方案，創始人肖尚略希望在未來，大數據營銷能替代網站的作用，真正成為面向顧客的前端。

打通線上線下營銷。一些企業將互聯網上海量消費者的行為痕跡數據與線下購買數據打通，實現了線上與線下營銷的協同。比如東風日產，線上與線下的協同營銷方式為：其門戶網站帶來訂單線索，而通過這些線索，服務人員進行電話回訪，從而推動顧客在線下交易。在此過程中，東風日產記錄了消費者進入、瀏覽、點擊、注冊、電話回訪和購買各個環節的數據，實現了一個橫跨線上線下，以大數據分析為支持的，營銷效果不斷優化的閉環營銷通路。而國雙科技，衡量某一地區線下促銷活動的效果，就是看互聯網上，來自這個地區對於促銷內容的搜索量。一些企業，通過鼓勵線下顧客使用微信和Wi-Fi等可追蹤消費者行為和喜好的設備，來打通線上與線下數據流，銀泰百貨計劃鋪設Wi-Fi，鼓勵顧客在商場內使用，然後根據Wi-Fi賬號，找出這個顧客，再通過與其它大數據挖掘公司合作，以大數據的手段，發掘這個顧客在互聯網的歷史痕跡，來了解這個顧客的需求類型。

二、大數據用於內部運營

相比大數據營銷，大數據在內部運營中的應用更深入，對於企業內部的信息化水平，以及數據採集和分析能力的要求更高。本質上，是將企業外部海量消費者數據與企業內部海量運營數據聯系起來，在分析中得到新的洞察，提升運營效率。（詳見P96表5：大數據在內部運營中的應用）

表5

三、大數據用於決策

在大數據時代，企業面對眾多新的數據源和海量數據，能否基於對這些數據的洞察，進行決策，進而將其變成一項企業競爭優勢的來源？同大數據營銷和大數據內部運營相比，運用大數據決策難度最高，因為它需要一種依賴數據的思維習慣。

已有少數企業開始嘗試。比如國內一些金融機構在推出一個金融產品時，會廣泛分析該金融產品的應用情況和效果、目標顧客群數據、各種交易數據和定價數據等，然後決定是否推出某個金融產品。

但是，中國企業家研究院在調研中發現，目前中國企業當中，大數據決策的應用非常之少，許多企業領導者進行決策時，仍習慣於憑借歷史經驗和直覺。

大數據產品——企業利潤滋長的新源泉

大數據除了用於運營外，還能夠與企業產品結合，成為企業產品背後競爭力的核心支持或者直接成為產品。提供大數據產品的企業分為兩類，直接提供大數據產品的企業，以及將大數據作為產品和服務核心支撐的企業。前者主要為大數據產業鏈中提供數據服務的參與者，包括數據擁有者、存儲企業，挖掘企業、分析企業等，後者則主要是那些以大數據為產品核心支撐的企業，它們大多是互聯網企業，其產品和服務先天就有大數據基因，這些企業包括搜索引擎、在線殺毒、互聯網廣告交易平台以及眾多植根於移動互聯網之上，為用戶提供生活和資訊服務的APP等。

表3

表4

一、大數據作為產品核心支持

它們主要在以下幾方面使用大數據：

1、提供信息服務。很多互聯網企業通過對海量互聯網信息和線下信息的整合和分析，為個人和企業提供信息服務，典型的如網路、去哪兒、一淘、高德地圖、春雨醫生等等。在美國，一些互聯網企業甚至根據大數據提供更深度的預測信息服務，美國科技創新公司farecast，通過分析特定航線機票的價格，幫助消費者預測機票價格走勢。

2、分析用戶的個性化需求，藉此提供個性化產品和服務，或者實現更精準的廣告。典型的有移動社交工具陌陌、網路、騰訊、廣告交易平台品友互動以及一些互聯網游戲商。這種應用往往先是收集海量用戶的互聯網行為數據，將用戶分類，根據不同類型的用戶，提供個性化的產品，或者提供個性化的促銷信息。比如網易等門戶網站推出了訂閱模式，讓使用者按照個人喜好方便地定製和整合不同來源的信息。

3、增強產品功能。對於很多互聯網產品，如殺毒軟體、搜索引擎等等，海量數據的處理能夠讓產品變得更聰明更強大，如果沒有大數據，產品的功能就大大減弱。比如奇虎360公司的360殺毒軟體，憑借每天海量的殺毒處理，建立了龐大的病毒庫，這使它能夠更快地發現病毒，而一些小的殺毒軟體公司則無法做到這一點。

4、掌控信用狀況，提供信貸服務。阿里巴巴上匯集了海量中小企業的日常資金與貨品往來，通過對這些往來數據的匯總與分析，阿里巴巴能發現單個企業的資金流與收入情況，分析其信用，找出異常情況與可能發生的欺詐行為，控制信貸風險。

5、實現智能匹配。婚戀網站、交易平台等，利用大數據可以進行精準而高效的配對服務。網易花田會挖掘用戶行為數據，比如點擊哪些異性的頁面，發表什麼樣的評論，建立用戶興趣模型，從而挖掘到用戶所期待另一半的類型，然後主動推薦與對方匹配度比較高的人選。2010年，阿里巴巴嘗試性地推出「輕騎兵」服務，由阿里巴巴將中國各產業集群地的供應商與海外買家的個性采購需求進行快速匹配，所憑借的，就是對供應商的海量交易數據信息的整合與挖掘。

二、大數據直接作為產品

對一些企業，大數據直接成為了產品，這些產品包括海量數據、分析、存儲與挖掘的服務等，目前大數據產業鏈正在形成過程中，出現了一批開放、出售、授權大數據和提供大數據分析、挖掘的公司和機構，前者主要是一些擁有海量數據的公司，將數據服務作為新的盈利來源。如大型的互聯網平台、民航、電信運營商、一些擁有大數據的政府機構等等，後者主要包括一些能夠存儲海量數據或者將海量數據與業務場景結合，進行分析和挖掘，或者提供相關產品的公司，如IBM、SAP、拓而思、天睿公司。它們為大數據應用者們提供海量數據存儲、數據挖掘、圖像視頻、智能分析等服務以及相關系統產品。

大數據平台——企業群落繁榮的滋養劑

而網路已建成了包括網路指數、司南、風雲榜、數據研究中心和網路統計在內的五大數據體系平台，幫助其營銷平台上的企業了解消費者行為、興趣變化，以及行業發展狀況、市場動態和趨勢、競爭對手動向等信息。

為解決這些問題，各個平台在積極地努力。比如阿里巴巴建立了數據委員會，在統一數據格式標准、從源頭上保證數據的質量，採集和加工出精細化的數據，確保其能符合平台企業的應用場景等方面，不遺餘力地嘗試。尤其在大數據精細化方面，阿里巴巴更是作為其大數據戰略的重點。這方面，騰訊目前也在加快步伐。比如新版騰訊網出現了「一鍵登錄」的提示，用戶可以在上面通過一些細分標簽，訂閱自己關注的內容。實際上，這也是騰訊收集更精細化的用戶興趣數據的一個有效手段。

Tips

大數據實戰手冊

將大數據應用於內部運營中時，企業會遇到一些常見問題

1企業如何獲取與分析數據？

互聯網是大數據的一個主要來源，一些線下的傳統企業很難獲得。但它們可以：

a和擁有或能抓取海量數據的平台、企業以及政府機構合作。比如淘寶上的電商就購買淘寶收集的海量數據中與自身運營相關的部分，用於自身業務。再如卡夫通過與IBM合作，在博客、論壇和討論版的內容中抓取了47.9萬條關於自己產品的討論信息，通過大數據分析出消費者對卡夫食品的喜愛程度和消費方式。

b建立自己在互聯網上的平台，比如朝陽大悅城利用自己的微信、微博等平台收集消費者評論數據。

c許多傳統企業沒有分析海量數據的能力，此時它們可以和大數據分析和挖掘公司合作，目前市場上已經有天睿公司、IBM、百分點、華勝天成等一批提供大數據分析和挖掘服務的公司，它們是傳統企業進行大數據分析可以藉助的力量。

2如何避免大數據應用時的部門分割？

對於許多企業，其信息流被各部門彼此分割，數據難以互通，對於這種情況下，大數據的共享和匯集就只是一個泡影，更難以實現大數據的深度應用。

要打通部門之間信息分割的局面，首先要建立統一的、集中的數據系統。就像立白信息與知識總監王永紅所說的，「要真正用好大數據，企業要採用大集中的信息系統。」從更深入的角度來談，企業信息流的部門分割，更在於企業部門之間的分割，比如有一些企業的營銷按照渠道分割，導致對於顧客的大數據收集和分析效果大打折扣。

IBM智慧商務技術總監楊旭青認為，「很多時候由於組織結構問題，大數據分析有效性大大降低了。」這就需要組織與流程層面的重新設計，在這方面，阿里巴巴的部門負責人輪崗制度，對於打破部門壁壘無疑是一劑好葯。而一些企業為了打破部門分割，建立了矩陣型的組織結構，強化部門間的橫向合作，這些無疑為大數據的匯集、共享與應用創造了良好條件。

3如何讓業務人員重視大數據的應用？

解決這個問題，一方面在於一把手對整個企業數據文化的倡導，比如1號店董事長於剛就要求業務人員無論在開會，還是匯報工作時，都以數據說話，而馬雲更是將大數據提升到了戰略高度。

另一方面，也在於數據部門的帶動，阿里巴巴數據委員會負責人車品覺分享了經驗，「因為運營部門的業務人員很難看到大數據的潛力，可以首先從一些對業務見效快，見效顯著的數據項目出發，通過一兩個項目的成功，調動對方的積極性，然後再逐步一個個地引導。」

4為何大數據工作與運營需求脫節？

這往往是由於數據人員與業務人員視角、專業知識不同而導致的。大數據人員做了很多努力，但是業務人員卻認為這些努力無關痛癢。如何解決這個問題？

有的企業從組織設計上發力，將大數據納入業務分析部門的管理之下，用業務統馭數據。對於朝陽大悅城，由主要負責戰略和經營分析的部門來管理大數據工作，其中的大數據分析人員則作為支持人員。在負責人張岩看來，大數據要靠商業法則指導，關鍵是找到業務需求的點，然後由數據分析和挖掘人員實現。在具體操作中，大悅城對微信的數據挖掘，挖掘什麼樣的關鍵詞，由業務分析人員確定，而具體挖掘則由數據部門做；有的企業從流程設計上著手，推動業務部門與數據部門人員之間的溝通，建立數據人員工作與效果掛鉤的考核機制。

例如阿里巴巴根據數據挖掘的成效（比如帶來的商品轉化率的提升）來考核數據挖掘師，考核數據分析師則看其分析結果能否出現在經營負責人的報告中。從數據部門自身角度則需要降低運營部門使用數據的障礙和門檻，比如立白集團的數據人員會努力嘗試向運營部門提供更易懂、更生動的圖形化數據分析界面，在立白老闆辦公室上，就有一份「客戶運營健康體檢表」，讓老闆對全國經銷商的當月銷售情況一目瞭然。再如阿里巴巴開發的無線Bi，讓經營人員在手機上也可以看到大數據分析結果，拿車品覺的話說，「以數據之氧氣包圍經營人員。」

④ 大數據分析網站有哪些

數據熊貓(數據分析學習交流社區)數據熊貓社區是一個討論大數據、數據分析、數據挖掘、統計分析軟體(Excel、SPSS、SAS、hadoop等)商業智能、數據化管理、數據可視化等技術的愛好者...

36大數據(36大數據 | 關注大數據和大數據應用)36大數據是一個專注大數據、大數據技術與應用、大數據學習的科技門戶。講述大數據在電商、移動互聯網、醫療、APP及金融銀行的大數據應用案例。

統計之都(統計之都 (Capital of Statistics))中國統計學門戶網站，免費統計學服務平台 | 做正直的統計學網站。

⑤ 如何正確進行數據分析

大數據分析處理解決方案

方案闡述

每天，中國網民通過人和人的互動，人和平台的互動，平台與平台的互動，實時生產海量數據。這些數據匯聚在一起，就能夠獲取到網民當下的情緒、行為、關注點和興趣點、歸屬地、移動路徑、社會關系鏈等一系列有價值的信息。

數億網民實時留下的痕跡，可以真實反映當下的世界。微觀層面，我們可以看到個體們在想什麼，在干什麼，及時發現輿情的弱信號。宏觀層面，我們可以看到當下的中國正在發生什麼，將要發生什麼，以及為什麼？藉此可以觀察輿情的整體態勢，洞若觀火。

原本分散、孤立的信息通過分析、挖掘具有了關聯性，激發了智慧感知，感知用戶真實的態度和需求，輔助政府在智慧城市，企業在品牌傳播、產品口碑、營銷分析等方面的工作。

所謂未雨綢繆，防患於未然，最好的輿情應對處置莫過於讓輿情事件不發生。除了及時發現問題，大數據還可以幫我們預測未來。具體到輿情服務，輿情工作人員除了對輿情個案進行數據採集、數據分析之外，還可以通過大數據不斷增強關聯輿情信息的分析和預測，把服務的重點從單純的收集有效數據向對輿情的深入研判拓展，通過對同類型輿情事件歷史數據，及影響輿情演進變化的其他因素進行大數據分析，提煉出相關輿情的規律和特點。

大數據時代的輿情管理不再局限於危機解決，而是梳理出危機可能產生的各種條件和因素，以及從負面信息轉化成輿情事件的關鍵節點和衡量指標，增強我們對同類型輿情事件的認知和理解，幫助我們更加精準的預測未來。

用大數據引領創新管理。無論是政府的公共事務管理還是企業的管理決策都要用數據說話。政府部門在出台社會規范和政策時，採用大數據進行分析，可以避免個人意志帶來的主觀性、片面性和局限性，可以減少因缺少數據支撐而帶來的偏差，降低決策風險。通過大數據挖掘和分析技術，可以有針對性地解決社會治理難題；針對不同社會細分人群，提供精細化的服務和管理。政府和企業應建立資料庫資源的共享和開放利用機制，打破部門間的「信息孤島」，加強互動反饋。通過搭建關聯領域的資料庫、輿情基礎資料庫等，充分整合外部互聯網數據和用戶自身的業務數據，通過數據的融合，進行多維數據的關聯分析，進而完善決策流程，使數據驅動的社會決策與科學治理常態化，這是大數據時代輿情管理在服務上的延伸。

解決關鍵

如何能夠快速的找到所需信息，採集是大數據價值挖掘最重要的一環，其後的集成、分析、管理都構建於採集的基礎，多瑞科輿情數據分析站的採集子系統和分析子系統可以歸類熱點話題列表、發貼數量、評論數量、作者個數、敏感話題列表自動摘要、自動關鍵詞抽取、各類別趨勢圖表；在新聞類報表識別分析歸類：標題、出處、發布時間、內容、點擊次數、評論人、評論內容、評論數量等；在論壇類報表識別分析歸類：帖子的標題、發言人、發布時間、內容、回帖內容、回帖數量等。

解決方案

多瑞科輿情數據分析站系統擁有自建獨立的大數據中心，伺服器集中採集對新聞、論壇、微博等多種類型互聯網數據進行7*24小時不間斷實時採集，具備上千億數據量的數據索引、挖掘分析和存儲能力，支撐政府、企業、媒體、金融、公安等多行業用戶的輿情分析雲服務。因此多瑞科輿情數據分析站系統在這方面有著天然優勢，也是解決信息數量和信息（有價值的）獲取效率之間矛盾的唯一途徑，系統利用各種數據挖掘技術將產生人工無法替代的效果，為市場調研工作節省巨大的人力經費開支。

⑥ 如何運用大數據

我們如何使用大數據？
第一點，明確數據分析的目的
首先，您必須知道手中的數據要怎麼處理，這意味著您需要清楚需求以及要從數據中獲取什麼。讓我們以產品經理為例。當許多產品經理設計自己的產品時，他們可能會花費大量時間來設計產品，但是他們忽略了該產品是否可以成功。這很難滿足客戶的需求。因此，如果要最大化自己的數據的價值，則必須事先考慮要執行的操作。

第二點，必須擴大數據收集方式
關於數據收集，通常有四種方法。它們是從外部行業數據分析報告（例如iResearch）獲得的；積極從社區論壇（如AppStore，客戶服務反饋和微博）收集用戶反饋；參加問卷調查設計和用戶訪談等調查，收集並觀察用戶在使用產品時遇到的問題和感受的第一手數據；從記錄的用戶行為軌跡研究數據。

⑦ 人類進入數據化生存時代 大數據蘊含大價值

人類進入數據化生存時代 大數據蘊含大價值_數據分析師考試

移動互聯技術的普及，將每一個人都納入到互聯網之中，並隨之產生海量的數據。那麼，這些數據意味著什麼，對人類有何價值？這就是當前計算機領域最熱門的「大數據」研究。10月20日，中國計算機學會大數據專家委員會成立，在隨後的「大數據」論壇上，與會嘉賓認為，人類已經進入了一個「數據化生存」的時代，「大數據」中蘊含著巨大的價值，並且已經在日常生活中發揮著潛移默化的作用。

據經濟之聲《天下財經》報道，「數據」是什麼？數據就是資源，它像空氣和水、石油和煤炭一樣，就在你的周圍自然而然的存在著，你每一次點擊滑鼠，每一次刷卡消費，其實就已經參與到了數據的生成，可以說，每一個人既是數字的生產者，也是數據的消費者。英國帝國理工學院教授、海量數據分析專家郭毅可就是這種理念的堅定支持者。

郭毅可：以前數據不是人類的資源，現在數據是一種自然資源，和水、油、氣一樣，沒有數據不能生活，這就是數據。

其實，數據一直存在，但為什麼現在人們會如此重視它？美國羅格斯－新澤西州立大學商學院教授熊暉認為，這是因為當前的技術手段為「大數據」的收集和分析提供了保障。

熊暉：現在這個大數據，我們第一次有了這么精細的觀測手段，比如說，以前我們不可能知道每一個人的地理信息，現在我可以非常精細的知道你每時每刻在什麼地方出現，然後就可以產生非常精細化的數據，可以用來描述人、社會和整個環境的行為，這些東西我們了解的更深了，可以幫助我們減少社會的復雜度。

今年3月，美國奧巴馬政府宣布了「大數據研究和發展計劃」，並設立了2億美元的啟動資金，希望增強收集海量數據、分析萃取信息的能力，認為這事關美國的國家安全和未來競爭力，鼓勵大學培養下一代的「大數據科學家」。

如果拋開政府行為，「大數據」分析其實早已經在商業領域大顯身手。金蝶國際軟體集團首席科學家張良傑介紹，他們參與搭建的全國中小企業信息平台，上面匯集了4000萬家企業，通過對這些企業海量數據的挖掘和分析，能夠對經濟運行狀況做出准確的預警，有助於國家相關部門做出應對決策。此外，張良傑還舉例說，在微觀經濟領域，「大數據」的作用也越發凸顯。

張良傑：(美國一家公司)把天氣預報的信息和數據，利用跟天氣相關的大數據，在亞馬遜的雲平台上做處理，然後可以幫助農業的種植者能夠很好地保障他們的收益。另外一個領域就是在企業的管理上，大數據可以幫助他們做決策。

在金融領域，「大數據分析」早已經成為一種流派，在美國華爾街，對沖基金、股票分析、高頻數據交易等領域，數據分析師都是最搶手的人才；在中國，阿里巴巴旗下的金融業務，也開始利用電子商務數據來發放「信用貸款」，發展勢頭迅猛。

中科院虛擬經濟與數據科學研究中心副主任石勇，是人民銀行徵信系統的建立者之一，他介紹，「徵信系統」也是大數據的一種應用，是一個國家金融業務開展的基礎。

石勇：在座的每一個人在銀行做的任何事，包括在ATM上取錢，數據都在裡面，現在各個商業銀行都在用你們的信用評分(這個模型就是我們算出來的)來做貸款處理，這個重要性就不用講了，美國引發次貸危機的三大指標之一就是信用評分，我們連信用評分都沒有，怎麼把經濟工作搞好？

還有學者預測，誰擁有了數據以及對數據的發掘能力，誰就將佔領下一個十年全球經濟發展的制高點。但是目前，我國大數據應用剛剛起步，基於大數據的商業模式還在萌芽階段，從需求來看，很多產業對大數據的使用還沒有意識，而供給一方，由於技術和人才儲備上的落後，也缺乏深厚的數據分析手段來支撐需求。

此外，在制度層面，中國工程院院士、中國計算機學會大數據專家委員會主任李國傑提醒，當前我國大量的基礎數據掌握在政府部門手中，今後要想不輸在起跑線上，政府部門就要有更開放的姿態分享手中的數據。

李國傑：政府部門的數據共享一直是個軟肋，國外有數據公開法等法律的規定，政府采購的信息要共享等等，相對來說執行的比價好，而中國由於部門的色彩(比較重)，這些大數據怎麼共享利用這是要解決的大問題，也呼籲政府要盡快實現數據的共享，實現數據的開發。

以上是小編為大家分享的關於人類進入數據化生存時代 大數據蘊含大價值的相關內容，更多信息可以關注環球青藤分享更多干貨

⑧ 一個企業，特別是電商類的，如何進行大數據分析

大數據不僅僅意味著數據大，最重要的是對大數據進行分析，只有通過分析才能獲取很多智能的、深入的、有價值的信息。下面介紹大數據分析的五個基本方面——
預測性分析能力：數據挖掘可以讓分析員更好地理解數據，而預測性分析可以讓分析員根據可視化分析和數據挖掘的結果做出一些預測性的判斷。
數據質量和數據管理：通過標准化的流程和工具對數據進行處理，可以保證一個預先定義好的高質量的分析結果。
可視化分析：不管是對數據分析專家還是普通用戶，數據可視化是數據分析工具最基本的要求，可視化可以直觀的展示數據，讓數據自己說話，讓觀眾聽到結果。
語義引擎：由於非結構化數據的多樣性帶來了數據分析的新的挑戰，我們需要一系列的工具去解析、提取、分析數據，語義引擎需要被設計成能夠從「文檔」中智能提取信息。
數據挖掘演算法：可視化是給人看的，數據挖掘就是給機器看的，集群、分割、孤立點分析還有其他的演算法讓我們深入數據內部，挖掘價值，這些演算法不僅要處理大數據的量，也要處理大數據的速度。
據我所知多瑞科輿情數據分析站大數據分析還可以。針對單個網站上的海量數據，無遺漏搜集整理歸檔，並且支持各種圖文分析報告；針對微博或網站或微信，活動用戶投票和活動用戶評論互動信息整理歸檔，統計分析精準預測製造新數據；針對某個論壇版塊數據精準採集，數據歸類，出分析報告，准確定位最新市場動態；針對某個網站監測用戶的操作愛好，評定最受歡迎功能；針對部分網站，做實時數據抽取，預警支持關注信息的最新擴散情況；針對全網數據支持定向採集，設置關鍵詞搜集數據，也可以劃分區域或指定網站搜集數據針對電商網站實時監測評論，歸類成文檔，支持出報告。
大數據會影響整個社會的發展，主要看是想要利用數據做什麼了