大數據分析黨

① 大數據分析師這個職業怎麼樣

近期成為月入兩萬的數據分析師的廣告遍地都是，可能會對一些未入行的同學造成錯覺。我個人感覺數據分析師這個崗位，可能近幾年會消亡。

這不意味著這份工作本身不重要，而是說這份工作本身可能會轉化為產品運營的一些必備技能，而不再需要單獨特設人力去做這件事。或者說，不是再需要你學習SQL或者學習python，只是為了成為一名數據分析師。作為一名數據分析師，職業自身的壁壘正在不斷消減，更加主動的擁抱業務，解決真正的產品和用戶需求，或將成為未來的發展趨勢。

數據分析師的日常舉亮亂工作

我們來看下預設中的分析師的一些工作場景，看看數據分析師核心的工作價值。

取數

數據清洗

數據可視化

統計分析

數據方向建設和規劃

數據報告

取數—SQL

很多人對數據分析師的預設是SQL達人，包括現在很多數據分析師的核心工作其實就是進行SQL取數。

這項工作的痛點和難點在於，我們為了得到一個結果，通常需要join很多的數據集，然後整個SQL語句就會寫的特別長，而且可能會出現一些問題：比如join的表可能會出現key是重復的情況，造成最終的SQL結果因為重復而變得不可用。所以我們需要專人去專門維護各種各樣的數據集，他們知道每張表應該怎麼用。

但這個其實是關系型資料庫遺留下來的產物——我們完全可以不需要join那麼多的表。現在的分布式計算的框架，已經完全可以支持我們只保留一張大寬表，有需要的所有欄位，然後所有的操作都在這張大寬表上進行，而且可以保證查詢速度。這樣數據分析最大的痛點已經沒有了。至於你說大寬表裡面存了很多重復的數據，是不是很浪費資源(關系型資料庫之所以不用大寬表就是從存儲空間和性能的trade-off角度考慮的)：放心，分布式存儲本身是不貴的，而計算效率則是由分布式計算框架進行專門優化的。現在的計算框架計算的響應速度，已經可以在大寬表上可以很快的得到結果了。相比之下，多次join操作反而可能會更慢一些。

同時，現在很多公司的NB框架，其實都已經支持拖拽取數了，也根本不需要寫SQL了。

此外，不得不說的一點是，SQL語句本身真的不難。可能如果你正檔自己靜下心來想學，一個周末的時間肯定能搞定。而資歷老的數據分析師，並不會比資歷輕的數據分析師，在SQL語句的寫作上有什麼本質的區別。以前可能還有一些小表join大表的trick，但現在計算框架大多都已經優化過這些了。所以即使是需要寫SQL的場景，本身也是沒有什麼難度的。

所以，通過大寬表來解放數據分析工作的生產力。即使在一定要寫SQL做join操作的時候，本身也不是一件壁壘特別高的事情。取數這件事兒，對於其他崗位的同學，就已經沒那麼復雜了。

數據清洗—Python

數據清洗其實是很多強調python進行數據分析課程中，python部分的主要賣點。包括但不限於，怎麼處理異常值，怎麼從一些原始的數據中，得到我們想要的數據。

在日常產品需求過程中，這種需求的場景其實很小。因為數據大部分都是自己產生的，很少會出現沒鍵氏有預設到的極端值或者異常情況。如果有的話，一般就是生產數據的同學代碼寫的有bug，這種發現了之後修復代碼bug就行。

數據清洗在工作場景的應用在於落表——就是把原始數據變成上面提到的，可以通過SQL提取的hive表。這個工作是需要懂代碼的同學去支持的，他們負責數據的產出，包括數據的准確性，數據的延時性(不能太晚產出)等等。前文提到的生成大寬表，其實也可以是他們的工作。這其中就涉及到一些代碼的效率優化問題，這個就不是簡單懂一點python可以搞定的了，可能涉及到一些數據壓縮格式的轉化，比如json/Protobuffer到hive表的轉化，還有一些計算框架層面的調優，比如spark設置什麼樣的參數，以及怎麼樣存儲可以更好的提升查詢速度。

所以這部分工作一般是由懂代碼的同學完成的。可能數據團隊會有比較少數的同學，管理支持全公司的基礎表的生成。

數據可視化—Tableau

很多之前在數據分析做實習的同學，主要的工作內容就是在一個商業化的軟體(比如Tableau)上，做一些統計報表。這樣可以通過這些數據報表，可以很方便的查看到所屬業務的一些關鍵指標。這些商業軟體通常都比較難用，比如可能需要先預計算一下才能輸出結果；而且不太好做自定義功能的開發。稍微復雜一點的需求場景，可能就需要一個專門的同學搗鼓一陣，才能輸出最終的統計報表。

現在有更先進的套路了。

首先可視化。很多公司打通了前端和後端的數據，這樣就可以通過網頁查詢原始的資料庫得到數據結果。而現在很多優秀的前端可視化插件，已經可以提供非常豐富的統計圖形的支持。而且因為代碼是開源的，可以根據公司的需求場景進行針對性的開發，公司可以再輔以配置一些更加用戶友好的操作界面，這樣一些復雜需求也有了簡單拖拽實現的可能。而且這些前端js代碼都是免費的！對於公司來說也能省去一筆商業公司的采買成本。

其次很多商業軟體，都是針對小數據集場景設計的。在一些大數據集的場景，一般需要先預計算一些中間表。而如果自己公司定製化開發的前端展示結果，就可以根據需要自主設置計算邏輯和配置計算資源，先在後端進行預計算，前端最終只是作為一個結果展示模塊，把結果展示和需要的預計算進行解耦。這樣就省去了很多中間表的產出，也會更加快速的得到想要的業務指標，快速迭代。

所以可視化數據的工作量也會大大減少。而且會變成一個人人都可以操作，快速得到結果的場景。

統計分析

對於一名數據分析師而言，統計學分析可能是一塊知識性的壁壘。尤其是在現在ab實驗成為互聯網公司迭代標配的今天。需要把實驗設計的那套理論應用起來：比如ab實驗進行後的顯著性檢驗，多少樣本量的數據才能讓這個結論有效可信呢。

但是，你我都知道，經典的統計分析其實是一個非常套路性的工作。其實就是套公式，對應到代碼層面，可能也就一兩行就搞定了。這個代碼的統計分析結果可以作為ab平台的指標展示在最終的ab結果上，大家看一眼就能明白。即使是對那些可能不知道顯著性是什麼意思的人，你可以跟他簡單說，顯著了才有效，不顯著就別管。

這么一想是不是其實不怎麼需要投入額外的人力進行分析？

其他數據相關的工作

數據層面的規劃和設計。移動互聯網剛剛興起的時候，可能那時候數據分析師需要對每一個數據怎麼來設計一套方案，包括原始的埋點怎麼樣，又要怎麼統計出想要的結果。但現在大部分已經過了快速迭代的時代了，新產品的埋點添加可以參考老產品，這就意味著形成套路了。而一旦形成套路，其實就意味著可以通過程序直接完成或者輔助完成。

數據報告。那就真的是一件人人都能做的事情了，試想誰沒在大學期間做過數據報告呢？以前只是因為數據都是從分析師產出的，而如果人人都能取到數據的話，數據報告是不是也不是一個真需求呢？

在我看來，數據分析師這個崗位的天花板和其他崗位相比起來是比較低的。可能工作一兩年之後，從崗位本身就已經學不到什麼額外的工作知識了。主要的工作內容技術含量不是特別高，技能性的更多的是一些可以簡單上手的東西，而且做的時間長了，在這些技能性的事情上得到的積累並不是很多。

數據分析師更像是一個在時代變遷過程中的一個中間崗位：我們從一個基本沒有數據的時代，突然進入了一個數據極大豐富的時代，在這個過程中，我們都知道重視數據。那怎麼能夠利用這個數據呢？可能之前的那一幫人並沒有太多的經驗，於是老闆就招一些人專門來研究一下它，同時做一些底層數據的優化。

經過多年的迭代，現在互聯網行業的每個人都知道數據的價值，也大概知道了什麼樣的數據是重要的，怎樣可以更好的挖掘數據背後的價值。同時底層的基礎設施也已經支持可以讓一個之前沒有經驗的同學可以快速的上手得到自己想要的關鍵數據。這時候對於一個職業數據分析師來說，他的任務就已經完成了。就如同當人人都會講英語的時候，翻譯其實也就沒有存在的價值了。

此後的數據分析工作，可能不再是一些單獨的人做的工作。它會變成一個產品和運營的基礎工具，而且足夠簡單，沒有取數的門檻。只是產品運營怎麼樣可以更好的認識數據，通過數據本身更好的配合產品運營的工作，這已經超脫我們一般理解的數據分析師的工作了，而是一個產品運營分內的工作。

對於那些已經在從事數據分析師崗位的同學來說，建議不要把心思全部投入到數據分析的本職工作上，以完成任務為核心KPI。而是不要給自己設置邊界，多從用戶的角度思考問題，不要因為是產品運營的工作就不去做了。數據分析師這個職業發展到這個階段，要麼做更加底層的數據建設，要麼擁抱業務，最大化的發掘數據背後背後的價值。不要再死守著數據分析的「固有技能」沾沾自喜了。

數據本身的價值是無窮的，作為數據分析師，你們已經先人一步的掌握它了，要有先發優勢。你們最接近數據的人，是最可能發現用戶的寶藏的人。

② 大數據分析師到底是干什麼的呢

大數據分析師，無疑是在大數據時代受到格外重視的一個崗位，尤其是具備專業技能以及行業經驗的大數據分析人才，無疑是企業競相爭搶的「香餑餑」。而隨著大數據行業的進一步發展，人才需求增加，大數據分析師培訓也多了起來。那麼，大數據分析師培訓完是幹嘛的?主要工作做什麼呢?

數據分析主要是做數據的收集、挖掘、清洗、分析,最後形成具有業務價值的分析報告. 大包括數據體量的大，也包括數據維度的廣.

大數據分析師是個很重要的工作，就是通過分析數據來找出過去事件的特徵。通過引入關鍵因素，大數據工程師可以預測未來的消費趨勢。在各種的營銷平台上，數據分析師試圖通過引入氣象數據來幫助淘寶賣家做生意。

舉例

今年夏天不熱，很可能某些產品就沒有去年暢銷，除了空調、電扇，背心、游泳衣等都可能會受其影響。那麼我們就會建立氣象數據和銷售數據之間的關系，找到與之相關的品類，提前警示賣家周轉庫存。

根據不同企業的業務性質，大數據工程師可以通過數據分析來達到不同的目的。

大數據分析師需要掌握的技能有五點

懂業務。從事數據分析工作的前提就會需要懂業務，即熟悉行業知識、公司業務及流程，較好有自己獨到的見解，若脫離行業認知和公司業務背景，分析的結果只會是脫了線的風箏，沒有太大的使用價值。

懂管理。

方面是搭建數據分析框架的要求，比如確定分析思路就需要用到營銷、管理等理論知識來指導，如果不熟悉管理理論，就很難搭建數據分析的框架，後續的數據分析也很難進行。另

方面的作用是針對數據分析結論提出有指導意義的分析建議。

懂分析。指掌握數據分析基本原理與

些有效的數據分析方法，並能靈活運用到實踐工作中，以便有效的開展數據分析。基本的分析方法有：對比分析法、分組分析法、交叉分析法、結構分析法、漏斗圖分析法、綜合評價分析法、因素分析法、矩陣關聯分析法等。高

的分析方法有：相關分析法、回歸分析法、聚類分析法、判別分析法、主成分分析法、因子分析法、對應分析法、時間序列等。

懂工具。指掌握數據分析相關的常用工具。數據分析方法是理論，而數據分析工具就是實現數據分析方法理論的工具，面對越來越龐大的數據，我們不能依靠計算器進行分析，必須依靠強大的數據分析工具幫我們完成數據分析工作。

懂設計。懂設計是指運用圖表有效表達數據分析師的分析觀點，使分析結果 目瞭然。圖表的設計是門大學問，如圖形的選擇、版式的設計、顏色的搭配等等，都需要掌握設定的設計原則。

大數據分析師就業前景如何?

從20世紀90年代起，歐美國家開始大量培養數據分析師，直到現在，對數據分析師的需求仍然長盛不衰，而且還有擴展之勢。

根據美國勞工部預測，到2018年，數據分析師的需求量將增長20%。就算你不是數據分析師，但數據分析技能也是未來必不可少的工作技能之一。在數據分析行業發展成熟的國家，90%的市場決策和經營決策都是通過數據分析研究確定的。

以上就是關於大數據分析師主要工作做什麼以及就業前景，大數據分析師正在企業當中獲得越來越多的重視，學習專業技能，掌握專業技能，才能站穩腳跟。想要了解大數據分析師，歡迎跟我聊聊呦。

③ 大數據工作崗位有哪些 就業方向是什麼

大數據技術的熱門工作崗位主要有大數據開發工程師、大數據分析師、數據挖掘工程師、大數據可視化工程師等。這些崗位都凳扒是遲粗洞企業的核心技術崗位，有很大的需求，工資待遇也非常可觀，可以說學好了大數據技術，高薪職業任你選擇。

大數據技術的崗位

1、大數據開發工程師

大數據開發工程師，很多公司都在招聘的熱門技術人才，工資也是相對於其他方向更高一些。想要成為大數據開發工程師需要掌握計算機技術、hadoop 、spark、storm開發、hive 資料庫、Linux 操作系統等知識，具備分布式存儲、分布式計算框架等技術。

2、大數據分析師

大數據分析師需要對海量的大數據做分析、挖掘和展現，並且將其中有價值的信息提取出來為決策提供支持，而大數據分析師實際上就是從事這類工作的從業人員。大數據分析師不僅要具備數據分析知識，作為高級大數據分析師，還要掌握大數據技術相關知識，如Hadoop、Python等，具備更為綜合的大數據知識體系。

3、數據挖掘工程師

做數碼枯據挖掘要從海量數據中發現規律，這就需要一定的數學知識，基本的比如線性代數、高等代數、凸優化、概率論等。經常會用到的語言包括Python、Java、C或者C ，我自己用Python或者Java比較多。有時用MapRece寫程序，再用Hadoop或者Hyp來處理數據，如果用Python的話會和Spark相結合。

大數據就業方向

Hadoop大數據開發方向：市場需求旺盛，是大數據培訓的主體，目前IT培訓機構的重點。對應崗位有大數據開發工程師、爬蟲工程師、數據分析師等；

數據挖掘、數據分析&機器學習方向：學習起點高、難度大，市面上只有很少的培訓機構在做。對應崗位有數據科學家、數據挖掘工程師、機器學習工程師等；

大數據運維&雲計算方向：市場需求中等，更偏向於Linux、雲計算學科。對應崗位有大數據運維工程師等。