❶ 攻克大數據 數據科學家的八種技能
攻克大數據:數據科學家的八種技能
隨著大數據滲透進各行各業,負責淘洗數據、從中精煉價值的數據科學家無疑是這幾年最炙手可熱的職位,《哈佛商業評論》將之譽為21 世紀最性感工作。
1,因為優異的數據科學家就像獨角獸一樣珍貴難尋,而且可不是只有科技公司在搶人,傳統金融界、零售商、廣告、教育,幾乎所有產業都需要數據科學家從大量數據中萃取精華。根據去年七月 Indeed.com 的調查,美國數據科學家每年均薪 12.3 萬美金。
2,比起整體均薪多出 113%——當然,還是比每年平均可以領 74 萬美金的 CEO 還少,但也夠讓 99.99% 的上班族望塵莫及。
能領這么驚人的薪資,數據科學家的本領真的不是三言兩語就能講完。但是到底什麼是數據科學家?
頂尖的數據科學家最好統計、數學、程式能力最好都要掌握,而且要能從中洞察意義,並且擁有非凡的直覺,用數據數據發聲,幫助公司制定重大決策。但是,其實就算同樣都是尋找「數據科學家」,Google 跟沃爾瑪超市要的人才,可能非常不一樣。別因你好像缺了哪個專長而打退堂鼓,如果仔細閱讀每家公司張貼的職缺敘述,你會發現說不定現有的技能就能進入數據科學的殿堂。Airbnb 數據科學家 Dave Holtz 把市場上所需的數據科學家概括成以下四類:
四種數據科學家
菜鳥數據科學家說穿了就是數據分析師
有些公司需要的數據科學家,說白話就是數據分析師(data analyst),而數據分析師就是菜鳥數據科學家。你的工作包括從 MySQL 萃取數據或是一名 Excel 專家,也許要能繪制基礎的數據視覺圖表、分析 A/B 測試的結果或者管理公司的 Google Analytics 帳號。這種公司對抱負遠大的數據科學家來說,是很不錯的練功場所,當你變成老手了,也能開始嘗試新事物,擴充技能組合。
來清理我們亂糟糟的數據!
公司發展到了一定規模之後,累積一堆尚未理清的數據,而且持續大幅增加,因此他們會需要一個能夠建立數據基本設施(data infrastrucure)的人,以讓他們在這個基礎上繼續成長。由於你是第一個或第一批獲聘的數據相關人員,工作通常不會太難,不求統計學家或機器學習專家才能勝任。在這種公司裡面,帶有軟體工程背景的數據科學家就很吃香了,重點任務是提供數據到 proction code,關於數據的洞見與分析倒是其次。就像前面說的,你是這家公司的第一個數據探勘者,通常你不會獲得太多上層的支援,雖然反而更有機會大放異彩,不過因為比較缺乏真正的挑戰,也有可能面臨停滯不前的窘境。
我們就是數據,數據就是我們
也有很多公司,主要的產品就是數據(或數據分析平台)。如果你想進入這種公司,那你勢必要具備很高深的數據分析或機器學習功力。完美的人選應該是有正規的數學、統計、物理背景,而且有意繼續朝學術面鑽研。這些數據科學家的主要職責在於研發出色的數據產品,而非解答公司的營運問題。擁有大量消費者數據也以此作為主要營利來源的公司、或者提供基於數據的服務的公司,都歸屬此類。
產品並非數據、卻以數據驅動產品的公司
很多公司都屬這種類型。你可能會加入一組已經建立的數據科學家團隊,這家公司很重視數據,但稱不上一家數據公司。你既要能夠進行數據分析、接觸 proction code、也能將數據視覺化。一般來說,這種公司要的人才要不是通才,就是他們團隊缺乏的某種特殊專才,比如數據視覺化或機器學習。想要通過這類公司的考驗,端看你對「大數據(比如 Hive 或 Pig)」工具的熟稔程度,以及過往處理雜亂無章數據的經驗。
現在,你了解「數據科學家」的定義很浮動,即使公司開缺都以數據科學家為名,但是他們要找的人其實不太一樣,不一樣的技能組合、不一樣專長、不一樣的經驗層級,卻都能夠稱之數據科學家,因此找工作時,務必詳讀職位描述,搞清楚你會進入什麼樣的團隊、發展什麼樣的技能。
基本工具
無論哪一類公司,統計程式語言如 R 或 Python,以及資料庫查詢工具像 SQL 大概都是數據科學家必備的常識。
基礎統計學
對統計起碼要有基本認識,才稱得上及格的數據科學家,一名擁有許多面試經驗的人資說,很多他曾面試的人連 p-value 的定義都講得不清不楚。你應該熟悉統計測試、分布、最大似然法則(maximum likelihood estimators)等等。機器學習也很重要,但更關鍵的能力,是你能否判斷不同狀況該用什麼不同的技術。統計學適用於所有類型的公司,但對那些主要產品並非數據、卻大幅依賴數據的公司來說尤為必備能力,老闆需要的是你能不能利用數據幫助他們進行決策,以及設計、評估實驗與結果。
機器學習
假如你是在握有大量數據的大型企業,或是產品本身就是以數據為賣點的公司工作,機器學習就是你用來吃飯的傢伙。雖然 KNN 演演算法(k-nearest neighbors)、隨機森林(random forest)、集成學習(ensemble methods)這類機器學習的流行術語好像不懂不行,不過因為事實上很多技術都可以用 R、Python 程式庫解決,所以即使你不是演演算法的世界頂尖專家,並不代表就毫無希望。比較重要的是,能夠縱觀全局,每種狀況出現都能找出最契合的技術。
多變數微積分、線性代數
就算你即將面試的公司並未要求機器學習或統計學知識,基礎多變數微積分與線性代數問題十之八九都是逃避不了的必考題,因為數據科學就是由這些技術型塑而成。盡管很多事情可以交給 sklearn 或 R 自動執行,但是未來如果公司想要建立自有的方案,這些基本知識就變得很重要了。如果你置身於「數據就是產品」,或者預測績效僅因小小進步或演演算法優化就能帶來驚人效益的公司裡面,微積分、線性代數等數學概念都需了解通透。
清理數據
Data Munging 是最容易令人不耐的過程,你面對的是亂七八糟的數據。這些數據包含消失的數值、不一致的字串格式(比如「New York」與「new york」與「ny」)、數據格式(「2015-03-26」、「03/26/2015」,「unix time」、「timestamps」等等),必須勞心費神梳理這些龐雜的數據。雖然這工作吃力不討好,但只要是數據科學家,大概都避免不了,而如果你是某家小公司的先遣數據科學家,或是在一家產品非與數據相關,但是數據卻扮演重要角色的公司里工作,清理數據的任務格外重要。
數據視覺化與溝通
把枯燥繁瑣的數據轉成圖像,以及向外界溝通的技能愈來愈重要,尤其是在年輕的公司制定由數據驅動的決策,或者協助其他組織進行數據決策的公司。「溝通」二字的真諦在於,面對技術人或一般人,你都能准確的傳達研究發現,並能讓他們輕易理解。至於視覺化,如果可以熟悉 ggplot、d3.js 等軟體的運用,會有很大的助益,當然工具只是表象,能否參透數據視覺化的原則,才是最需費心的地方。
軟體工程
如果你是公司數據科學團隊的草創元老,擁有強悍的軟體工程背景十分重要,你會負責處理很多數據登錄(data logging),也有可能需要參與開發以數據為本的產品。
像個數據科學家般思考
所謂數據科學家,就是你解決問題的方法奠基於數據數據。在面試過程中,主考官可能會出一些比較艱澀的問題,比如公司想要執行的某個測試,或者計劃開發的數據產品。判斷事情的輕重緩急、作為數據科學家如何與工程師和產品經理互動、知道該用什麼方式解決問題,都是你該培養的能力。
以上是小編為大家分享的關於攻克大數據 數據科學家的八種技能的相關內容,更多信息可以關注環球青藤分享更多干貨
❷ 教你如何看懂旅遊大數據
教你如何看懂旅遊大數據_數據分析師考試
有時候,一句話、一張圖片都會蘊含巨大的數字商機,但這是一門需要高度精準性的技術活兒,並非人人都看得懂大數據。
看懂遊客行為
大家都在說大數據,攜程近期投資專攻大數據研究的眾薈信息技術有限公司(下稱「眾薈」)、阿里系的去啊旅行則與石基信息合作,而東呈酒店、如家酒店等也紛紛推出智能化管理。
每個旅遊業者都會有自己的會員和消費數據記錄,這些記錄就是大數據的基礎信息,然而在一堆數字和消費者行為面前究竟該如何分析處理並得出結論呢?
「首先要知道什麼是大數據,大數據分為兩大類,即結構化數據和非結構化數據,前者就是大家看到的一系列數字,後者則可能是一張圖、一句話等並非直接體現為數字的信息。因此真正意義上的大數據分析不僅要做直接的數字分析,還要懂得建立數學模型,將非結構化數據轉變為結構化數據並得出結論,這些並不簡單。」眾薈數據智能事業部總經理焦宇告訴記者。
焦宇給記者舉了一個例子,現在很多遊客會在OTA(在線旅遊代理商)上比價和預訂酒店,那麼其搜索的關鍵詞和瀏覽痕跡就會體現在OTA的記錄里,如果客人瀏覽過這家酒店的頁面卻跳轉了,並未下訂單,則可以通過這個記錄分析該客人不下單的原因,當這個客人通過價格、品牌、區域等關鍵詞排序查找酒店信息後,其留下的瀏覽記錄則可以統計出人們是對於價格敏感還是品牌敏感。
「經過研究,大部分人還是看重價格因素,由於價格的選擇是有區間的,這就可以用瀏覽痕跡得出一個最讓遊客接受的價格區間數字。只有11%的人在意品牌,說明同類酒店可替代性很強。如果以區域關鍵詞搜索,則代表地理位置數據,若可以精準到具體方位,並將這一信息傳達給該區域的酒店,則無疑提高了酒店的入住率還能根據消費者行為適當調整房價,當供大於求時下調房價,反之則提升房價。還有一個頗有意思的研究,即遊客瀏覽記錄中若有A酒店的競爭對手酒店,則可以推理這個客人對於A這一類酒店有需求,該客人就是A酒店應該關注的潛在客人。」焦宇指出,要將海量的瀏覽記錄變成有效數據,還得依靠數學模型,模型分為收斂型和發散型,大數據通常要經過收斂型模型將非結構化數據轉化成結構化數據並得出結論。
一位連鎖酒店經營者告訴記者,這些涵蓋了消費者較能接受的價格區間、品牌等信息的大數據可以讓酒店對價格、定位和營銷等做出策略性調整,以提升入住率,提高酒店整體收益管理。
神奇的語言分析
除了價格、品牌,語言文字也是一種非結構化數據,尤其是如今當客人預訂酒店旅遊產品時一定會先看一下點評,或者自己體驗後也會留言評價,這些語言背後也大有大數據學問。
記者多方采訪和觀察後了解到,不少客人會對已經入住的酒店進行評估,這些點評中經常會出現對酒店環境、客房設施、餐飲和服務的評價,比如「房間很乾凈,但是送餐服務比較慢」、「前台的服務差評」、「洗浴感受不錯」等。這需要用專業的語義分析進行精準細分化分析並轉換成結構化數據反饋給酒店經營者。
在人工智慧和計算語言學中,語義分析為知識推理和語言提供了方法,也是未來搜索引擎發展的方向。比如,輸入「蘋果」通過語義分析,能夠知道用戶想找的是手機而不是水果。
「首先我們會通過專業的語義分析去除一批虛假點評或無實質內容的點評,而將真正對酒店有實質內容的點評留下,並對於每一句話進行斷句和多維度切割。舉個簡單的例子,比如『這個酒店很乾凈,但是送餐服務比較慢』,經過我們的斷句和多維度切割分析後可以知道客房清潔度不錯,但送餐有問題,那麼我們接下來就要把結論進行細化分類並反饋給各部門。這里的問題就是速度,有時還涉及口味或者服務態度等。有時一段話的分析是非常復雜的,其中還有糾錯比例。」眾薈市場部高級副總裁胡凡表示。
從事酒店業超過15年的李先生告訴記者,比起簡單的「好」或「不好」,經過多維度語義分析後得出的結論可以反饋到酒店各個相關部門,並且細化到是哪個細節好,或哪個細節有問題需要改進,那麼管理層開例會時就能明確知道接下來的工作方向,而經過改善服務態度、速度甚至裝飾風格,其所在的酒店入住率提升了10%,且RevPAR(RevenuePerAvailableRoom,每間可供租出客房產生的平均實際營業收入)有約15%的增加。
據悉,一些科技信息公司對於語義分析的維度已經可以達到1000個。
跨界與圖片信息怎麼玩
有時候,對於旅遊大數據的分析還涉及跨界合作。
「國外是跨領域研究的,結合了多領域,比如地理信息、IT、商學院、社會學等。我舉個跟蹤遊客的例子,現在我們採用跨界合作的多方位社交媒體來跟蹤遊客行為。社交媒體上有很多遊客留下的痕跡,比如flickr,flickr上的圖片留下了照片的地理坐標、拍攝時間、評論信息等,這些都是非常可貴的旅遊大數據。」長期在澳大利亞研究旅遊大數據分析的學者程明明告訴記者,用地理坐標來追蹤軌跡則需要懂地理學的專家來幫忙,而商業管理方面的專才則可以分析遊客去哪兒、是什麼時間去等具有商業價值的數據。
在多方跨界分析研究後,業者可以知道哪些景點受歡迎、哪些是新的景點、遊客在幾點左右在景點甚至每次停留多久等。掌握這些大數據信息分析結果後,相關的旅遊業者可以有效做到分流,不會造成景點承載力過於飽和。同時,對比景點信息和遊客屬性,可以知道不同國家遊客對景點有什麼不同需求,比如亞洲人是否更喜歡文化景點,如果是,則當地旅遊推廣營銷時就要更多推出人文景點。
記者在采訪中獲悉,目前中國不少景區也正在與相關大數據分析公司合作,希望通過分析來預測未來一段時間的客流量,尤其是旺季黃金周的客流量預計,能幫助景區控制進入人數,提高安全性和服務質量。
頗有意思的是,圖片也屬於大數據。
「比如一些大型旅遊預訂網站上有大量圖片,對於圖片,我們需要IT技術人員來幫忙進行機器人訓練(machinelearning)幫助我們識別不同的圖片。比如究竟是人物還是風景效果好,然後我們再通過數學模型和旅遊局、旅行社宣傳的圖片進行對比,得出遊客感興趣的圖片和旅遊局、旅行社所宣傳的是否一致。如果不一致,那麼不一致在什麼方面,並需要如何改進。」程明明說道。
據悉,另有一種腦電波測試方式,能測試出人們看到圖片時眼球第一秒會注視的地方即最吸引點,以及人們對於被測試圖片的喜好或厭惡程度等。業者通過這些分析可以決定是否在銷售時更換樣圖,餐廳或景點的宣傳圖片究竟是有人好還是空景好,合適的樣圖能夠促進銷量。
「當然,要做好旅遊大數據研究並不簡單,其數學模型比較復雜,比如包含線性回歸之類的。其實,大數據研究是一個數據不斷整合和多學科交叉的過程,未來還有很多商機可以依靠大數據被挖掘出來。」程明明如是說。
以上是小編為大家分享的關於教你如何看懂旅遊大數據的相關內容,更多信息可以關注環球青藤分享更多干貨
❸ 大數據與財務管理是什麼
「大數據與財務管理,是中國普通高等學校專科專業。
該專業修學年限是三年。專業定義財務管理主要研究如何通過計劃、決策、控制、考核、監督等管理活動對資金運動進行管理,學習會計、財務、稅務籌劃等專業理論知識,掌握基礎會計、國家稅收、證券投資分析、財務報表分析等內容,例如對企業採取的財務活動和財務成果作出合理的預算、負責監督和控制資金的運動情況、對企業資金進行最有利的調節以實現資金的合理利用。
大數據與財務管理專業主要培養大數據時代的「財經通才」+「財務專才」為目標,以「基礎扎實、知識面寬、實踐能力強、職業素養高」為宗旨,以「大數據+共享」財務為特色,培養適用於地區經濟發展所需要的高素質應用型綜合財務人才。注重人文素養、科學精神、誠信品質和社會責任意識培養,使學生掌握現代財務管理理論知識及大數據御瞎沖財務分析等實踐技能,具有較強的溝通協調組織能力及分析和解決問題的能力,具備利用商業大數據進行財務分析、成本管控、投資決策等能力,讓學生能夠在各類工商企業、金融企業、中介機構、政府機構、事業單位及其他相關部門勝任會計核算、財務管理及相關工作的專業理財師、財務總監、財務分析師和財務策劃師等。