天池大數據新手賽課程

A. 天池比賽數怎麼算

開發者社區小網路
關注
天池大賽演算法教程及獲獎選手答辯 原創
2018-09-25 10:15:37

開發者社區小網路

碼齡5年

關注
天池大數據競賽是由阿里巴巴集團主辦，面向全球科研工作者的高端演算法競賽。通過開放海量數據和分布式計算資源，大賽讓所有參與者有機會運用其設計的演算法解決各類社會問題或業務問題。特別優秀的解決方案將有機會直接上線阿里巴巴旗下各電商網站（含淘寶、天貓等）或第三方合作夥伴平台，服務中國乃至世界數以億計的用戶。

2014年3月，阿里巴巴集團董事局主席馬雲在北京大學發起「天池大數據競賽」。首屆大賽共有來自全球的7276支隊伍參賽，海外參賽隊伍超過148支。阿里巴巴集團為此開放了5.7億條經過嚴格脫敏處理的數據。2014年賽季的數據提供方為貴陽市政府，參賽者根據交通數據模擬控制紅綠燈時間，尋找減輕道路擁堵的方法。

課程鏈接：天池大賽演算法教程及獲獎選手答辯

本課程主要講解天池新手入門賽的參賽技巧、常用演算法，以及獲獎選手答辯視頻。

應用意義：

大數據專家、阿里巴巴集團副總裁塗子沛介紹，比賽中勝出的優秀數據模型，不僅可用於參賽者的學術研究成果，還有機會走出實驗室，直接應用於淘寶、支付寶等真實的商業場景，影響中國乃至世界數以億計的用戶。在此前的「天貓推薦演算法大賽」中，6名90後大學生研發的個性化推薦演算法，在「雙11」當天的實戰效果超過天貓原有演算法的16.9%，贏得100萬元獎金。
塗子沛說，數據經濟的時代正在到來，中國2015年擁有的數據量佔全球的14%，到2020年這一比例將上升至21%。但我們的數據利用率不到0.4%，更多的數據仍然沉睡在各個角落。中國需要有效的數據處理方法，更需要大數據人才。阿里雲天池大賽將成為一個數據眾智眾創平台，吸引更多政府、公司開放數據資源，創新數據商業模式，引爆新生代力量和數據經濟的能量。

B. 大數據新手入門的課程和書籍有什麼推薦

目前大數據的技術體系已經非常龐大了，初學者要根據自己的發展規運備閉劃來制定學習規劃，入門大數據的方式也要結合自己的知識基礎。

對於要進入IT互聯網行業從事大數據開發崗位的同學來說，入門大數據可以先從編程語言開始，接著學習大數據平台知識，然後結合大數據平台來完成場景開發實踐。在編程語言的選擇上，可以重點考慮一下Java語言，相對於其他編程語言來說，目前Java崗位的人才需求量相對大一些。

對於要從事演算法崗的同學來說，入門大數據旁裂也可以分成三個階段，第一個階段是編程語言的學習，第二個階段是學習演算法基礎，這個階段需要學習一下統計學、機器學習相關知識，為後續奠定一個滾散基礎，第三個階段是結合場景來開展演算法實踐，這個階段也需要掌握大數據平台的相關知識。

如果僅僅想通過學習大數據技術來提升自己的數據力，本身並沒有從事大數據崗位的想法，那麼入門大數據可以從學習Python語言開始，然後進一步學習基於Python語言來完成數據分析，這個過程同樣要考慮到應用場景的問題，可以跟自己的專業方向相結合。

從整個大數據的技術體系結構來看，大數據技術涉及到數據採集、整理、存儲、分析、呈現、應用和安全等領域，這些領域都可以採用單獨學習的方式，比如既可以從數據採集開始學起，也可以從數據分析開始學起，但是不論從哪個領域開始學起，一定要重視與場景相結合，不能脫離場景來學習大數據技術。

最後，如果有學習大數據相關的問題，可以向我發起咨詢。

C. 天池大數據競賽值得參加嗎

如果自己來編程能力比較強，自天池大數據競賽還是非常值得參加的。天池比賽的趣味性與挑戰性挺大，涉及到自然語言處理，圖像深度學習以及排序優化等搜索技術相關內容，可以通過競賽學到學到許多專業知識，提升代碼能力，邏輯思維能力，如果能進入比賽答辯還有進一步提升機會，賽後交流能了解更多大神思路。比賽成績好對工作面試極有好處，面試很注重項目和實戰經驗，天池比賽無疑非常貼近實際業務場景，還有獎金福利。隨著天池宣傳與普及，天池參賽人員越來越多，含金量會越來越重。

D. 大數據課程都學什麼啊

基礎階段：Linux、Docker、KVM、MySQL基礎、Oracle基礎、MongoDB、redis。
hadoop maprece hdfs yarn：hadoop：Hadoop 概念、版本、歷史，HDFS工作原理，YARN介紹及組件介紹。
大數據存儲階段：hbase、hive、sqoop。
大數據架構設計階段：Flume分布式、Zookeeper、Kafka。
大數據實時計算階段：Mahout、Spark、storm。
大數據數據採集階段：Python、Scala。
大數據商業實戰階段：實操企業大數據處理業務場景，分析需求、解決方案實施，綜合技術實戰應用。
大數據分析的幾個方面：
1、可視化分析：可視化分析能夠直觀的呈現大數據特點，同時能夠非常容易被讀者所接受，就如同看圖說話一樣簡單明了。
2、數據挖掘演算法：大數據分析的理論核心就是數據挖掘演算法。
3、預測性分析：從大數據中挖掘出特點，通過科學的建立模型，從而預測未來的數據。
4、語義引擎：需要設計到有足夠的人工智慧以足以從數據中主動地提取信息。
5、數據質量和數據管理：能夠保證分析結果的真實性

E. 數據科學平台有哪些

1. kaggle

一個比較權威的全球性的數據競賽平台，也是一個很好的技術和數據分享社區。可以找到各個領域的比賽和數據，最重要的是可以找到很多有用的經驗貼和一個開源的代碼，可以幫助小白前進，小編做個幾個比賽，該平台對我的幫助很大，學到很多東西。該平台的比賽工作面試時認可度比較大。鏈接：https://www.kaggle.com

2.天池

天池是阿里雲創建的數據競賽平台，它和 Kaggle 很像。各個領域的比賽都有，賽制持續時間較長，會有一些直播教程和專業課程，比較利於新手入門。鏈接：https://tianchi.aliyun.com/competition/gameList/activeList

3.DataCastle

平台上多為企業的或者政府的比賽，包含數據演算法各個方向，數據量方面相對天池較少，參賽人數也次之。平台上也有類似kaggle的名人堂和和數據集，平台的社區活躍度不高。鏈接：https://www.dcjingsai.com/common/cmptIndex.html

4.Datafountain

DataFountain(DF)平台是CCF大數據與計算智能大賽指定的平台。CCF大數據與計算智能大賽(BigData & Computing Intelligence Contest,簡稱「BDCI」)是由中國計算機學會主辦的大數據及人工智慧領域演算法挑戰及應用創新大型賽事。鏈接：https://www.datafountain.cn

5.科賽-Kesci

科賽(Kesci.com)是聚合數據人才和行業問題的在線社區。平台2019年初開始轉型，接的比賽項目獎金較高，一些大型比賽會有一些培訓指南。鏈接：https://www.kesci.com

6.biendata

Biendata.com是一個人工智慧競賽學習平台，用戶可通過該平台報名並參加人工智慧領域各類賽事，獎金較豐富。鏈接：https://biendata.com

7.華為雲

華為雲平台的比賽多是基於華為的業務，有的是直接面向校招，比賽項目較多，包含軟體、AI、晶元等，獎金較多，有免費的gpu算力。鏈接：https://competition.huaweicloud.com/competitions

7.其它平台

網路點石：http://dianshi.bce..com/competition

JDATA：https://jdata.jd.com

京東大賽 : https://jdder.jd.com

騰訊廣告演算法大賽：https://algo.qq.com

愛奇藝ai競賽平台(多為視頻比賽) : http://challenge.ai.iqiyi.com

圖靈聯邦: https://www.turingtopia.com/competitionnew

訊飛開放平台：http://challenge.xfyun.cn

Flyai:https://www.flyai.com

螞蟻金服：https://dc.cloud.alipay.com

TinyMind: https://www.tinymind.cn/competitions/ai

拍拍貸：https://ai.ppdai.com

睡前Futurelab（只針對在校生）：https://ai.futurelab.tv/contest/all

國外醫學圖像相關：https://grand-challenge.org/challenges

數睿思：http://www.tipdm.org/bdrace/jingsa

數願：http://www.datadreams.org/#/raceList

F. 大數據有什麼技術，大數據技術內容介紹

大數據是眾多學科與統計學交叉產生的一門新興學科。大數據牽扯的數據挖掘專、雲計算屬一類的，所以是計算機一類的專業。分布比較廣，應用行業較多。

零售業：主要集中在客戶營銷分析上，通過大數據技術可以對客戶的消費信息進行分析。獲知客戶的消費習慣、消費方向等，以便商場做好更合理商品、貨架擺放，規劃市場營銷方案、產品推薦手段等。

金融業：在金融行業里頭，數據即是生命，其信息系統中積累了大量客戶的交易數據。通過大數據可以對客戶的行為進行分析、防堵詐騙、金融風險分析等。

醫療業：通過大數據可以輔助分析疫情信息，對應做出相應的防控措施。對人體健康的趨勢分析在電子病歷、醫學研發和臨床試驗中，可提高診斷准確性和葯物有效性等。

製造業：該行業對大數據的需求主要體現在產品研發與設計、供應鏈管理、生產、售後服務等。通過數據分析，在產品研發過程中免除掉一些不必要的步驟，並且及時改善產品的製造與組裝的流程。

G. 計算機競賽有哪些

ACM國際大學生程序設計競賽

適合有一定競賽基礎且對演算法感興趣大學生；作為計算機領域的頂尖程序設計大賽，每年上半年舉行。不同於其他競賽的個人賽，ACM 為「小組戰」，由 3 名在校大學生組成小分隊參加比賽。在比賽過程中，3 人組成的小組共用一台電腦，編寫程序解決 8-10 個問題。由於是世界級的比賽，難度非常高，適合有一定競賽基礎的小夥伴。