❶ 大數據培訓到底是培訓什麼
大數據培訓,目前主要有兩種:
1、大數據開發
數據工程師建設和優化系統。學內習hadoop、spark、storm、超大集群容調優、機器學習、Docker容器引擎、ElasticSearch、並發編程等;
2、數據分析與挖掘
一般工作包括數據清洗,執行分析和數據可視化。學習Python、資料庫、網路爬蟲、數據分析與處理等。
大數據培訓一般是指大數據開發培訓。
大數據技術龐大復雜,基礎的技術包含數據的採集、數據預處理、分布式存儲、資料庫、數據倉庫、機器學習、並行計算、可視化等各種技術范疇和不同的技術層面。
❷ 大數據人工智慧培訓
How:出於興趣而非需求,自學人工智慧的方法論
人們可以對自己從哪兒來、到哪兒去感興趣,去了解柏拉圖、維特根斯坦和齊澤克,了解樸素唯物與機械主義,但並不需要成為哲學家。
如果你並非為了成為研究者,只是出於興趣學習人工智慧,完全不必被鋪天蓋地的代碼困住手腳,只需遵循以下原則:
1、明確內涵和現實
每個人都知道人工智慧的目標是「實現與人類相似的智能」,當下的我們處在哪個階段?已經取得了哪些成果?
人工智慧早已進入我們的生活,搜索引擎的排序、美顏相機的美化效果、今日頭條等信息流推薦類內容產品,全部都是當下的人工智慧應用。
雖然與思考和智能相去甚遠、被稱作「弱人工智慧」,它依然能比人類更高效的完成特定任務。除了這些互聯網領域的應用,人臉識別驗票閘機、醫院的叫號系統這類行業應用,甚至港口管理、油田預測、新葯研發,通通都有弱人工智慧的身影。
如果提起人工智慧,出現在你腦中的是 Samantha、Wall-E 或是終結者這些機器人形象,恐怕需要更近一步了解現實。
這些應用如何實現?為什麼能實現?
沒有任何學科建立在空談的基礎上,人工智慧也不例外。
接下來,我們需要——
2、理解「黑話」
機器學習、深度學習、監督學習、計算機視覺、神經網路、RNN……它們是什麼?和人工智慧有什麼關系?
如果你聽說過或是了解以上名詞的含義,恭喜你,你已經踏入了人工智慧的大門。
這些名詞就像是歷史教科書上的事件名,或是數學中的定理,了解它們的內涵、探尋它們之間的關系,能幫助你找到這門學科的層次和邊界。
比如:
「機器學習」、「深度學習」、「監督學習」是人工智慧得以實現的方式,其中「深度學習」屬於「機器學習」的分支,是以超過 8 層的「神經網路」為標志的模型訓練方法;
「監督學習」則是從輸入數據是否帶有標簽的角度對「機器學習」進行劃分,除此之外還有「無監督學習」和「半監督學習」;
RNN 則是「神經網路」的分支,即「循環神經網路」……
那,模型、數據、標簽又是什麼?
順著這些「黑話」和它們關聯的「黑話」,你會漸漸理解人工智慧的能做什麼、不能做什麼,為什麼會出現某些現象(如 AlphaGo),以及接下來會發生什麼。
還有很重要的一點——
3、拋棄想像
想像宇宙中的其他文明,想像一個由機器控制的社會,想像一個為愛落淚的機器人。想像給了我們無限可能,是人類最寶貴的能力之一,不過我們的世界依然建立在「真實」之上。把「想像」留給藝術,把「真實」留給科學。
What:我們該怎麼做?
有了方法論,接下來當然是……獲取優質的信息。
1、課程類
經典的系統課程有很多,例如 Andrew Ng 的斯坦福機器學習課程等等,答案里也有很多推薦質量相當高,在此不多做贅述。
除了學院派系統課程,很多媒體或內容平台上也有工業界人工智慧專家的「公開課」。這些「公開課」更類似於講座,有時是對現狀的思考、總結,有時會針對人工智慧的某一現實痛點展開。如果上一節的「黑話」過關,可以相當輕松的學到不少書本上沒有的知識,以及他人的思考沉澱(這部分相當寶貴),很適合對某一領域感興趣的人研讀。
2、機構、學術會議及論文
人工智慧領域是高度依賴學術界,並保留有非常強學術傳統的領域。
如面向 CV 領域的視覺與學習青年學者研討會(Valse),面向NLP領域的中文人工智慧學會等,這些學會機構除了定期舉辦公開講座,同時會會不定期的發布相關內容。
以及這些學會機構往往也會舉辦暑期學校等培訓課程,質量較高,對細分領域感興趣不妨了解課程構成後報名學習。
論文也是一個不錯的學習途徑,知網可以搜索論文購買閱讀。
以及人工智慧領域是一個高度信息流通的學科,如果英文過關,不妨前往 arXiv.org閱讀英文論文。
3、媒體及社交媒體
除了學術熏陶,新鮮新聞資訊可以幫助我們了解當下、提供啟發。
目前中文領域有不少細分媒體專注人工智慧領域,一些科技媒體的人工智慧子版塊質量也相當不錯。
以及不少研究者在微博、微信等社交媒體上也相當活躍,同時知乎也有不少人工智慧大 V 正在活躍,可以根據自己感興趣的方向進行關注。
4、書籍
「西瓜書」《機器學習》,李航老師的《統計學習方法》,「三駕馬車」巨著《深度學習》,都是相當經典的入門書。
太難了看不懂?《圖解深度學習》、《科學的極致|漫談人工智慧》、《Python神經網路編程》這些向科普方向傾斜的書籍也不錯哦。
Why:真正的知識都是免費的
說了這么多、推薦了這么多,點贊、收藏對於一個人的自學旅程來說,連開始都算不上。
重要的是去看、去思考、去實踐,遠比做出一個「我想要」的姿態重要得多。
尋求知識的道路異常艱辛,在此引用汪丁丁教授的一段話作為結尾:
「一流的知識只能免費,這是因為它只吸引少數能夠理解它的人。這些人是最可寶貴的……他們投入的理解力和伴隨著理解一流知識的艱辛,價值遠遠超過任何付費知識的市場價格。」
願我們都有與一流知識相配的美德。
❸ 大數據需要培訓多長時間都學什麼
如果要學抄習大數據,不管你是零襲基礎,還是有一定的基礎,都是要懂至少一種計算機編程語言,因為大數據的開發離不開編程語言,不僅要懂,還要精通!但這門編程語言不一定是java。
比如說,如果你主攻Hadoop開發方向,是一定要學習java的,因為Hadoop是由java來開發的。
如果你想要主攻spark方向,是要學習Scala語言的,每個方向要求的編程語言是不同的。
如果你是想要走數據分析方向,那你就要從python編程語言下手,這個也是看自己未來的需求的。
大數據是需要一定的編程基礎的,但具體學習哪一門編程,自己可以選擇的。其實只要學會了一門編程語言,其他編程語言也是不在話下的。