① 要成為一名專業的程序員，從零開始需要怎麼一步步來比較好，要把最底層的先學精通嗎(個人認為)求學長
前言
你是否覺得自己從學校畢業的時候只做過小玩具一樣的程序？走入職場後哪怕沒有什麼經驗也可以把以下這些課外練習走一遍（朋友的抱怨：學校課程總是從理論出發，作業項目都看不出有什麼實際作用，不如從工作中的需求出發）
建議：
不要亂買書，不要亂追新技術新名詞，基礎的東西經過很長時間積累而且還會在未來至少10年通用。
回顧一下歷史，看看歷史上時間線上技術的發展，你才能明白明天會是什麼樣。
一定要動手，例子不管多麼簡單，建議至少自己手敲一遍看看是否理解了里頭的細枝末節。
一定要學會思考，思考為什麼要這樣，而不是那樣。還要舉一反三地思考。
註：你也許會很奇怪為什麼下面的東西很偏Unix/linux，這是因為我覺得Windows下的編程可能會在未來很沒有前途，原因如下：
現在的用戶界面幾乎被兩個東西主宰了，1）Web，2）移動設備iOS或Android。Windows的圖形界面不吃香了。
越來越多的企業在用成本低性能高的Linux和各種開源技術來構架其系統，Windows的成本太高了。
微軟的東西變得太快了，很不持久，他們完全是在玩弄程序員。詳情參見《Windows編程革命史》
所以，我個人認為以後的趨勢是前端是Web+移動，後端是Linux+開源。開發這邊基本上沒Windows什麼事。
啟蒙入門
1、 學習一門腳本語言，例如Python/Ruby
可以讓你擺脫對底層語言的恐懼感，腳本語言可以讓你很快開發出能用得上的小程序。實踐項目:
處理文本文件，或者csv (關鍵詞 python csv, python open, python sys) 讀一個本地文件，逐行處理（例如 word count，或者處理log）
遍歷本地文件系統 (sys, os, path)，例如寫一個程序統計一個目錄下所有文件大小並按各種條件排序並保存結果
跟資料庫打交道 (python sqlite)，寫一個小腳本統計資料庫里條目數量
學會用各種print之類簡單粗暴的方式進行調試
學會用Google (phrase, domain, use reader to follow tech blogs)
為什麼要學腳本語言，因為他們實在是太方便了，很多時候我們需要寫點小工具或是腳本來幫我們解決問題，你就會發現正規的編程語言太難用了。
2、 用熟一種程序員的編輯器(不是IDE) 和一些基本工具
Vim / Emacs / Notepad++，學會如何配置代碼補全，外觀，外部命令等。
Source Insight (或 ctag)
使用這些東西不是為了Cool，而是這些編輯器在查看、修改代碼/配置文章/日誌會更快更有效率。
3、 熟悉Unix/Linux Shell和常見的命令行
如果你用windows，至少學會用虛擬機里的linux， vmware player是免費的，裝個Ubuntu吧
一定要少用少用圖形界面。
學會使用man來查看幫助
文件系統結構和基本操作 ls/chmod/chown/rm/find/ln/cat/mount/mkdir/tar/gzip …
學會使用一些文本操作命令 sed/awk/grep/tail/less/more …
學會使用一些管理命令 ps/top/lsof/netstat/kill/tcpmp/iptables/dd…
了解/etc目錄下的各種配置文章，學會查看/var/log下的系統日誌，以及/proc下的系統運行信息
了解正則表達式，使用正則表達式來查找文件。
對於程序員來說Unix/Linux比Windows簡單多了。（參看我四年前CSDN的博文《其實Unix很簡單》）學會使用Unix/Linux你會發現圖形界面在某些時候實在是太難用了，相當地相當地降低工作效率。
4、 學習Web基礎（HTML/CSS/JS) + 伺服器端技術 (LAMP)
未來必然是Web的世界，學習WEB基礎的最佳網站是W3School。
學習HTML基本語法
學習CSS如何選中HTML元素並應用一些基本樣式（關鍵詞：box model）
學會用 Firefox + Firebug 或 chrome 查看你覺得很炫的網頁結構，並動態修改。
學習使用javascript操縱HTML元件。理解DOM和動態網頁（Dynamic HTML: The Definitive Reference, 3rd Edition - O'Reilly Media) 網上有免費的章節，足夠用了。或參看 DOM 。
學會用 Firefox + Firebug 或 chrome 調試Javascript代碼（設置斷點，查看變數，性能，控制台等）
在一台機器上配置Apache 或 Nginx
學習PHP，讓後台PHP和前台HTML進行數據交互，對伺服器相應瀏覽器請求形成初步認識。實現一個表單提交和反顯的功能。
把PHP連接本地或者遠程資料庫 MySQL（MySQL 和 SQL現學現用夠了）
跟完一個名校的網路編程課程（例如：http://www.stanford.e/~ouster/cgi-bin/cs142-fall10/index.php ) 不要覺得需要多於一學期時間，大學生是全職一學期選3-5門課，你業余時間一定可以跟上
學習一個javascript庫（例如jQuery 或 ExtJS）+ Ajax (非同步讀入一個伺服器端圖片或者資料庫內容）+JSON數據格式。
HTTP: The Definitive Guide 讀完前4章你就明白你每天上網用瀏覽器的時候發生的事情了(proxy, gateway, browsers)
做個小網站（例如：一個小的留言板，支持用戶登錄，Cookie/Session，增、刪、改、查，上傳圖片附件，分頁顯示）
買個域名，租個空間，做個自己的網站。
進階加深
1、 C語言和操作系統調用
重新學C語言，理解指針和內存模型，用C語言實現一下各種經典的演算法和數據結構。推薦《計算機程序設計藝術》、《演算法導論》和《編程珠璣》。
學習（麻省理工免費課程）計算機科學和編程導論
學習（麻省理工免費課程）C語言內存管理
學習Unix/Linux系統調用（Unix高級環境編程），，了解系統層面的東西。
用這些系統知識操作一下文件系統，用戶（實現一個可以拷貝目錄樹的小程序）
用fork/wait/waitpid寫一個多進程的程序，用pthread寫一個多線程帶同步或互斥的程序。多進程多進程購票的程序。
用signal/kill/raise/alarm/pause/sigprocmask實現一個多進程間的信號量通信的程序。
學會使用gcc和gdb來編程和調試程序（參看我的《用gdb調試程序》）
學會使用makefile來編譯程序。（參看我的《跟我一起寫makefile》）
IPC和Socket的東西可以放到高級中來實踐。
學習Windows SDK編程（Windows 程序設計 ，MFC程序設計）
寫一個窗口，了解WinMain/WinProcere，以及Windows的消息機制。
寫一些程序來操作Windows SDK中的資源文件或是各種圖形控制項，以及作圖的編程。
學習如何使用MSDN查看相關的SDK函數，各種WM_消息以及一些常式。
這本書中有很多常式，在實踐中請不要照抄，試著自己寫一個自己的常式。
不用太多於精通這些東西，因為GUI正在被Web取代，主要是了解一下Windows 圖形界面的編程。@virushuo 說：「 我覺得GUI確實不那麼熱門了，但充分理解GUI工作原理是很重要的。包括移動設備開發，如果沒有基礎知識仍然很吃力。或者說移動設備開發必須理解GUI工作，或者在win那邊學，或者在mac/iOS上學」。
2、學習Java
Java 的學習主要是看經典的Core Java 《Java 核心技術編程》和《Java編程思想》（有兩卷，我僅鏈了第一卷，足夠了，因為Java的圖形界面了解就可以了）
學習JDK，學會查閱Java API Doc Java Platform SE 6
了解一下Java這種虛擬機語言和C和Python語言在編譯和執行上的差別。從C、Java、Python思考一下「跨平台」這種技術。
學會使用IDE Eclipse，使用Eclipse 編譯，調試和開發Java程序。
建一個Tomcat的網站，嘗試一下JSP/Servlet/JDBC/MySQL的Web開發。把前面所說的那個PHP的小項目試著用JSP和Servlet實現一下。
3、Web的安全與架構
學習HTML5，網上有很多很多教程，以前酷殼也介紹過很多，我在這里就不羅列了。
學習Web開發的安全問題（參考新浪微博被攻擊的這個事，以及Ruby的這篇文章）
學習HTTP Server的rewrite機制，Nginx的反向代理機制，fast-cgi（如：PHP-FPM）
學習Web的靜態頁面緩存技術。
學習Web的非同步工作流處理，數據Cache，數據分區，負載均衡，水平擴展的構架。
實踐任務：
使用HTML5的canvas 製作一些Web動畫。
嘗試在前面開發過的那個Web應用中進行SQL注入，JS注入，以及XSS攻擊。
把前面開發過的那個Web應用改成構造在Nginx + PHP-FPM + 靜態頁面緩存的網站
4、學習關系型資料庫
你可以安裝MSSQLServer或MySQL來學習資料庫。
學習教科書里資料庫設計的那幾個範式，1NF，2NF，3NF，……
學習資料庫的存過，觸發器，視圖，建索引，游標等。
學習SQL語句，明白表連接的各種概念（參看《SQL Join的圖示》）
學習如何優化資料庫查詢（參看《MySQL的優化》）
實踐任務：設計一個論壇的資料庫，至少滿足3NF，使用SQL語句查詢本周，本月的最新文章，評論最多的文章，最活躍用戶。
5、一些開發工具
學會使用SVN或Git來管理程序版本。
學會使用JUnit來對Java進行單元測試。
學習C語言和Java語言的coding standard 或 coding guideline。（我N年前寫過一篇關C語言非常簡單的文章——《編程修養》，這樣的東西你可以上網查一下，一大堆）。
推薦閱讀《代碼大全》《重構》《代碼整潔之道》
高級深入
1、C++ / Java 和面向對象
我個人以為學好C++，Java也就是舉手之勞。但是C++的學習曲線相當的陡。不過，我覺得C++是最需要學好的語言了。參看兩篇趣文「C++學習信心圖」 和「21天學好C++」
學習（麻省理工免費課程）C++面向對象編程
讀我的 「如何學好C++」中所推薦的那些書至少兩遍以上（如果你對C++的理解能夠深入到像我所寫的《C++虛函數表解析》或是《C++對象內存存局（上）（下）》，或是《C/C++返回內部靜態成員的陷阱》那就非常不錯了）
然後反思為什麼C++要干成這樣，Java則不是？你一定要學會對比C++和Java的不同。比如，Java中的初始化，垃圾回收，介面，異常，虛函數，等等。
實踐任務：
用C++實現一個BigInt，支持128位的整形的加減乘除的操作。
用C++封裝一個數據結構的容量，比如hash table。
用C++封裝並實現一個智能指針（一定要使用模板）。
《設計模式》必需一讀，兩遍以上，思考一下，這23個模式的應用場景。主要是兩點：1）鍾愛組合而不是繼承，2）鍾愛介面而不是實現。（也推薦《深入淺出設計模式》）
實踐任務：
使用工廠模式實現一個內存池。
使用策略模式製做一個類其可以把文本文件進行左對齊，右對齊和中對齊。
使用命令模式實現一個命令行計算器，並支持undo和redo。
使用修飾模式實現一個酒店的房間價格訂價策略——旺季，服務，VIP、旅行團、等影響價格的因素。
學習STL的用法和其設計概念 - 容器，演算法，迭代器，函數子。如果可能，請讀一下其源碼。
實踐任務：嘗試使用面向對象、STL，設計模式、和WindowsSDK圖形編程的各種技能
做一個貪吃蛇或是俄羅斯方塊的游戲。支持不同的級別和難度。
做一個文件瀏覽器，可以瀏覽目錄下的文件，並可以對不同的文件有不同的操作，文本文件可以打開編輯，執行文件則執行之，mp3或avi文件可以播放，圖片文件可以展示圖片。
學習C++的一些類庫的設計，如： MFC（看看候捷老師的《深入淺出MFC》） ，Boost, ACE, CPPUnit，STL （STL可能會太難了，但是如果你能了解其中的設計模式和設計那就太好了，如果你能深入到我寫的《STL string類的寫時拷貝技術》那就非常不錯了，ACE需要很強在的系統知識，參見後面的「加強對系統的了解」）
Java是真正的面向對象的語言，Java的設計模式多得不能再多，也是用來學習面向對象的設計模式的最佳語言了（參看Java中的設計模式）。
推薦閱讀《Effective Java》 and 《Java解惑》
學習Java的框架，Java的框架也是多，如Spring, Hibernate，Struts 等等，主要是學習Java的設計，如IoC等。
Java的技術也是爛多，重點學習J2EE架構以及JMS， RMI, 等消息傳遞和遠程調用的技術。
學習使用Java做Web Service （官方教程在這里）
實踐任務： 嘗試在Spring或Hibernate框架下構建一個有網路的Web Service的遠程調用程序，並可以在兩個Service中通過JMS傳遞消息。
C++和Java都不是能在短時間內能學好的，C++玩是的深，Java玩的是廣，我建議兩者選一個。我個人的學習經歷是：
深究C++（我深究C/C++了十來年了）
學習Java的各種設計模式。
2、加強系統了解
重要閱讀下面的幾本書：
《Unix編程藝術》了解Unix系統領域中的設計和開發哲學、思想文化體系、原則與經驗。你一定會有一種醍醐灌頂的感覺。
《Unix網路編程卷1，套接字》這是一本看完你就明白網路編程的書。重要注意TCP、UDP，以及多路復用的系統調用select/poll/epoll的差別。
《TCP/IP詳解 卷1:協議》- 這是一本看完後你就可以當網路黑客的書。了解乙太網的的運作原理，了解TCP/IP的協議，運作原理以及如何TCP的調優。
實踐任務：
理解什麼是阻塞（同步IO），非阻塞（非同步IO），多路復用（select, poll, epoll）的IO技術。
寫一個網路聊天程序，有聊天伺服器和多個聊天客戶端（服務端用UDP對部分或所有的的聊天客戶端進Multicast或Broadcast）。
寫一個簡易的HTTP伺服器。
《Unix網路編程卷2，進程間通信》信號量，管道，共享內存，消息等各種IPC…… 這些技術好像有點老掉牙了，不過還是值得了解。
實踐任務：
主要實踐各種IPC進程序通信的方法。
嘗試寫一個管道程序，父子進程通過管道交換數據。
嘗試寫一個共享內存的程序，兩個進程通過共享內存交換一個C的結構體數組。
學習《Windows核心編程》一書。把CreateProcess，Windows線程、線程調度、線程同步（Event, 信號量，互斥量）、非同步I/O，內存管理，DLL，這幾大塊搞精通。
實踐任務：使用CreateProcess啟動一個記事本或IE，並監控該程序的運行。把前面寫過的那個簡易的HTTP服務用線程池實現一下。寫一個DLL的鉤子程序監控指定窗口的關閉事件，或是記錄某個窗口的按鍵。
有了多線程、多進程通信，TCP/IP，套接字，C++和設計模式的基本，你可以研究一下ACE了。使用ACE重寫上述的聊天程序和HTTP伺服器（帶線程池）
實踐任務：通過以上的所有知識，嘗試
寫一個服務端給客戶端傳大文件，要求把100M的帶寬用到80%以上。（注意，磁碟I/O和網路I/O可能會很有問題，想一想怎麼解決，另外，請注意網路傳輸最大單元MTU）
了解BT下載的工作原理，用多進程的方式模擬BT下載的原理。
3、系統架構
負載均衡。HASH式的，純動態式的。（可以到Google學術里搜一些關於負載均衡的文章讀讀）
多層分布式系統 – 客戶端服務結點層、計算結點層、數據cache層，數據層。J2EE是經典的多層結構。
CDN系統 – 就近訪問，內容邊緣化。
P2P式系統，研究一下BT和電驢的演算法。比如：DHT演算法。
伺服器備份，雙機備份系統（Live-Standby和Live-Live系統），兩台機器如何通過心跳監測對方？集群主結點備份。
虛擬化技術，使用這個技術，可以把操作系統當應用程序一下切換或重新配置和部署。
學習Thrift，二進制的高性能的通訊中間件，支持數據(對象)序列化和多種類型的RPC服務。
學習Hadoop。Hadoop框架中最核心的設計就是：MapRece和HDFS。MapRece的思想是由Google的一篇論文所提及而被廣為流傳的，簡單的一句話解釋MapRece就是「任務的分解與結果的匯總」。HDFS是Hadoop分布式文件系統（Hadoop Distributed File System）的縮寫，為分布式計算存儲提供了底層支持。
了解NoSQL資料庫（有人說可能是一個過渡炒作的技術），不過因為超大規模以及高並發的純動態型網站日漸成為主流，而SNS類網站在數據存取過程中有著實時性等剛性需求，這使得目前NoSQL資料庫慢慢成了人們所關注的焦點，並大有成為取代關系型資料庫而成為未來主流數據存儲模式的趨勢。當前NoSQL資料庫很多，大部分都是開源的，其中比較知名的有：MemcacheDB、Redis、Tokyo Cabinet(升級版為Kyoto Cabinet)、Flare、MongoDB、CouchDB、Cassandra、Voldemort等。
② cassandra 啟動失敗
點評：JDK1.6的下載、安裝與配置圖文詳細教程，需要的朋友可以參考下。
一、下載
首先要下載JDK的最新版本。我們可以在SUN公司的官方網站上下載：http://java.sun.com。
如果感覺比較麻煩可以到腳本之家網站下載，下載地址 http://www.jb51.net/softs/75724.html
進入官網後我們會看到以下界面，選擇Download - Java SE
進入該頁面：
點擊Java SE 6 Update 10 Beta 後面的Download按鈕，在接下來頁面中選擇JDK 6。
進入了下載選項，我們的操作平台是Windows XP，鉤選上協議，按continue繼續下一步。
直接點擊Windows Offline installation（Win離線安裝包）字樣下的jdk-6u10-beta-windows.i586-p.exe。
下載完成後，即可進入下一步安裝。
二、安裝
運行剛下載好的jdk-6u10-beta-windows-i586-p.exe，按提示進行操作。
在設置JDK安裝路徑時，建議放在C:\jdk1.6或D:\jdk1.6這種沒有空格字元的目錄文件夾下，避免在以後編譯、運行時因文件路徑而出錯。這里我們將它安裝到D:\jdk1.6目錄下。
安裝好JDK後，會自動安裝JRE。這樣JDK的安裝即完成。
三、配置
右擊我的電腦-屬性，點擊「高級」選項卡，單擊「環境變數」。
新建系統變數Classpath和Path，
詳細設置如下圖所示。
接著，對它進行調試，在D盤目錄下新建一個Hello.java文件，並鍵入以下內容：
代碼內容：
(注意這里的類名Hello一定要與文件名一致，大小寫也要一致。)
public class Hello{public static void main(String[] args){System.out.println(「Hello, my world!」);}}打開開始菜單-運行-cmd
在命令行中鍵入以下內容：
（//後為注釋內容）
d: // 打開D盤javac Hello.java // 編譯Hello.java文件java Hello // 運行Hello類（即Hello.class，這里的.class不用寫）得到如圖所示的結果（Hello, my world!），即表示環境配置成功。
鍵入java -version，還可以看到系統中所安裝的JAVA版本信息：
這樣便完成了JDK1.6的下載、安裝與配置。
四、常見問題Q&A
* 可以在一個系統中裝多個不同版本的JDK嗎？- A：可以。
* 暫時沒遇到，因此不知道 = =。故略……
③ 騫茶揣鍒嗕韓 | AI鐮斿彂宸ョ▼甯堟垚闀挎寚鍗
浣滆 | Japson
鏉ユ簮 | 鏈ㄤ笢灞呭＋
0x00 鍓嶈█
棣栧厛錛屻夾I鐮斿彂宸ョ▼甯堟垚闀挎寚鍗椼嬭繖涓棰樼洰鍏跺疄鏈変簺鏍囬樺厷浜嗭紝鍑嗙『鍦版潵璇達紝鏈鏂囧唴瀹瑰簲璇ユ槸錛氣滆佹兂鎴愪負涓鍚岮I鐮斿彂宸ョ▼甯堬紝闇瑕佸叿澶囧摢浜涙妧鑳解濄
鍏舵★紝鏈鏂囧光淎I鐮斿彂宸ョ▼甯堚濊繖涓猼itle鐨勫畾涔夛紝涔熷苟涓嶆槸澶у剁涓鍗拌薄涓鐨勨滅畻娉曞伐紼嬪笀鈥濄佲滄暟鎹縐戝﹀垛濄
鍐嶆★紝鏈鏂囧疄闄呬笂浣滆呯粨鍚堢幇闃舵佃屼笟鍙戝睍銆佹妧鏈瓚嬪娍浠ュ強鑷韜宸ヤ綔鎬ц川鍋氬嚭鐨勫叧浜庤嚜韜瀹氫綅銆佽亴涓氭妧鑳姐佸彂灞曟柟鍚戠殑鎬濊冦傚氨鍍忛瓟鍏戒笘鐣屼腑鐨勨滆亴涓氭敾鐣モ濓紝褰撴垜浠鍦ㄦ父鎴忎腑鏂板緩涓涓瑙掕壊鏃訛紝浼氬厛鍘諱簡瑙ｈ繖涓鑱屼笟鐨勭壒鐐廣佸ぉ璧嬨佹妧鑳芥爲絳変俊鎮錛岃繖鏍鋒墠浼氬湪鈥滅粌綰р濈殑榪囩▼涓灝戣蛋浜涘集璺銆
鏈鍚庯紝浣滆呬笉鏄浠庝竴涓寰堥珮鐨勮掑害鏉ュ規暣涓鎴愰暱浣撶郴榪涜屼竴涓鍏ㄩ潰鍦伴槓榪般傝屾槸絝欏湪閬撹礬鐨勫湴鐐癸紝涓嶆柇鎽哥儲銆佷笉鏂鍓嶈繘銆佷笉鏂鍦拌皟鏁磋嚜宸辯殑瑙勫垝銆傚洜姝ゆ湰鏂囦笉綆楁槸Best Practices錛屽媺寮虹畻鏄疊eta version錛屼篃甯屾湜鑳藉拰澶у朵笉鏂浜ゆ祦錛屼笉鏂鈥滃彂鐗堚濄
0x01 鍏充簬AI琛屼笟鐨勬濊綆楁硶宸ョ▼甯堢殑闂ㄦ
AI綆楁硶宸ョ▼甯堝勾鍚鐧句竾錛屽簲灞婃瘯涓氱敓騫磋柂閮芥湁80w鈥 鍘誨勾AI浜烘墠緙哄彛灝卞凡緇忚繃鐧句竾錛屼粖騫村皢杈500w鈥 鍔犲叆銆奨XX璁緇冭惀銆嬶紝XX澶╂墦閫燗I綆楁硶宸ョ▼甯堚鍦ㄧ綉緇滀笂鍏呮枼鐫鍚勭嶇被浼間笂闈㈤偅鏍風殑鍚稿紩鐪肩悆鐨勬枃絝犳爣棰橈紝鍚戜綘璇夎寸潃浜哄伐鏅鴻兘榪欎竴鐏鐨勪笉鑳藉啀鐏鐨勯嗗煙緹庡ソ鐨勫墠鏅銆備豢浣涙垜浠鐪嬩簡涓ら亶瑗跨摐涔︺佸勭悊浜哅NIST鍜屽嚑鏈甸涪灝捐姳銆佸湪鑷宸辯殑絎旇版湰鐢佃剳涓婃帀浜嗗嚑涓鍖呫佸緱鍒頒簡鍜屾暀紼嬩笂涓鏍風殑緇撴灉錛屾墦浜嗗嚑鍦烘瘮璧涳紝鎴戜滑灝卞凡緇忔嬁鍒頒簡AI棰嗗煙鐨勯氳岃瘉銆佹垚鍔熻漿鍨嬬畻娉曞伐紼嬪笀銆佹帴澶у巶offer鍒版墜杞浜嗕竴鏍楓
浣嗗疄闄咃紝鐜板湪AI綆楁硶宸ョ▼甯堢殑灝變笟闅懼害鍜屽噯鍏ラ棬妲涳紝榪滄瘮鎴戜滑鎯寵薄鐨勮侀珮銆
涓婁竴寮犵綉緇滀笂嫻佷紶鐨勨滆哥為粍鏄忊濆惂
鍙浠ヨ翠竴鐐逛笉澶稿紶錛岀幇鍦ㄥ緢澶氬ぇ鍘傜殑鏍℃嫑綆楁硶宀楋紝闂ㄦ涘氨鏄嫻峰栧悕鏍/985宸ョ戦櫌鏍＄殑鍗氬＋/紜曞＋銆傞櫎浜嗘嫢鏈変笌瀛﹀巻鍖歸厤鐨勫︽湳鑳藉姏浠ュ栵紝宸ョ▼鍩虹涔熻侀潪甯告墡瀹炪
鏈変漢璇達細鈥滄垜鐪嬬綉涓婅達紝AI浜烘墠緙哄彛闈炲父澶э紝鎴戜笉鍘誨ぇ鍘備笉灝辮屼簡錛熷叾浠栫殑鍏鍙歌佹眰娌￠偅涔堥珮鍚э紵鈥
瑕佹眰楂樹笉楂樻垜涓嶇煡閬擄紝浣嗘槸鏈変竴涓嬩袱鐐癸細
緇濆ぇ澶氭暟鍏鍙革紝鏄涓嶉渶瑕侀泧浣AI綆楁硶宸ョ▼甯堬紝鍗蟲病鏈夌浉鍏崇殑涓氬姟闇奼傦紝涔熻礋鎷呬笉璧風畻娉曞洟闃熺殑寮閿 2019騫寸爺絀剁敓鎶ヨ冧漢鏁290涓囦漢錛岄勮℃嫑鐢70涓囦漢錛屽叾涓璁＄畻鏈烘槸鐑闂ㄤ笓涓氾紝騫朵笖鍏朵腑澶氭暟浜虹殑鐮旂┒鏂瑰悜閮芥槸錛 鏈哄櫒瀛︿範銆佹暟鎹鎸栨帢涔嬬被銆姝ら棿絝炰簤涔嬫縺鐑堬紝璇稿傛ょ被錛岃櫧鏈寰楀叾鐨姣涳紝涔熺暐瑙佷竴鏂戙
AI浼佷笟鐥涚偣
褰撶劧錛屾垜璇磋繖浜涗笉鏄涓轟簡鎵撳嚮澶у剁殑淇″績錛岃屾槸瑕佹寚鍑虹幇鍦ㄨ屼笟鍐呯殑鐥涚偣錛欰I宸ョ▼鍖栥
浜哄伐鏅鴻兘鍙戝睍鍒扮幇闃舵碉紝宸茬粡浠庡疄楠屽や腑鐨勭畻娉曡蛋鍚戜簡宸ョ▼鍖栧簲鐢ㄧ殑闃舵點備絾鏄綆楁硶钀藉湴騫舵病鏈夋兂璞′腑鐨勯『鍒╋紝寮濮嬫湁瓚婃潵瓚婂氳稿傚満鏅紕庣墖鍖栥佸簲鐢ㄦ垚鏈楂樸佸疄楠屽ゅ満鏅鍒板疄闄呭簲鐢ㄥ満鏅鏁堟灉宸璺濊緝澶х瓑闂棰樿鏆撮湶鍑烘潵錛岃岃繖浜涗篃鎴愪負褰撳墠闃舵礎I钀藉湴搴旂敤榪囩▼涓鏂扮殑鐥涚偣銆
棰嗗煙鍐呴珮姘村鉤鐨刾aper閮芥槸鍏寮鍙戣〃鐨勶紝闄や簡灝戞暟鐨勬牳蹇冪畻娉曪紝浜烘墠嫻庢祹鐨凙I浼佷笟寰堥毦鍦ㄧ畻娉曟ц兘涓婁笌鍙嬪晢鎷夊紑璺濈匯傞偅涔圓I浼佷笟鎯寵佸晢涓氬寲錛屾兂瑕佸壋鏀訛紝琛屼笟緇嗗垎棰嗗煙綰墊繁鎴愪簡鍐沖畾鎴愯觸鐨勯噸瑕佸洜緔犮傞渶瑕佷笅娌夊埌涓氬姟棰嗗煙錛岀湡鍒鐪熸灙鍦拌繘琛屾嫾鏉銆
鍦ㄦ妧鏈紿佺牬-鍟嗕笟鍖-浜у搧鍖-宸ョ▼鍖栫殑闃舵佃礬綰誇腑錛岄櫎浜嗘妧鏈寮猴紝鎺ヤ笅鏉ヨ繕鏈夊緢澶氳礬瑕佽蛋銆傝皝鑳藉熸洿濂芥洿蹇鍦版妸綆楁硶浠庡疄楠屽や腑鎷垮嚭鏉ャ佸崠鍑哄幓錛涙洿濂芥洿蹇鍦板皢妯″瀷浜や粯鍒頒笟鍔″満鏅錛岀湡姝ｄ駭鐢熷疄闄呯殑浠峰礆紝璁╁㈡埛婊℃剰錛岃皝鎵嶈兘媧誨緱鏇翠箙銆
瀵逛簬Scientist/Researcher鑰岃█錛屾妧鏈鍙浠ユ槸涓綃囪烘枃銆佷竴欏 ImageNet 絝炶禌鐨勫啝鍐涖佷篃鍙浠ユ槸涓涓閲嶈佹暟鍊礆紙姣斿備漢鑴歌瘑鍒鍑嗙『鐜囷級鐨勭獊鐮達紱浣嗗湪鍟嗗姟渚ф潵璇達紝璁烘枃涓庡啝鍐涘苟涓嶅疄鐢錛屽傛灉鎶鏈鏃犳硶鋙嶈繘瀹夐槻銆佹苯杞︺侀噾鋙嶇瓑琛屼笟錛屽彉鎴愬垏鍒囧疄瀹炵殑浜у搧錛屽㈡埛涓庡悎浣滀紮浼村氨浼氭嫆緇濅拱鍗曘
瀵逛簬AI浼佷笟鏉ヨ達紝鑳藉惁娣卞叆浜嗚В鍚勮屼笟鐨勪笟鍔℃祦紼嬨佷笟鍔¤勫垯銆佺煡璇嗙粡楠岋紝榪涜屽皢鎶鏈鑳藉姏杞鍖栦負涓氬姟瑙ｅ喅鏂規堝壋閫犱環鍊礆紝鏄鍙戝睍鐨勪繚闅溿
閭ｄ箞瀵逛簬鎴戜滑涓浜烘潵璇達紝搴旇ュ備綍鍙戝睍鍛錛
0x02 AI鐮斿彂AI宸ョ▼鍖
鍦ㄣ奙L/DL縐戞櫘鍚戱細浠巗klearn鍒皌ensorflow銆嬩竴鏂囦腑錛屾垜浠璋堝埌錛
鈥︹ 閭ｄ箞瀵逛簬鎴戜滑榪欎簺闈炵畻娉曞矖浣嶇殑浜烘潵璇達紝灝辨病鏈夊姙娉曟秹鍙婅繖涓棰嗗煙浜嗕箞錛熷叾瀹炴垜璁や負錛屽逛簬浼佷笟鏉ヨ達紝瀵逛簬AI浜烘墠鐨勯渶奼傚垎涓轟袱縐嶏細涓縐嶆槸瀛︽湳鐣岀殑鐗涗漢錛屽彂榪囧ぇpaper錛屾湁瀛︽湳鐣屾瘮璧涚殑緇撴灉鐨勩傚叕鍙擱渶瑕佷粬浠鍘誨仛綆楁硶鐮旂┒錛屼繚鎸佹妧鏈鐨勯嗗厛鎬э紝鍦ㄤ笟鍐呰耽寰楀彛紕戱紝榪欐牱鎵嶈兘鍦ㄩ嗗煙鍐呬繚鎸佸ご閮ㄩ嗗煙銆傚彟涓鏂歸潰錛屼漢宸ユ櫤鑳芥棭宸蹭笉鏄涓涓姒傚康浜嗭紝浼佷笟闇瑕佹妸涓氬姟閮ㄩ棬鐨勭畻娉曡惤鍦扮殑浜猴紝鑳藉熷揩閫熴佺ǔ瀹氥侀珮鏁堝湴鎶婂疄楠屽や腑鐨勭畻娉曡惤瀹炲埌鐢熶駭鐜澧冧腑錛岃В鍐沖疄闄呴棶棰樼殑浜恆傝繖灝遍渶瑕侀偅浜涘伐紼嬪簳瀛愭墡瀹炪佽兘澶熷疄鎵撳疄鍦板啓浠ｇ爜錛屽苟涓斿圭畻娉曟ā鍨嬬悊瑙ｆ繁鍒伙紝鑳藉熷揩閫熷皢AI欏圭洰宸ョ▼鍖栥佽惤鍦版湁浜у嚭鐨勫嶅悎鍨嬩漢鎵嶃
榪樻槸鍩轟簬榪欎釜瑙傜偣錛屾垜鍐沖畾灝嗚嚜韜鐨勬妧鑳芥爲鍋忓悜浼佷笟闇瑕佺殑絎浜岀嶄漢錛屼篃灝辨槸鏍囬樻墍鎻愬嚭鐨勨淎I鐮斿彂宸ョ▼甯堚濄備粠瀹為檯鐨勫伐紼嬪簲鐢ㄨ掑害鍑烘潵錛宖ocus浜哄伐鏅鴻兘欏圭洰钀藉湴鐨勫叏嫻佺▼浠ュ強瑙ｅ喅鏂規硶錛屾彁楂樿嚜宸辯殑AI宸ョ▼鍖栬兘鍔涳紝浠ユや綔涓轟釜浜烘牳蹇冪珵浜夊姏銆
AI欏圭洰鍏ㄦ祦紼
緗戠粶涓婂緢澶氭枃絝犳弿榪扮殑鎵璋撯滄満鍣ㄥ︿範欏圭洰鍏ㄦ祦紼嬧濓紝渚嬪傦細鏁版嵁鏀墮泦澶勭悊銆佺壒寰佸伐紼嬨佽緇冩ā鍨嬨佹ā鍨嬫祴璇曠瓑絳夈傝繖濂楁祦紼嬪逛笉瀵癸紵瀵廣備絾鏄榪滆繙涓嶈兘婊¤凍浼佷笟鐨勯渶奼傘
AI欏圭洰鏄鍥㈤槦鍒涢犲嚭鐨勫叿鏈夊晢涓氫環鍊肩殑浜у搧銆佹湇鍔′互鍙婁氦浠樹駭鐗┿傛湁鐫鏄庣『鐨勯渶奼傘佽″垝銆佸懆鏈熴佹垚鏈銆佷氦浠樻祦紼嬩互鍙婇獙鏀舵爣鍑嗐
浠ヤ笅浠toB涓氬姟涓轟緥錛屽笰I欏圭洰鍏ㄦ祦紼嬭繘琛岀畝鍗曟⒊鐞嗐倀oC涓氬姟澶т綋濡傛わ紝鍙鏄灝嗗㈡埛鏇挎崲鎴愬叕鍙鎬笟鍔℃柟鍗沖彲銆
鍒濇ラ渶奼傛矡閫氱『璁 璇ョ幆鑺備富瑕佹槸鐢遍攢鍞銆佸敭鍓嶅畬鎴愩備簡瑙ｅ㈡埛鐨勫熀鏈鎯呭喌錛岃緟鍔╁㈡埛鏍規嵁鑷韜涓氬姟鎸栨帢AI搴旂敤鍦烘櫙銆傛牴鎹瀹為檯鐨勪笟鍔￠渶奼傘佹暟鎹璐ㄩ噺銆佺‖浠惰祫婧愩佹湡鏈涗駭鐗╂潵璇勪及鍏蜂綋鐨勬柟妗堜互鍙婂緩妯℃濊礬銆 POC闃舵 Proof of Concept銆傚湪瀹屾垚鍒濇ョ殑璇勪及涔嬪悗錛屽洟闃熼渶瑕侀拡瀵瑰㈡埛鍏蜂綋搴旂敤榪涜岄獙璇佹ф祴璇曪紝鍖呮嫭紜瀹氫笟鍔″満鏅杈圭晫銆佷笟鍔¤瘎鍒ゆ寚鏍囥佹暟鎹璋冪爺銆佽祫婧愰渶奼傘佺‖浠/騫沖彴閮ㄧ講絳夈 鍦烘櫙鏂規堢『璁 璇ョ幆鑺傞渶瑕佸敭鍓嶃佺戝﹀躲佸伐紼嬪笀絳夊氳掕壊涓庡㈡埛榪涜岀粏鑷寸殑鍦烘櫙娌熼氾紝鏄庣『闇奼傘佺『瀹氶獙鏀舵爣鍑嗐佽瘎浼板伐浣滈噺銆傚洜涓鴻ラ樁孌電粨鏉熷悗鍗寵緭鍑篠OW鏂規堬紝鍥犳ら渶瑕佸弽澶嶆矡閫氬晢姒楓 寤烘ā寮鍙戦樁孌 4.1欏圭洰璇︾粏瑙勫垝 欏圭洰緇忕悊鏍規嵁鍓嶆湡璧勬枡鎻愪緵璇︾粏鐨勬柟妗堣捐°佸姛鑳芥竻鍗曘佽祫婧愭姇鍏ャ侀噷紼嬬戝畨鎺掔瓑鍐呭癸紝鍙寮欏圭洰鍚鍔ㄤ細錛屾槑紜欏圭洰鍐呭瑰強鍒嗗伐鑱岃矗銆 4.2鏁版嵁澶勭悊 縐戝﹀跺湪鏄庣『涓氬姟鍦烘櫙鍙婇渶奼傚悗錛屽規暟鎹澶勭悊銆傚叾鍐呭瑰寘鎷錛氭暟鎹璐ㄩ噺媯鏌ャ丒TL澶勭悊錛堝伐浣滈噺杈冨ぇ錛夈傝繕瑕佸規竻媧楀悗鐨勬暟鎹榪涜屾帰緔㈡ф暟鎹鍒嗘瀽錛圗xploratory Data Analysis錛変互鍙婂彲瑙嗗寲灞曠ず銆侲DA鑳藉熷府鍔╂垜浠鍦ㄦ帰緔㈤樁孌靛垵姝ヤ簡瑙ｆ暟鎹鐨勭粨鏋勫強鐗瑰緛錛岀敋鑷沖彂鐜頒竴浜涙ā寮忓拰妯″瀷 4.3鐗瑰緛宸ョ▼ 鏍規嵁鎺㈢儲鎬у垎鏋愬緱鍒扮殑杈撳嚭錛岀粨鍚堝瑰叿浣撲笟鍔＄殑鐞嗚В錛屽瑰垎鏁ｇ殑鏁版嵁鎷艱〃騫惰繘琛岀壒寰佸伐紼嬨 4.4寤烘ā 褰㈡垚鍒濈増寤烘ā錛屽苟瀵規牴鎹涓氬姟闇奼傝瘎浼版爣鍑嗚繘琛屾晥鏋滈獙璇併傚悗緇闇瑕佷笉鏂榪涜屾ā鍨嬭凱浠ｏ紝鐩村埌婊¤凍闇奼傦紝騫跺仛妯″瀷鏁堟灉奼囨姤銆 4.5緋葷粺鐮斿彂 灝嗚緇冨ソ鐨勬ā鍨嬪彂甯冩湇鍔°侀儴緗蹭笂綰匡紝寮鍙戝栧洿瀵規帴緋葷粺浠ュ強閮ㄥ垎瀹氬埗鍖栧姛鑳界殑寮鍙戙傝緭鍑哄彲榪愯岀殑緋葷粺銆 嫻嬭瘯涓婄嚎 瀵圭郴緇熻繘琛屾祦紼嬫祴璇曘佹ц兘嫻嬭瘯錛屾弧瓚抽渶奼傚悗瀵歸」鐩榪涜屼氦浠&楠屾敹銆 0x03 鏍稿績絝炰簤鍔&鎶鑳芥爲鏍稿績絝炰簤鍔
閫氳繃瀵笰I欏圭洰鍏ㄦ祦紼嬬殑浠嬬粛錛屾垜浠灝嗙洰鍏夌瀯鍑嗗埌鈥滃緩妯″紑鍙戦樁孌碘濈殑鈥滅郴緇熺爺鍙戔濋儴鍒嗐傝櫧鐒跺湪涓婇潰鍙鏄涓鍙ヨ瘽甯﹁繃錛屼絾鏄鍏朵腑鐨勫伐浣滈噺鍜屾妧鏈鍚閲忎笉灝忋
鎻愯搗鏈哄櫒瀛︿範錛屽挨鍏舵槸娣卞害瀛︿範錛屽ぇ瀹跺彲鑳戒細瀵硅稿俆ensorflow錛孭ytorch錛孋affee鐨勫伐鍏瘋崇啛鑳借︺備絾鍏跺疄鍦ㄥ疄闄呯殑鏈哄櫒瀛︿範鐨勭敓鍛藉懆鏈熶腑錛岃緇冩ā鍨嬶紙涓婅堪宸ュ叿涓昏佽В鍐崇殑闂棰橈級鍙鏄鏁翠釜鏈哄櫒瀛︿範鐢熷懡鍛ㄦ湡鐨勫緢灝忎竴閮ㄥ垎銆
鏁版嵁濡備綍鍑嗗囷紵濡備綍淇濊瘉綰誇笂綰誇笅涓鑷存э紵妯″瀷璁緇冨ソ浜嗗備綍鍒嗗竷寮忛儴緗詫紵濡備綍鏋勫緩HA錛熼渶瑕佹壒閲忓勭悊榪樻槸瀹炴椂澶勭悊錛熷疄鏃舵暟鎹濡備綍鎷兼帴錛熷備綍瀵規ā鍨嬫湇鍔¤繘琛岀洃鎺с佸憡璀︼紵鍋氭垚PaaS榪樻槸MLaaS錛
鏈哄櫒瀛︿範鍏鋒湁澶╃劧鐨凱ipline鐗規э紝鍦ㄤ紒涓氶渶奼備腑錛屽ぇ澶у皬灝忕殑涓氬姟鍦烘櫙鏈変紬澶氱殑妯″瀷錛岃繖浜涙ā鍨嬪備綍榪涜屾墦鍖呫佸勭悊銆佸彂甯冿紵紱葷嚎璁緇冦佹壒閲忛勪及銆佸疄鏂介勪及銆佽嚜瀛︿範絳変換鍔＄被鍨嬩氦閿欙紝涓嶅悓寤烘ā宸ュ叿Sklearn銆乀ensorflow錛孭ytorch鏋勯犵殑妯″瀷濡備綍榪涜屾暣鍚堬紵寮鍙戞嗘灦Spark ML銆丗link ML絳夊備綍鍗忓悓銆佸規帴銆傜敓浜х幆澧冨備綍榪涜屾墿灞曞拰浼哥緝錛熷備綍鏀鎸丄B Test錛
涓轟簡瑙ｅ喅榪欎簺闂棰橈紝鏂扮敓鐨勫紑婧愭嗘灦灞傚嚭涓嶇┓錛欸oogle鑷鐮旂殑瀵規帴Kubernets鍜孴ensorflow鐨勫紑婧愬鉤鍙癒ubeflow錛汼park鍥㈤槦鎵撻犵殑ML pipelines杈呭姪宸ュ叿MLflow錛涢泤鉶庢彁渚涚殑鏈哄櫒瀛︿範鍙婃湇鍔″鉤鍙癇igML錛涢樋閲屽反宸存帹鍑虹殑鍒嗗竷寮忔満鍣ㄥ︿範騫沖彴SQLflow絳夌瓑銆備紬澶氬巶鍟嗙悍綰峰彂鍔涳紝鐩鐨勫氨鏄瑙ｅ喅AI宸ョ▼鍖栧簲鐢ㄧ殑鐥涚偣銆
榪欎簺宸ヤ綔閮芥槸闇瑕佷竴澶ф壒宸ョ▼甯堝幓瀹屾垚銆傚洜姝わ紝鎴戣や負浜嗚ВAI宸ョ▼鍖栧満鏅銆佽В鍐蟲柟妗堬紱鐔熸倝AI欏圭洰嫻佺▼銆佹満鍣ㄥ︿範Pipline錛涙帉鎻AI緋葷粺鐮斿彂銆佹湇鍔￠儴緗蹭笂綰胯兘鍔涚殑宸ョ▼甯堝皢浼氶愭笎鎴愪負AI鍥㈤槦鐨勪腑鍧氬姏閲忋
鎶鑳芥爲
涔嬪墠閾哄灚浜嗛偅涔堝氾紝鏃㈡槸姊崇悊鎬濊礬錛屼篃鏄涓烘帴涓嬫潵鐨勭郴鍒楀仛涓涓寮綃囥傛寜鐓ф垜鐨勫垵姝ヨ″垝錛屾妧鑳芥爲澶ф傚寘鎷錛堜笉鍒嗗厛鍚庯級錛
宸ョ▼鑳藉姏錛 韜涓哄伐紼嬪笀棣栧厛瑕佹湁宸ョ▼鑳藉姏錛宻pringboot/Netty/Thrift/絳夌浉鍏沖伐鍏鋒嗘灦涓瀹氳佹帉鎻★紝寰鏈嶅姟鏄鏈哄櫒瀛︿範騫沖彴鐨勫熀紜銆 Spark SQL銆丼park ML絳夋洿鏄澶ф暟鎹宸ョ▼甯堢敤鏉ュ仛鏈哄櫒瀛︿範鐨勫埄鍣錛屼笉浣嗚佹帉鎻°佹洿瑕佷粠涓鎶借薄鍑烘祦紼嬪拰澶勭悊鏂規硶銆 瀹瑰櫒鍖栵細 docker鍜宬8s鐜板湪鍑犱箮鏄鏈哄櫒瀛︿範閮ㄧ講鐨勫繀澶囨妧鑳斤紝涔熸槸浼楀氬鉤鍙扮殑鍩虹銆 鏄閲嶈佺殑鍓嶇疆鎶鑳姐 鏈哄櫒瀛︿範&娣卞害瀛︿範錛 涓嶈佹眰鑳藉熸墜鎺ㄧ畻娉曘佹ā鍨嬩紭鍖栵紝浣嗚佽兘澶熶簡瑙ｅ惈涔夈佷笂鎵嬩嬌鐢錛岃搗鐮佽佹垚涓轟竴鍚嶄紭縐鐨勮皟鍖呬緺錛堜篃渚誇簬鍚規按錛夈 寮婧愭嗘灦錛 鍏跺疄鎴戞渶榪戞墦綆楀︿範kubeflow錛屽苟杈撳嚭瀛︿範絎旇板強鎬葷粨瀹炶返銆 鏈鏂囧叾瀹炴槸榪欎釜緋誨垪鐨勫紑綃囥 褰撶劧錛屽悗緇榪樻湁鏈夎皟鏁淬 0xFF 鍚庤鍏跺疄榪欑嶇被鍨嬬殑鏂囩珷錛屾瘮鍗曠函鐨勫︿範絎旇般佹妧鏈鏂囩珷闅懼啓澶氫簡銆備竴鏂歸潰錛屾嫋寤剁梲榪浣挎垜鎶婇毦鍐欑殑鏂囩珷鏀懼湪鍚庨潰鍐欙紝鍙︿竴鏂歸潰錛屽己榪鐥囧張榪浣挎垜涓瀹氳佸湪緋誨垪鍓嶅嚭涓涓寮綃囥傚叾瀹炲啓鍒版渶鍚庯紝鎬昏夊緱鏍稿績閮ㄥ垎榪樺樊鐐瑰効鎰忔濓紝娌℃湁鎼斿埌鐥掑勶紝榪欐槸鍥犱負鐩鍓嶆垜榪樻病鏈夎兘鍔涚珯鍦ㄤ竴涓鍏ㄥ矓鐨勮掑害瀵硅亴涓氭妧鏈浣撶郴榪涜屽垝鍒嗭紝鍙鑳芥⒊鐞嗗嚭鐩鍓嶇殑瑙勫垝鍜岀湅娉曘傚悗緇瑕佽繕闇鍜屾湅鍙嬩滑榪涜屼氦嫻併
鏈変簺浜嬫儏鏄涓瀹氳佸仛鐨勶紝綰佃備竴浜涘ぇ鐗涘墠杈堬紝鏃犱竴涓嶆槸鍦ㄦｇ『鐨勬椂鍊欏仛浜嗘ｇ『鐨勪簨銆傛槑紜鑷宸辯殑鐩鏍囷紝鍦ㄥ墠榪涚殑閬撹礬涓婁笉鏂寰璋冭嚜宸辯殑鏂瑰悜錛岃繖鏍鋒墠鑳藉湪榪欎釜絝炰簤嬋鐑堢殑鑱屼笟涓鐢熷瓨涓嬪幓銆
鎺ヤ笅鏉ヤ細鏈夌郴鍒楃殑鎶鏈瀛︿範絎旇幫紝鑰冭檻鍒板︿範鐨勮繛璐鎬э紝鍓嶆湡鍙鑳芥槸涓浜涘熀紜鐨刣ocker/k8s絳夌郴鍒楋紝鍚庢湡浼氱爺絀朵竴浜涘紑婧愭嗘灦銆傛妧鏈鏂囩珷鍙鑳戒細鏋鐕ヤ箯鍛籌紝鐭ヨ瘑鐐逛篃緙轟箯鏂版剰錛屼絾鏄緇忚繃鑷宸辯殑鏁寸悊鍜屽疄璺碉紝鍐嶅姞涓婅嚜韜鐨勭悊瑙ｆ劅鎮燂紝鐩鎬俊浼氫笉鏂瀹屽杽鑷宸辯殑鐭ヨ瘑浣撶郴銆