『壹』 濡備綍瑙ｉ噴spark mllib涓瑼LS綆楁硶鐨勫師鐞
瀵逛簬涓涓猽sers-procts-rating鐨勮瘎鍒嗘暟鎹闆嗭紝ALS浼氬緩絝嬩竴涓猽ser*proct鐨刴*n鐨勭煩闃
鍏朵腑錛宮涓簎sers鐨勬暟閲忥紝n涓簆rocts鐨勬暟閲
浣嗘槸鍦ㄨ繖涓鏁版嵁闆嗕腑錛屽苟涓嶆槸姣忎釜鐢ㄦ埛閮藉規瘡涓浜у搧榪涜岃繃璇勫垎錛屾墍浠ヨ繖涓鐭╅樀寰寰鏄紼鐤忕殑錛岀敤鎴穒瀵逛駭鍝乯鐨勮瘎鍒嗗線寰鏄絀虹殑
ALS鎵鍋氱殑浜嬫儏灝辨槸灝嗚繖涓紼鐤忕煩闃甸氳繃涓瀹氱殑瑙勫緥濉婊★紝榪欐牱灝卞彲浠ヤ粠鐭╅樀涓寰楀埌浠繪剰涓涓猽ser瀵逛換鎰忎竴涓猵roct鐨勮瘎鍒嗭紝ALS濉鍏呯殑璇勫垎欏逛篃縐頒負鐢ㄦ埛i瀵逛駭鍝乯鐨勯勬祴寰楀垎
鎵浠ヨ達紝ALS綆楁硶鐨勬牳蹇冨氨鏄閫氳繃浠涔堟牱瀛愮殑瑙勫緥鏉ュ～婊★紙棰勬祴錛夎繖涓紼鐤忕煩闃
瀹冩槸榪欎箞鍋氱殑錛
鍋囪緈*n鐨勮瘎鍒嗙煩闃礡錛屽彲浠ヨ榪戜技鍒嗚В鎴怳*(V)T
U涓簃*d鐨勭敤鎴風壒寰佸悜閲忕煩闃
V涓簄*d鐨勪駭鍝佺壒寰佸悜閲忕煩闃碉紙(V)T浠ｈ〃V鐨勮漿緗錛屽師璋呮垜涓嶄細鎵撹漿緗榪欎釜絎﹀彿銆傘傦級
d涓簎ser/proct鐨勭壒寰佸肩殑鏁伴噺
鍏充簬d榪欎釜鍊肩殑鐞嗚В錛屽ぇ姒傚彲浠ユ槸榪欐牱鐨
瀵逛簬姣忎釜浜у搧錛屽彲浠ヤ粠d涓瑙掑害榪涜岃瘎浠鳳紝浠ョ數褰變負渚嬶紝鍙浠ヤ粠涓繪紨錛屽兼紨錛岀壒鏁堬紝鍓ф儏4涓瑙掑害鏉ヨ瘎浠蜂竴閮ㄧ數褰憋紝閭ｄ箞d灝辯瓑浜4
鍙浠ヨや負錛屾瘡閮ㄧ數褰卞湪榪4涓瑙掑害涓婇兘鏈変竴涓鍥哄畾鐨勫熀鍑嗚瘎鍒嗗
渚嬪傘婃湯鏃ュ穿濉屻嬭繖閮ㄧ數褰辨槸涓涓浜у搧錛屽畠鐨勭壒寰佸悜閲忔槸鐢眃涓鐗瑰緛鍊肩粍鎴愮殑
d=4錛屾湁4涓鐗瑰緛鍊礆紝鍒嗗埆鏄涓繪紨錛屽兼紨錛岀壒鏁堬紝鍓ф儏
姣忎釜鐗瑰緛鍊肩殑鍩哄噯璇勫垎鍊煎垎鍒涓猴紙婊″垎涓1.0錛夛細
涓繪紨錛0.9錛堝ぇ鍏夊ご榪樻槸閭ｄ箞闇告皵錛
瀵兼紨錛0.7
鐗規晥錛0.8
鍓ф儏錛0.6
鐭╅樀V鐢眓涓猵roct*d涓鐗瑰緛鍊肩粍鎴
瀵逛簬鐭╅樀U錛屽亣璁懼逛簬浠繪剰鐨勭敤鎴稟錛岃ョ敤鎴峰逛竴閮ㄧ數褰辯殑緇煎悎璇勫垎鍜岀數褰辯殑鐗瑰緛鍊煎瓨鍦ㄤ竴瀹氱殑綰挎у叧緋伙紝鍗崇數褰辯殑緇煎悎璇勫垎=(a1*d1+a2*d2+a3*d3+a4*d4)
鍏朵腑a1-4涓虹敤鎴稟鐨勭壒寰佸礆紝d1-4涓轟箣鍓嶆墍璇寸殑鐢靛獎鐨勭壒寰佸
鍙傝冿細
鍗忓悓榪囨護涓鐨勭煩闃靛垎瑙ｇ畻娉曠爺絀
閭ｄ箞瀵逛簬涔嬪墠ALS綆楁硶鐨勮繖涓鍋囪
m*n鐨勮瘎鍒嗙煩闃礡錛屽彲浠ヨ榪戜技鍒嗚В鎴怳*(V)T
灝辨槸鎴愮珛鐨勶紝鏌愪釜鐢ㄦ埛瀵規煇涓浜у搧鐨勮瘎鍒嗗彲浠ラ氳繃鐭╅樀U鏌愯屽拰鐭╅樀V錛堣漿緗錛夌殑鏌愬垪鐩鎬箻寰楀埌
閭ｄ箞鐜板湪鐨勯棶棰樻槸錛屽備綍紜瀹氱敤鎴峰拰浜у搧鐨勭壒寰佸礆紵錛堜箣鍓嶄粎浠呮槸涓句緥瀛愶紝瀹為檯涓榪欎袱涓閮芥槸鏈鐭ョ殑鍙橀噺錛
閲囩敤鐨勬槸浜ゆ浛鐨勬渶灝忎簩涔樻硶
鍦ㄤ笂闈㈢殑鍏寮忎腑錛宎琛ㄧず璇勫垎鏁版嵁闆嗕腑鐢ㄦ埛i瀵逛駭鍝乯鐨勭湡瀹炶瘎鍒嗭紝鍙﹀栦竴閮ㄥ垎琛ㄧず鐢ㄦ埛i鐨勭壒寰佸悜閲忥紙杞緗錛*浜у搧j鐨勭壒寰佸悜閲忥紙榪欓噷鍙浠ュ緱鍒伴勬祴鐨剗瀵筳鐨勮瘎鍒嗭級
鐢ㄧ湡瀹炶瘎鍒嗗噺鍘婚勬祴璇勫垎鐒跺悗奼傚鉤鏂癸紝瀵逛笅涓涓鐢ㄦ埛錛屼笅涓涓浜у搧榪涜岀浉鍚岀殑璁＄畻錛屽皢鎵鏈夌粨鏋滅瘡鍔犺搗鏉ワ紙鍏朵腑錛屾暟鎹闆嗘瀯鎴愮殑鐭╅樀鏄瀛樺湪澶ч噺鐨勭┖鎵撳垎錛屽苟娌℃湁瀹為檯鐨勮瘎鍒嗭紝瑙ｅ喅鐨勬柟娉曟槸灝卞彧鐪嬪瑰凡鐭ユ墦鍒嗙殑欏癸級
鍙傝冿細
ALS 鍦 Spark MLlib 涓鐨勫疄鐜
浣嗘槸榪欓噷涔嬪墠闂棰樿繕鏄瀛樺湪錛屽氨鏄鐢ㄦ埛鍜屼駭鍝佺殑鐗瑰緛鍚戦噺閮芥槸鏈鐭ョ殑錛岃繖涓寮忓瓙瀛樺湪涓や釜鏈鐭ュ彉閲
瑙ｅ喅鐨勫姙娉曟槸浜ゆ浛鐨勬渶灝忎簩涔樻硶
棣栧厛瀵逛簬涓婇潰鐨勫叕寮忥紝浠ヤ笅闈㈢殑褰㈠紡鏄劇ず錛
涓轟簡闃叉㈣繃搴︽嫙鍚堬紝鍔犱笂姝ｅ垯鍖栧弬鏁
棣栧厛鐢ㄤ竴涓灝忎簬1鐨勯殢鏈烘暟鍒濆嬪寲V
鏍規嵁鍏寮忥紙4錛夋眰U
姝ゆ椂灝卞彲浠ュ緱鍒板垵濮嬬殑UV鐭╅樀浜嗭紝璁＄畻涓婇潰璇磋繃鐨勫樊騫蟲柟鍜
鏍規嵁璁＄畻寰楀埌鐨刄鍜屽叕寮忥紙5錛夛紝閲嶆柊璁＄畻騫惰嗙洊V錛岃＄畻宸騫蟲柟鍜
鍙嶅嶈繘琛屼互涓婁袱姝ョ殑璁＄畻錛岀洿鍒板樊騫蟲柟鍜屽皬浜庝竴涓棰勮劇殑鏁幫紝鎴栬呰凱浠ｆ℃暟婊¤凍瑕佹眰鍒欏仠姝
鍙栧緱鏈鏂扮殑UV鐭╅樀
鍒欏師鏈鐨勭█鐤忕煩闃礡灝卞彲浠ョ敤R=U(V)T鏉ヨ〃紺轟簡
浠ヤ笂鍏寮忓唴瀹規埅鍥炬潵鑷錛
鍩轟簬鐭╅樀鍒嗚В鐨勫崗鍚岃繃婊ょ畻娉
鎬葷粨涓涓嬶細
ALS綆楁硶鐨勬牳蹇冨氨鏄灝嗙█鐤忚瘎鍒嗙煩闃靛垎瑙ｄ負鐢ㄦ埛鐗瑰緛鍚戦噺鐭╅樀鍜屼駭鍝佺壒寰佸悜閲忕煩闃電殑涔樼Н
浜ゆ浛浣跨敤鏈灝忎簩涔樻硶閫愭ヨ＄畻鐢ㄦ埛/浜у搧鐗瑰緛鍚戦噺錛屼嬌寰楀樊騫蟲柟鍜屾渶灝
閫氳繃鐢ㄦ埛/浜у搧鐗瑰緛鍚戦噺鐨勭煩闃墊潵棰勬祴鏌愪釜鐢ㄦ埛瀵規煇涓浜у搧鐨勮瘎鍒
涓嶇煡閬撴槸涓嶆槸鐞嗚В姝ｇ『浜
『貳』 Spark 怎麼讀文件名
Apache Spark 本身
1.MLlib
AMPLab
Spark最初誕生於伯克利 AMPLab實驗室，如今依然還是AMPLab所致力的項目，盡管這些不處於Apache Spark Foundation中，但是依然在你日常的github項目中享有相當的地位。
ML Base
Spark本身的MLLib位於三層ML Base中的最底層，MLI位於中間層，ML Optimizer則處於最為抽象的頂層。
2.MLI
3.ML Optimizer (又稱 Ghostface)
Ghostware這個項目在2014年就開始進行了，不過從未對外公布。在這39個機器學習庫中，這是唯一一個霧件，之所以能囊括在這列表中，全憑著AMPLab與ML Base的地位支撐。
ML Base之外
4.Splash
這是近期2015年6月的一個項目，在運行隨機梯度下降（SGD）時這套隨機學習演算法聲稱在性能上比Spark MLib中快了25%-75%。這是AMPLab實驗室的sp標記項目，因此值得我們去閱讀。
5.Keystone ML
KML將端到端的機器學習管道引進到了Spark中，但在近期Spark版本中管道已經趨於成熟。同樣也承諾具有一些計算機視覺能力，我曾經在博客中也提到過這也存在一些局限。
6.Velox
作為一個伺服器專門負責管理大量機器學習模型的收集。
7.CoCoA
通過優化通信模式與shuffles來實現更快的機器學習，詳情可見這篇論文的描述《高效通信分布式雙坐標上升》。
框架
GPU-based
8.DeepLearning4j
我曾經的一則博客有進行說明 《DeepLearning4J 增加了Spark gpu的支持》。
9.Elephas
全新的概念，這也是我寫這篇博客的初衷。它提供了一個介面給Keras。
Non-GPU-based
10.DistML
模式並行下而並非數據並行的參數伺服器（正如 Spark MLib）。
11.Aerosolve
來自Airbnb，用於他們自動化定價。
12. Zen
邏輯斯諦回歸、隱含狄利克雷分布（LDA）、因子分解機、神經網路、受限玻爾茲曼機。
13.Distributed Data Frame
與Spark DataFrame類似，但是引擎是不可知的（例如在未來它將運行在引擎上而不是Spark）。其中包括了交叉驗證和外部機器學習庫的介面。
其他機器學習系統的介面
14. spark-corenlp
封裝了斯坦福CoreNLP。
15. Sparkit-learn
給Python Scikit-learn的介面。
16. Sparkling Water
給 的介面。
17. hivemall-spark
封裝了Hivemall,，在Hive中的機器學習。
18. spark-pmml-exporter-validator
可導出預測模型標記語言（PMML），一種用於傳遞機器學習模型的行業標準的XML格式。
附加組件：增強MLlib中現有的演算法。
19. MLlib-dropout
為Spark MLLib 增加dropout能力。基於以下這篇論文進行的實現，《Dropout：一個簡單的方法來防止神經網路中的過擬合》。
20.generalized-kmeans-clustering
為K-Means演算法增加任意距離函數。
21. spark-ml-streaming
可視化的流式機器學習演算法內置於Spark MLlib。
演算法
監督學習
22. spark-libFM
因子分解機。
23. ScalaNetwork
遞歸神經網路（RNNs）。
24. dissolve-struct
基於上文中提到的高性能Spark通信框架CoCoA下的支持向量機（SVM）。
25. Sparkling Ferns
基於以下這篇論文進行的實現，《通過使用隨機森林與隨機蕨演算法的圖像分類技術》。
26. streaming-matrix-factorization
矩陣分解推薦系統。
對於Java程序員，大數據的主流平台hadoop是基於Java開發的，所以Java程序員往大數據開發方向轉行從語言環境上更為順暢，另外很多基於大數據的應用框架也是Java的，所以在很多大數據項目里掌握Java語言是有一定優勢的。
當然，hadoop核心價值在於提供了分布式文件系統和分布式計算引擎，對於大部分公司而言，並不需要對這個引擎進行修改。這時候除了熟悉編程，你通常還需要學習數據處理和數據挖掘的一些知識。尤其是往數據挖掘工程師方向發展，則你需要掌握更多的演算法相關的知識。
對於數據挖掘工程師而言，雖然也需要掌握編程工具，但大部分情況下是把hadoop當做平台和工具，藉助這個平台和工具提供的介面使用各種腳本語言進行數據處理和數據挖掘。因此，如果你是往數據挖掘工程方向發展，那麼，熟練掌握分布式編程語言如scala、spark-mllib等可能更為重要。
Java程序員轉大數據工程師的學習路線圖：
第一步：分布式計算框架
掌握hadoop和spark分布式計算框架，了解文件系統、消息隊列和Nosql資料庫，學習相關組件如hadoop、MR、spark、hive、hbase、redies、kafka等；
第二步：演算法和工具
學習了解各種數據挖掘演算法，如分類、聚類、關聯規則、回歸、決策樹、神經網路等，熟練掌握一門數據挖掘編程工具：Python或者Scala。目前主流平台和框架已經提供了演算法庫，如hadoop上的Mahout和spark上的Mllib，你也可以從學習這些介面和腳本語言開始學習這些演算法。
第三步：數學
補充數學知識：高數、概率論和線代
第四步：項目實踐
1)開源項目：tensorflow：Google的開源庫，已經有40000多個star，非常驚人，支持移動設備；
2)參加數據競賽
3)通過企業實習獲取項目經驗
如果你僅僅是做大數據開發和運維，則可以跳過第二步和第三步，如果你是側重於應用已有演算法進行數據挖掘，那麼第三步也可以先跳過。