數據量少如何神經網路提高精度

① tensorRT濡備綍瀹炵幇紲炵粡緗戠粶鎺ㄧ悊鍔犻燂紵

TensorRT鏄鑻變紵杈撅紙NVIDIA錛夋帹鍑虹殑涓嬈鵑珮鎬ц兘娣卞害瀛︿範鎺ㄧ悊錛圛nference錛変紭鍖栧櫒鍜岃繍琛屾椂搴撱備粠鑰屽疄鐜扮炵粡緗戠粶鎺ㄧ悊鐨勫姞閫熴備互涓嬫槸TensorRT瀹炵幇紲炵粡緗戠粶鎺ㄧ悊鍔犻熺殑涓昏佹柟娉曪細
1. 灞傝瀺鍚堬紙Layer Fusion錛夛細TensorRT閫氳繃灝嗗氫釜鐩擱偦鐨勫眰鋙嶅悎涓轟竴涓鏇村ぇ鐨勫眰錛屽噺灝戣＄畻鍜屽唴瀛樿塊棶嬈℃暟錛屼粠鑰屾彁楂樻帹鐞嗛熷害銆備緥濡傦紝涓や釜榪炵畫鐨勫嵎縐灞傚彲浠ヨ瀺鍚堜負涓涓鏇村ぇ灝哄哥殑鍗風Н灞傦紝浠庤屽噺灝戣＄畻閲忋
2. 綺懼害鏍″噯錛圥recision Calibration錛夛細TensorRT閫氳繃瀵硅緇冨ソ鐨勬ā鍨嬭繘琛岀簿搴︽牎鍑嗭紝鎵懼埌鍦ㄤ繚鎸佹ā鍨嬬簿搴︾殑鍚屾椂錛屽彲浠ヤ嬌鐢ㄨ緝浣庣簿搴︾殑鏁版嵁綾誨瀷榪涜岃＄畻鐨勬柟娉曘傝繖鍙浠ュ噺灝戝唴瀛樺崰鐢ㄥ拰璁＄畻閲忥紝浠庤屾彁楂樻帹鐞嗛熷害銆
3. 鍔ㄦ佽皟鏁存壒閲忓ぇ灝忥紙Dynamic Batching錛夛細TensorRT鍙浠ユ牴鎹杈撳叆鏁版嵁鐨勫ぇ灝忓姩鎬佽皟鏁存壒澶勭悊澶у皬錛屼互鍏呭垎鍒╃敤GPU鐨勫苟琛岃＄畻鑳藉姏銆傝繖鍙浠ユ彁楂樻帹鐞嗛熷害錛屽悓鏃跺噺灝戝唴瀛樺崰鐢ㄣ
4. 澶氬昂搴︽帹鐞嗭紙Multi-Scale Inference錛夛細TensorRT鏀鎸佸氬昂搴︽帹鐞嗭紝鍗蟲牴鎹杈撳叆鏁版嵁鐨勫昂瀵擱夋嫨鍚堥傜殑緗戠粶灞傝繘琛屾帹鐞嗐傝繖鍙浠ュ噺灝戜笉蹇呰佺殑璁＄畻錛屾彁楂樻帹鐞嗛熷害銆
5. 鍔ㄦ佸紶閲忥紙Dynamic Tensor錛夛細TensorRT鏀鎸佸姩鎬佸紶閲忥紝鍗沖湪榪愯屾椂鏍規嵁杈撳叆鏁版嵁鐨勫ぇ灝忓姩鎬佸垎閰嶅紶閲忋傝繖鍙浠ュ噺灝戝唴瀛樺崰鐢錛屾彁楂樻帹鐞嗛熷害銆
6. 浼樺寲綆楁硶閫夋嫨錛圤ptimized Algorithm Selection錛夛細TensorRT鎻愪緵浜嗗氱嶄紭鍖栫畻娉曪紝濡傚揩閫熷倕閲屽彾鍙樻崲錛團FT錛夈佸畾鐐硅繍綆楃瓑銆傜敤鎴峰彲浠ユ牴鎹闇瑕侀夋嫨鍚堥傜殑綆楁硶錛屼互鎻愰珮鎺ㄧ悊閫熷害銆
7. 鍐呭瓨浼樺寲錛圡emory Optimization錛夛細TensorRT閫氳繃浣跨敤鍏變韓鍐呭瓨銆佸悎騫跺唴瀛樿塊棶絳夋柟寮忥紝鍑忓皯鍐呭瓨璁塊棶嬈℃暟錛屾彁楂樻帹鐞嗛熷害銆
8. 騫惰岃＄畻錛圥arallel Computing錛夛細TensorRT鍒╃敤GPU鐨勫苟琛岃＄畻鑳藉姏錛屽瑰氫釜杈撳叆鏁版嵁榪涜屽苟琛屽勭悊錛屼粠鑰屾彁楂樻帹鐞嗛熷害銆
鎬諱箣錛孴ensorRT閫氳繃涓婅堪澶氱嶆柟娉曞疄鐜頒簡紲炵粡緗戠粶鎺ㄧ悊鐨勫姞閫熴傝繖浜涙柟娉曞彲浠ュ湪涓嶅悓紼嬪害涓婃彁楂樻帹鐞嗛熷害銆侀檷浣庡唴瀛樺崰鐢錛

② 如何提高bp神經網路的預測精度啊

跟你的預測對象有很大關系。
1. 根據你的預測對象的特性選取合適的輸入層、輸出層和隱層神經元數目。
2. 選擇合適的神經網路訓練函數。
3. 保證足夠的訓練樣本數據，並且確保這個訓練樣本數據有足夠的精度能夠反映需要預測的對象的特性。

③ 浜屽煎寲紲炵粡緗戠粶濡備綍閫氳繃淇鍓鎻愰珮鏈哄櫒瀛︿範鏁堢巼鍜屽噯紜鎬э紵

榪堝悜楂樻晥鏈哄櫒瀛︿範鏂扮邯鍏冿細浜屽煎寲紲炵粡緗戠粶鐨勯潻鏂

濡傚悓鍥鑹鴻壓鏈涓淇鍓妞嶈浠ユ縺鍙戠敓鏈猴紝緹庡浗鑳芥簮閮ㄥお騫蟲磱瑗垮寳鍥藉跺疄楠屽(PNNL)鐨勭爺絀惰呬滑宸у欏湴灝嗚繖涓鍘熺悊搴旂敤鍒頒簡鏈哄櫒瀛︿範棰嗗煙銆備粬浠鎺㈢儲鐨勪簩鍊煎寲紲炵粡緗戠粶(BNN)錛屼綔涓轟竴縐嶆繁搴﹀︿範鐨勭畝鍖栫増錛岄氳繃鍓鏋濇妧鏈瀹炵幇浜嗘樉钁楃殑璁＄畻鏁堢巼鎻愬崌鍜屽唴瀛樹紭鍖栥

BNN鐨勭嫭鐗逛箣澶勫湪浜庯紝姣忎釜紲炵粡鍏冨拰鍙傛暟浠呯敤鍗曚釜浣嶈繘琛岀紪鐮侊紝榪欐剰鍛崇潃瀹冨湪淇濇寔楂樼簿搴︾殑鍚屾椂錛屽硅＄畻璧勬簮鐨勯渶奼傚ぇ澶ч檷浣庛傝嚜2016騫翠互鏉ワ紝鐮旂┒鍥㈤槦鍙戠幇錛屽彧瑕佺簿蹇冭捐″拰淇鍓錛孊NN鑳藉熷湪鎵嬫満銆佹櫤鑳借懼囧拰鐗╄仈緗戠瓑璧勬簮鍙楅檺鐨勭幆澧冧腑灞曠幇鍑哄己澶ф綔鍔涳紝鎻愪緵涓庢繁搴︾炵粡緗戠粶鐩稿綋鐨勬ц兘錛屽悓鏃舵秷鑰楃殑鑳芥簮鍜岃＄畻鎴愭湰鏇翠綆銆

PNNL鐨勮＄畻鏈虹戝﹀禔ng Li鎸囧嚭錛屼慨鍓宸叉垚涓烘満鍣ㄥ︿範鐮旂┒涓鐨勭儹闂ㄨ瘽棰橈紝瀹冧笉浠呮湁鍔╀簬鎻愬崌璁懼囨ц兘錛岃繕甯︽潵浜嗚兘婧愭晥鐜囧拰璁＄畻鎴愭湰鐨勫弻閲嶈妭鐪併備粬浠鐨勭爺絀惰〃鏄庯紝閫氳繃鍓鏋濆啑浣欑殑浣嶏紝鍙浠ユ瀯寤哄嚭鍚嶄負O3BNN-R鐨勫畾鍒朵貢搴廈NN錛屽畠鍦ㄤ繚鎸侀珮搴﹀帇緙╃殑妯″瀷涓嬶紝渚濈劧鑳藉熷睍鐜板嚭鎺ヨ繎瓚呯駭璁＄畻鐨勫崜瓚婃ц兘錛屼笖鍦ㄧ簿搴︿笂姣鏃犳崯澶便

娉㈠＋欏垮ぇ瀛︾殑鍗氬＋鐢烼ong鈥淭ony鈥 Geng寮鴻皟錛屼簩鍊肩炵粡緗戠粶鐨勬綔鍔涘湪浜庡叾澶勭悊鏃墮棿鐨勫井縐掔駭閫熷害錛岃繖灝嗘瀬澶ф帹鍔ㄧ炵粡緗戠粶鍦ㄧ幇瀹炰笘鐣岀殑騫挎硾搴旂敤銆侴eng琛ㄧず錛屼粬浠鐨勫彂鐜頒負瀹炵幇榪欎竴娼滃姏榪堝嚭浜嗗叧閿涓姝ワ紝鏈鏉ョ殑鐮旂┒灝嗚繘涓姝ヤ紭鍖栨ц兘錛屼嬌鍏舵洿鍔犺妭鑳戒笖楂樻晥銆

闄や簡瀵圭墿鑱旂綉鐨勭Н鏋佸獎鍝嶏紝鏉庣殑鐮旂┒鍥㈤槦榪樻寚鍑猴紝鏀硅繘鐨凚NN鎶鏈瀵逛簬鐢電綉瀹夊叏涔熸湁娼滃湪浠峰箋傞氳繃澧炲己鐜版湁杞浠剁殑闃叉姢鑳藉姏錛孊NN鍙浠ュ崗鍔╃數緗戜紶鎰熷櫒璇嗗埆騫舵姷寰＄綉緇滄敾鍑伙紝浠庤屾彁鍗囨暣涓緋葷粺鐨勭ǔ瀹氭у拰瀹夊叏鎬с

鎬葷殑鏉ヨ達紝浜屽煎寲紲炵粡緗戠粶鐨勪慨鍓絳栫暐涓嶄粎灞曠ず浜嗘満鍣ㄥ︿範鐨勯潻鏂頒箣璺錛屼篃涓鴻兘婧愬拰瀹夊叏棰嗗煙鐨勬湭鏉ュ甫鏉ヤ簡鍏夋槑銆傚湪榪欎釜蹇閫熷彂灞曠殑棰嗗煙錛屼慨鍓鎴愪負浜嗘彁鍗囨ц兘銆佽妭綰﹁祫婧愮殑鍏抽敭鎵嬫碉紝棰勭ず鐫楂樻晥銆佺簿紜鐨勬満鍣ㄥ︿範鎶鏈姝ｉ愭笎鎴愪負鐜板疄銆

④ 鍏ㄥ嵎縐紲炵粡緗戠粶鍙浠ラ氳繃浠涔堟彁楂樺浘鍍忓垎鍓茬簿搴

鍏ㄥ嵎縐紲炵粡緗戠粶鍙浠ラ氳繃紲炵粡緗戠粶鐨勬ā鍨嬫彁楂樺浘鍍忓垎鍓茬簿搴︺

鍏ㄥ嵎縐紲炵粡緗戠粶瑙ｅ喅鏂規堜篃鏈夊緢澶氥傜櫨搴/璋鋒瓕鎼滅儲榪囨嫙鍚 overfitting錛屼釜浜轟細浼樺厛灝濊瘯鍑忓皬緗戠粶瑙勬ā錛屾瘮濡傚眰鏁般佸嵎縐婊ゆ嘗鍣ㄤ釜鏁般佸叏榪炴帴灞傜殑鍗曞厓鏁拌繖浜涖傚叾浠栫殑姣斿侱ropout錛屾暟鎹澧炲己/鎵╁厖錛屾ｅ垯錛宔arlystop錛宐atchnorm涔熼兘鍙浠ュ皾璇曘

鍏ㄥ嵎縐紲炵粡緗戠粶闅愬惈灞傦細

鍏ㄥ嵎縐紲炵粡緗戠粶鍗風Н紲炵粡緗戠粶鐨勯殣鍚灞傚寘鍚鍗風Н灞傘佹睜鍖栧眰鍜屽叏榪炴帴灞3綾誨父瑙佹瀯絳戱紝鍦ㄤ竴浜涙洿涓虹幇浠ｇ殑綆楁硶涓鍙鑳芥湁Inception妯″潡銆佹畫宸鍧楋紙resial block錛夌瓑澶嶆潅鏋勭瓚銆傚湪甯歌佹瀯絳戜腑錛屽嵎縐灞傚拰奼犲寲灞備負鍗風Н紲炵粡緗戠粶鐗規湁銆傚嵎縐灞備腑鐨勫嵎縐鏍稿寘鍚鏉冮噸緋繪暟銆

鍏ㄥ嵎縐紲炵粡緗戠粶鑰屾睜鍖栧眰涓嶅寘鍚鏉冮噸緋繪暟錛屽洜姝ゅ湪鏂囩尞涓錛屾睜鍖栧眰鍙鑳戒笉琚璁や負鏄鐙絝嬬殑灞傘備互LeNet-5涓轟緥錛3綾誨父瑙佹瀯絳戝湪闅愬惈灞備腑鐨勯『搴忛氬父涓猴細杈撳叆-鍗風Н灞-奼犲寲灞-鍏ㄨ繛鎺ュ眰-杈撳嚭銆