数据量少如何神经网络提高精度

① tensorRT濡備綍瀹炵幇绁炵粡缃戠粶鎺ㄧ悊鍔犻燂紵

TensorRT鏄鑻变紵杈撅紙NVIDIA锛夋帹鍑虹殑涓娆鹃珮鎬ц兘娣卞害瀛︿範鎺ㄧ悊锛圛nference锛変紭鍖栧櫒鍜岃繍琛屾椂搴撱備粠鑰屽疄鐜扮炵粡缃戠粶鎺ㄧ悊鐨勫姞閫熴備互涓嬫槸TensorRT瀹炵幇绁炵粡缃戠粶鎺ㄧ悊鍔犻熺殑涓昏佹柟娉曪細
1. 灞傝瀺鍚堬紙Layer Fusion锛夛細TensorRT閫氳繃灏嗗氫釜鐩搁偦鐨勫眰铻嶅悎涓轰竴涓鏇村ぇ鐨勫眰锛屽噺灏戣＄畻鍜屽唴瀛樿块棶娆℃暟锛屼粠鑰屾彁楂樻帹鐞嗛熷害銆備緥濡傦紝涓や釜杩炵画鐨勫嵎绉灞傚彲浠ヨ瀺鍚堜负涓涓鏇村ぇ灏哄哥殑鍗风Н灞傦紝浠庤屽噺灏戣＄畻閲忋
2. 绮惧害鏍″噯锛圥recision Calibration锛夛細TensorRT閫氳繃瀵硅缁冨ソ鐨勬ā鍨嬭繘琛岀簿搴︽牎鍑嗭紝鎵惧埌鍦ㄤ繚鎸佹ā鍨嬬簿搴︾殑鍚屾椂锛屽彲浠ヤ娇鐢ㄨ緝浣庣簿搴︾殑鏁版嵁绫诲瀷杩涜岃＄畻鐨勬柟娉曘傝繖鍙浠ュ噺灏戝唴瀛樺崰鐢ㄥ拰璁＄畻閲忥紝浠庤屾彁楂樻帹鐞嗛熷害銆
3. 鍔ㄦ佽皟鏁存壒閲忓ぇ灏忥紙Dynamic Batching锛夛細TensorRT鍙浠ユ牴鎹杈撳叆鏁版嵁鐨勫ぇ灏忓姩鎬佽皟鏁存壒澶勭悊澶у皬锛屼互鍏呭垎鍒╃敤GPU鐨勫苟琛岃＄畻鑳藉姏銆傝繖鍙浠ユ彁楂樻帹鐞嗛熷害锛屽悓鏃跺噺灏戝唴瀛樺崰鐢ㄣ
4. 澶氬昂搴︽帹鐞嗭紙Multi-Scale Inference锛夛細TensorRT鏀鎸佸氬昂搴︽帹鐞嗭紝鍗虫牴鎹杈撳叆鏁版嵁鐨勫昂瀵搁夋嫨鍚堥傜殑缃戠粶灞傝繘琛屾帹鐞嗐傝繖鍙浠ュ噺灏戜笉蹇呰佺殑璁＄畻锛屾彁楂樻帹鐞嗛熷害銆
5. 鍔ㄦ佸紶閲忥紙Dynamic Tensor锛夛細TensorRT鏀鎸佸姩鎬佸紶閲忥紝鍗冲湪杩愯屾椂鏍规嵁杈撳叆鏁版嵁鐨勫ぇ灏忓姩鎬佸垎閰嶅紶閲忋傝繖鍙浠ュ噺灏戝唴瀛樺崰鐢锛屾彁楂樻帹鐞嗛熷害銆
6. 浼樺寲绠楁硶閫夋嫨锛圤ptimized Algorithm Selection锛夛細TensorRT鎻愪緵浜嗗氱嶄紭鍖栫畻娉曪紝濡傚揩閫熷倕閲屽彾鍙樻崲锛團FT锛夈佸畾鐐硅繍绠楃瓑銆傜敤鎴峰彲浠ユ牴鎹闇瑕侀夋嫨鍚堥傜殑绠楁硶锛屼互鎻愰珮鎺ㄧ悊閫熷害銆
7. 鍐呭瓨浼樺寲锛圡emory Optimization锛夛細TensorRT閫氳繃浣跨敤鍏变韩鍐呭瓨銆佸悎骞跺唴瀛樿块棶绛夋柟寮忥紝鍑忓皯鍐呭瓨璁块棶娆℃暟锛屾彁楂樻帹鐞嗛熷害銆
8. 骞惰岃＄畻锛圥arallel Computing锛夛細TensorRT鍒╃敤GPU鐨勫苟琛岃＄畻鑳藉姏锛屽瑰氫釜杈撳叆鏁版嵁杩涜屽苟琛屽勭悊锛屼粠鑰屾彁楂樻帹鐞嗛熷害銆
鎬讳箣锛孴ensorRT閫氳繃涓婅堪澶氱嶆柟娉曞疄鐜颁簡绁炵粡缃戠粶鎺ㄧ悊鐨勫姞閫熴傝繖浜涙柟娉曞彲浠ュ湪涓嶅悓绋嬪害涓婃彁楂樻帹鐞嗛熷害銆侀檷浣庡唴瀛樺崰鐢锛

② 如何提高bp神经网络的预测精度啊

跟你的预测对象有很大关系。
1. 根据你的预测对象的特性选取合适的输入层、输出层和隐层神经元数目。
2. 选择合适的神经网络训练函数。
3. 保证足够的训练样本数据，并且确保这个训练样本数据有足够的精度能够反映需要预测的对象的特性。

③ 浜屽煎寲绁炵粡缃戠粶濡備綍閫氳繃淇鍓鎻愰珮鏈哄櫒瀛︿範鏁堢巼鍜屽噯纭鎬э紵

杩堝悜楂樻晥鏈哄櫒瀛︿範鏂扮邯鍏冿細浜屽煎寲绁炵粡缃戠粶鐨勯潻鏂

濡傚悓鍥鑹鸿壓鏈涓淇鍓妞嶈浠ユ縺鍙戠敓鏈猴紝缇庡浗鑳芥簮閮ㄥお骞虫磱瑗垮寳鍥藉跺疄楠屽(PNNL)鐨勭爺绌惰呬滑宸у欏湴灏嗚繖涓鍘熺悊搴旂敤鍒颁簡鏈哄櫒瀛︿範棰嗗煙銆備粬浠鎺㈢储鐨勪簩鍊煎寲绁炵粡缃戠粶(BNN)锛屼綔涓轰竴绉嶆繁搴﹀︿範鐨勭畝鍖栫増锛岄氳繃鍓鏋濇妧鏈瀹炵幇浜嗘樉钁楃殑璁＄畻鏁堢巼鎻愬崌鍜屽唴瀛樹紭鍖栥

BNN鐨勭嫭鐗逛箣澶勫湪浜庯紝姣忎釜绁炵粡鍏冨拰鍙傛暟浠呯敤鍗曚釜浣嶈繘琛岀紪鐮侊紝杩欐剰鍛崇潃瀹冨湪淇濇寔楂樼簿搴︾殑鍚屾椂锛屽硅＄畻璧勬簮鐨勯渶姹傚ぇ澶ч檷浣庛傝嚜2016骞翠互鏉ワ紝鐮旂┒鍥㈤槦鍙戠幇锛屽彧瑕佺簿蹇冭捐″拰淇鍓锛孊NN鑳藉熷湪鎵嬫満銆佹櫤鑳借惧囧拰鐗╄仈缃戠瓑璧勬簮鍙楅檺鐨勭幆澧冧腑灞曠幇鍑哄己澶ф綔鍔涳紝鎻愪緵涓庢繁搴︾炵粡缃戠粶鐩稿綋鐨勬ц兘锛屽悓鏃舵秷鑰楃殑鑳芥簮鍜岃＄畻鎴愭湰鏇翠綆銆

PNNL鐨勮＄畻鏈虹戝﹀禔ng Li鎸囧嚭锛屼慨鍓宸叉垚涓烘満鍣ㄥ︿範鐮旂┒涓鐨勭儹闂ㄨ瘽棰橈紝瀹冧笉浠呮湁鍔╀簬鎻愬崌璁惧囨ц兘锛岃繕甯︽潵浜嗚兘婧愭晥鐜囧拰璁＄畻鎴愭湰鐨勫弻閲嶈妭鐪併備粬浠鐨勭爺绌惰〃鏄庯紝閫氳繃鍓鏋濆啑浣欑殑浣嶏紝鍙浠ユ瀯寤哄嚭鍚嶄负O3BNN-R鐨勫畾鍒朵贡搴廈NN锛屽畠鍦ㄤ繚鎸侀珮搴﹀帇缂╃殑妯″瀷涓嬶紝渚濈劧鑳藉熷睍鐜板嚭鎺ヨ繎瓒呯骇璁＄畻鐨勫崜瓒婃ц兘锛屼笖鍦ㄧ簿搴︿笂姣鏃犳崯澶便

娉㈠＋椤垮ぇ瀛︾殑鍗氬＋鐢烼ong鈥淭ony鈥 Geng寮鸿皟锛屼簩鍊肩炵粡缃戠粶鐨勬綔鍔涘湪浜庡叾澶勭悊鏃堕棿鐨勫井绉掔骇閫熷害锛岃繖灏嗘瀬澶ф帹鍔ㄧ炵粡缃戠粶鍦ㄧ幇瀹炰笘鐣岀殑骞挎硾搴旂敤銆侴eng琛ㄧず锛屼粬浠鐨勫彂鐜颁负瀹炵幇杩欎竴娼滃姏杩堝嚭浜嗗叧閿涓姝ワ紝鏈鏉ョ殑鐮旂┒灏嗚繘涓姝ヤ紭鍖栨ц兘锛屼娇鍏舵洿鍔犺妭鑳戒笖楂樻晥銆

闄や簡瀵圭墿鑱旂綉鐨勭Н鏋佸奖鍝嶏紝鏉庣殑鐮旂┒鍥㈤槦杩樻寚鍑猴紝鏀硅繘鐨凚NN鎶鏈瀵逛簬鐢电綉瀹夊叏涔熸湁娼滃湪浠峰笺傞氳繃澧炲己鐜版湁杞浠剁殑闃叉姢鑳藉姏锛孊NN鍙浠ュ崗鍔╃數缃戜紶鎰熷櫒璇嗗埆骞舵姷寰＄綉缁滄敾鍑伙紝浠庤屾彁鍗囨暣涓绯荤粺鐨勭ǔ瀹氭у拰瀹夊叏鎬с

鎬荤殑鏉ヨ达紝浜屽煎寲绁炵粡缃戠粶鐨勪慨鍓绛栫暐涓嶄粎灞曠ず浜嗘満鍣ㄥ︿範鐨勯潻鏂颁箣璺锛屼篃涓鸿兘婧愬拰瀹夊叏棰嗗煙鐨勬湭鏉ュ甫鏉ヤ簡鍏夋槑銆傚湪杩欎釜蹇閫熷彂灞曠殑棰嗗煙锛屼慨鍓鎴愪负浜嗘彁鍗囨ц兘銆佽妭绾﹁祫婧愮殑鍏抽敭鎵嬫碉紝棰勭ず鐫楂樻晥銆佺簿纭鐨勬満鍣ㄥ︿範鎶鏈姝ｉ愭笎鎴愪负鐜板疄銆

④ 鍏ㄥ嵎绉绁炵粡缃戠粶鍙浠ラ氳繃浠涔堟彁楂樺浘鍍忓垎鍓茬簿搴

鍏ㄥ嵎绉绁炵粡缃戠粶鍙浠ラ氳繃绁炵粡缃戠粶鐨勬ā鍨嬫彁楂樺浘鍍忓垎鍓茬簿搴︺

鍏ㄥ嵎绉绁炵粡缃戠粶瑙ｅ喅鏂规堜篃鏈夊緢澶氥傜櫨搴/璋锋瓕鎼滅储杩囨嫙鍚 overfitting锛屼釜浜轰細浼樺厛灏濊瘯鍑忓皬缃戠粶瑙勬ā锛屾瘮濡傚眰鏁般佸嵎绉婊ゆ尝鍣ㄤ釜鏁般佸叏杩炴帴灞傜殑鍗曞厓鏁拌繖浜涖傚叾浠栫殑姣斿侱ropout锛屾暟鎹澧炲己/鎵╁厖锛屾ｅ垯锛宔arlystop锛宐atchnorm涔熼兘鍙浠ュ皾璇曘

鍏ㄥ嵎绉绁炵粡缃戠粶闅愬惈灞傦細

鍏ㄥ嵎绉绁炵粡缃戠粶鍗风Н绁炵粡缃戠粶鐨勯殣鍚灞傚寘鍚鍗风Н灞傘佹睜鍖栧眰鍜屽叏杩炴帴灞3绫诲父瑙佹瀯绛戯紝鍦ㄤ竴浜涙洿涓虹幇浠ｇ殑绠楁硶涓鍙鑳芥湁Inception妯″潡銆佹畫宸鍧楋紙resial block锛夌瓑澶嶆潅鏋勭瓚銆傚湪甯歌佹瀯绛戜腑锛屽嵎绉灞傚拰姹犲寲灞備负鍗风Н绁炵粡缃戠粶鐗规湁銆傚嵎绉灞備腑鐨勫嵎绉鏍稿寘鍚鏉冮噸绯绘暟銆

鍏ㄥ嵎绉绁炵粡缃戠粶鑰屾睜鍖栧眰涓嶅寘鍚鏉冮噸绯绘暟锛屽洜姝ゅ湪鏂囩尞涓锛屾睜鍖栧眰鍙鑳戒笉琚璁や负鏄鐙绔嬬殑灞傘備互LeNet-5涓轰緥锛3绫诲父瑙佹瀯绛戝湪闅愬惈灞備腑鐨勯『搴忛氬父涓猴細杈撳叆-鍗风Н灞-姹犲寲灞-鍏ㄨ繛鎺ュ眰-杈撳嚭銆