lstm代碼

㈠ LSTM神經網路輸入輸出究竟是怎樣的

關於如何輸入的問題，LSTM是一個序列模型，對於輸入數據也是一個序列，LSTM每個時間版步處理的是序列中權一個時刻的輸入，比如你當前輸入是一個漢字「我」，因為模型只能接受的是數值向量，因此需要embedding，「我」就需要變成了一個向量，假如是[0.1,0.8,3.2,4.3]（通過wordembedding技術獲得），這里向量維度是4，那麼就需要4個神經元去接收向量中的每個元素，而這四個神經元就構成了當前時刻的LSTMUnit，其他時刻也是這樣，從而完成輸入。因此就可以知道輸入層神經元（LSTMunit中神經元數）的個數等於詞向量的size。

㈡ LSTM鐨勫熀紜鐭ヨ瘑

LSTM錛岄暱鐭鏈熻板繂緗戠粶鐨勯瓟娉

鎯寵薄涓涓嬶紝澶勭悊鏃墮棿搴忓垪鏁版嵁鐨勮秴綰ц嫳闆勨斺擫STM錛屽畠鐨勫瓨鍦ㄥ氨鏄涓轟簡鐮磋В闀誇緷璧栨х殑璋滈樸傜敱璁板繂緇嗚優銆佽緭鍏ラ棬銆佽緭鍑洪棬鍜岄仐蹇橀棬緇勬垚鐨勫嶆潅緇撴瀯錛屾ｆ槸瀹冪殑縐樺瘑姝﹀櫒錛屼負RNN鐨勬搴﹂棶棰樻壘鍒頒簡瑙ｅ喅鏂規堛傚湪閲戣瀺棰勬祴鐨勬旦娓烘槦嫻蜂腑錛孡STM濡傚悓瀵艱埅鐏錛屾崟鎹夊巻鍙茬殑鑴夊姩錛岄傚簲甯傚満鐨勫崈鍙樹竾鍖栵紝灝界℃洿楂樼殑璁＄畻澶嶆潅搴︽槸瀹冪殑鎸戞垬錛屼絾緇撳悎鍏朵粬鎶鏈錛屽畠鐨勭簿鍑嗗害鐘瑰傛槦杈板ぇ嫻瘋埇娣變笉鍙嫻嬨

璁板繂緇嗚優錛孡STM鐨勬牳蹇冩墍鍦錛屽傚悓涓搴т俊鎮鐨勫疂鈃忥紝鐢辮緭鍏ラ棬銆侀仐蹇橀棬鍜岃緭鍑洪棬宸у欏湴鎺у埗鐫淇℃伅鐨勮繘鍑哄拰鏇存柊銆傚弻鍚慙STM鍜屾繁搴﹀弻鍚慙STM鍒欏傚悓鍗囩駭鐗堢殑瓚呯駭鑻遍泟錛屽簲瀵規洿澶嶆潅鐨勬椂絀烘寫鎴樸備粠鏂囨湰鐢熸垚鐨勭咯緲╄搗鑸烇紝鍒拌闊寵瘑鍒鐨勭粏寰宸鍒鎹曟崏錛屽啀鍒版満鍣ㄧ炕璇戠殑璺ㄨ璦娌熼氾紝LSTM鐨勮Е瑙掓棤澶勪笉鍦錛岃瘉鏄庝簡瀹冨湪鍚勪釜棰嗗煙鐨勫崜瓚婅〃鐜般

鐒惰岋紝LSTM騫墮潪涓韞磋屽氨錛屽畠涓嶳NN鐨勮緝閲忔槸鏅烘収鐨勫瑰喅銆俁NN鍦ㄧ煭渚濊禆闂棰樹笂濡傞奔寰楁按錛屼絾LSTM鍑鍊熼棬鎺ф満鍒剁殑鍗撹秺澶勭悊鑳藉姏錛屽挨鍏跺湪澶勭悊闀垮簭鍒椾腑鐨勪俊鎮嫻佸姩鏃訛紝灞曠幇鍑轟簡鏃犲彲姣旀嫙鐨勪紭鍔褲傚湪鏂囨湰鐢熸垚涓錛孡STM鍍忔槸涓浣嶈瘲浜猴紝鐢ㄥ叾鐙鐗圭殑緇撴瀯鍜岃板繂錛岀紪緇囧嚭涓棣栭栫編濡欑殑璇楃瘒銆傞夋嫨LSTM榪樻槸RNN錛屽氨濡傚悓鎸戦夐傚悎鐨勫伐鍏鳳紝鍙栧喅浜庝換鍔＄殑娣卞害鍜屽箍搴﹂渶奼傘

涓句釜瀹炰緥錛岃緇冧竴涓璇楁瓕鐢熸垚妯″瀷錛屾垜浠鐢≒ython鍜孠eras緙栫粐浠ｇ爜鐨勬棆寰嬨傛暟鎹棰勫勭悊鏄搴忔洸錛屾ā鍨嬫瀯寤哄垯鏄涓繪棆寰嬶紝浠嶦mbedding鍒癓STM鍐嶅埌Dropout錛屾瘡涓鐜鑺傞兘鏄涓轟簡寮曞艱瘲姝岀殑鏃嬪緥銆傜敓鎴愭枃鏈鐨勮繃紼嬶紝灝卞儚鍒涗綔涓棣栬瘲錛屼粠鍒濆嬬殑縐嶅瓙寮濮嬶紝閫氳繃妯″瀷鐨勬櫤鎱э紝閫愯瘝鐢熼暱錛岀洿鑷沖畬鎴愪竴棣栧畬鏁寸殑璇楃瘒銆

LSTM鍦ㄨ闊寵瘑鍒涓鐨勫簲鐢ㄥ悓鏍蜂護浜虹灘鐩錛屽畠濡傚悓涓浣嶉瓟鏈甯堬紝閫氳繃淇″彿棰勫勭悊鍜岀壒寰佹彁鍙栵紝鎻愬崌璇闊寵川閲忓拰璇嗗埆鐨勫噯紜搴︺傚湪鏈哄櫒緲昏瘧鐨勯嗗煙錛孡STM濡傚悓緲昏瘧瀹訛紝鏋勫緩鐨勮璦妯″瀷鍜岀炕璇戞ā鍨嬪崗鍚屽伐浣滐紝鍒涢犲嚭嫻佺晠鐨勮法鏂囧寲浜ゆ祦銆

鏈鏉ワ紝LSTM鐨勮繘鍖栧苟鏈姝㈡ワ紝GRU鍜孴ransformer絳夋柊鐗堟湰鐨勫嚭鐜幫紝浠ュ強璁緇冩晥鐜囧拰鏁版嵁闇奼傜殑浼樺寲錛屽皢浣縇STM鐨勮秴鑳藉姏鏇村姞寮哄ぇ銆傚敖綆¤緇冭繃紼嬪彲鑳借楁椂錛屼絾閫氳繃鏁版嵁澧炲己鍜岄勮緇冪殑鎶宸э紝鎴戜滑渚濈劧鍙浠ラ┚椹榪欏己澶х殑宸ュ叿錛岃╁畠鍦ㄥ悇縐嶆寫鎴樹腑澶ф斁寮傚僵銆