深度學習編程演算法有哪些

① 13個最常用的Python深度學習庫介紹

13個最常用的Python深度學習庫介紹
如果你對深度學習和卷積神經網路感興趣，但是並不知道從哪裡開始，也不知道使用哪種庫，那麼這里就為你提供了許多幫助。
在這篇文章里，我詳細解讀了9個我最喜歡的Python深度學習庫。
這個名單並不詳盡，它只是我在計算機視覺的職業生涯中使用並在某個時間段發現特別有用的一個庫的列表。
這其中的一些庫我比別人用的多很多，尤其是Keras、mxnet和sklearn-theano。
其他的一些我是間接的使用，比如Theano和TensorFlow（庫包括Keras、deepy和Blocks等）。
另外的我只是在一些特別的任務中用過（比如nolearn和他們的Deep Belief Network implementation）。
這篇文章的目的是向你介紹這些庫。我建議你認真了解這里的每一個庫，然後在某個具體工作情境中你就可以確定一個最適用的庫。
我想再次重申，這份名單並不詳盡。此外，由於我是計算機視覺研究人員並長期活躍在這個領域，對卷積神經網路（細胞神經網路）方面的庫會關注更多。
我把這個深度學習庫的列表分為三個部分。
第一部分是比較流行的庫，你可能已經很熟悉了。對於這些庫，我提供了一個通俗的、高層次的概述。然後，針對每個庫我詳細解說了我的喜歡之處和不喜歡之處，並列舉了一些適當的應用案例。
第二部分進入到我個人最喜歡的深度學習庫，也是我日常工作中使用最多的，包括：Keras、mxnet和sklearn-theano等。
最後，我對第一部分中不經常使用的庫做了一個「福利」板塊，你或許還會從中發現有用的或者是在第二板塊中我還沒有嘗試過但看起來很有趣的庫。
接下來就讓我們繼續探索。
針對初學者：
Caffe
提到「深度學習庫」就不可能不說到Caffe。事實上，自從你打開這個頁面學習深度學習庫，我就敢打保票你肯定聽說Caffe。
那麼，究竟Caffe是什麼呢？
Caffe是由Berkeley Vision and Learning Center（BVLC）建立的深度學習框架。它是模塊化的，速度極快。而且被應用於學術界和產業界的start-of-the-art應用程序中。
事實上，如果你去翻閱最新的深度學習出版物（也提供源代碼），你就很可能會在它們相關的GitHub庫中找到Caffe模型。
雖然Caffe本身並不是一個Python庫，但它提供綁定到Python上的編程語言。我們通常在新領域開拓網路的時候使用這些綁定。
我把Caffe放在這個列表的原因是它幾乎被應用在各個方面。你可以在一個空白文檔里定義你的模型架構和解決方案，建立一個JSON文件類型的.prototxt配置文件。Caffe二進制文件提取這些.prototxt文件並培訓你的網路。Caffe完成培訓之後，你可以把你的網路和經過分類的新圖像通過Caffe二進制文件，更好的就直接通過Python或MATLAB的API。
雖然我很喜歡Caffe的性能（它每天可以在K40 GPU上處理60萬張圖片），但相比之下我更喜歡Keras和mxnet。
主要的原因是，在.prototxt文件內部構建架構可能會變得相當乏味和無聊。更重要的是， Caffe不能用編程方式調整超參數！由於這兩個原因，在基於Python的API中我傾向於對允許我實現終端到終端聯播網的庫傾斜（包括交叉驗證和調整超參數）。
Theano
在最開始我想說Theano是美麗的。如果沒有Theano，我們根本不會達到現有的深度學習庫的數量（特別是在Python）。同樣的，如果沒有numpy，我們就不會有SciPy、scikit-learn和 scikit-image,，同樣可以說是關於Theano和深度學習更高級別的抽象。
非常核心的是，Theano是一個Python庫，用來定義、優化和評估涉及多維數組的數學表達式。 Theano通過與numpy的緊密集成，透明地使用GPU來完成這些工作。
雖然可以利用Theano建立深度學習網路，但我傾向於認為Theano是神經網路的基石，同樣的numpy是作為科學計算的基石。事實上，大多數我在文章中提到的庫都是圍繞著Theano，使自己變得更加便利。
不要誤會我的意思，我愛Theano，我只是不喜歡用Theano編寫代碼。
在Theano建設卷積神經網路就像只用本機Python中的numpy寫一個定製的支持向量機（SVM），當然這個對比並不是很完美。
你可以做到嗎？
當然可以。
它值得花費您的時間和精力嗎？
嗯，也許吧。這取決於你是否想擺脫低級別或你的應用是否需要。
就個人而言，我寧願使用像Keras這樣的庫，它把Theano包裝成更有人性化的API，同樣的方式，scikit-learn使機器學習演算法工作變得更加容易。
TensorFlow
與Theano類似，TensorFlow是使用數據流圖進行數值計算的開源庫（這是所有神經網路固有的特徵）。最初由谷歌的機器智能研究機構內的Google Brain Team研究人員開發，此後庫一直開源，並提供給公眾。
相比於Theano ，TensorFlow的主要優點是分布式計算，特別是在多GPU的環境中（雖然這是Theano正在攻克的項目）。
除了用TensorFlow而不是Theano替換Keras後端，對於TensorFlow庫我並沒有太多的經驗。然而在接下來的幾個月里，我希望這有所改變。
Lasagne
Lasagne是Theano中用於構建和訓練網路的輕量級庫。這里的關鍵詞是輕量級的，也就意味著它不是一個像Keras一樣圍繞著Theano的重包裝的庫。雖然這會導致你的代碼更加繁瑣，但它會把你從各種限制中解脫出來，同時還可以讓您根據Theano進行模塊化的構建。
簡而言之：Lasagne的功能是Theano的低級編程和Keras的高級抽象之間的一個折中。
我最喜歡的：
Keras
如果我必須選出一個最喜歡的深度學習Python庫，我將很難在Keras和mxnet中做出抉擇——但最後，我想我會選Keras。
說真的，Keras的好處我說都說不完。
Keras是一個最低限度的、模塊化的神經網路庫，可以使用Theano或TensorFlow作為後端。Keras最主要的用戶體驗是，從構思到產生結果將會是一個非常迅速的過程。
在Keras中架構網路設計是十分輕松自然的。它包括一些state-of-the-art中針對優化（Adam，RMSProp）、標准化（BatchNorm）和激活層（PReLU，ELU，LeakyReLU）最新的演算法。
Keras也非常注重卷積神經網路，這也是我十分需要的。無論它是有意還是無意的，我覺得從計算機視覺的角度來看這是非常有價值的。
更重要的是，你既可以輕松地構建基於序列的網路（其中輸入線性流經網路）又可以創建基於圖形的網路（輸入可以「跳過」某些層直接和後面對接）。這使得創建像GoogLeNet和SqueezeNet這樣復雜的網路結構變得容易得多。
我認為Keras唯一的問題是它不支持多GPU環境中並行地訓練網路。這可能會也可能不會成為你的大忌。
如果我想盡快地訓練網路，那麼我可能會使用mxnet。但是如果我需要調整超參數，我就會用Keras設置四個獨立的實驗（分別在我的Titan X GPUs上運行）並評估結果。
mxnet
我第二喜歡的深度學習Python庫無疑就是mxnet（重點也是訓練圖像分類網路）。雖然在mxnet中站立一個網路可能需要較多的代碼，但它會提供給你驚人數量的語言綁定（C ++、Python、R、JavaScript等）。
Mxnet庫真正出色的是分布式計算，它支持在多個CPU / GPU機訓練你的網路，甚至可以在AWS、Azure以及YARN集群。
它確實需要更多的代碼來設立一個實驗並在mxnet上運行（與Keras相比），但如果你需要跨多個GPU或系統分配訓練，我推薦mxnet。
sklearn-theano
有時候你並不需要終端到終端的培養一個卷積神經網路。相反，你需要把CNN看作一個特徵提取器。當你沒有足夠的數據來從頭培養一個完整的CNN時它就會變得特別有用。僅僅需要把你的輸入圖像放入流行的預先訓練架構，如OverFeat、AlexNet、VGGNet或GoogLeNet，然後從FC層提取特徵（或任何您要使用的層）。
總之，這就是sklearn-theano的功能所在。你不能用它從頭到尾的訓練一個模型，但它的神奇之處就是可以把網路作為特徵提取器。當需要評估一個特定的問題是否適合使用深度學習來解決時，我傾向於使用這個庫作為我的第一手判斷。
nolearn
我在PyImageSearch博客上用過幾次nolearn，主要是在我的MacBook Pro上進行一些初步的GPU實驗和在Amazon EC2 GPU實例中進行深度學習。
Keras把 Theano和TensorFlow包裝成了更具人性化的API，而nolearn也為Lasagne做了相同的事。此外，nolearn中所有的代碼都是與scikit-learn兼容的，這對我來說絕對是個超級的福利。
我個人不使用nolearn做卷積神經網路（CNNs），但你當然也可以用（我更喜歡用Keras和mxnet來做CNNs）。我主要用nolearn來製作Deep Belief Networks (DBNs)。
DIGITS
DIGITS並不是一個真正的深度學習庫（雖然它是用Python寫的）。DIGITS（深度學習GPU培訓系統）實際上是用於培訓Caffe深度學習模式的web應用程序（雖然我認為你可以破解源代碼然後使用Caffe以外其他的後端進行工作，但這聽起來就像一場噩夢）。
如果你曾經用過Caffe，那麼你就會知道通過它的終端來定義.prototxt文件、生成圖像數據、運行網路並監管你的網路訓練是相當繁瑣的。 DIGITS旨在通過讓你在瀏覽器中執行這些任務來解決這個問題。
此外，DIGITS的用戶界面非常出色，它可以為你提供有價值的統計數據和圖表作為你的模型訓練。另外，你可以通過各種輸入輕松地可視化網路中的激活層。最後，如果您想測試一個特定的圖像，您可以把圖片上傳到你的DIGITS伺服器或進入圖片的URL，然後你的Caffe模型將會自動分類圖像並把結果顯示在瀏覽器中。干凈利落！
Blocks
說實話，雖然我一直想嘗試，但截至目前我的確從來沒用過Blocks（這也是我把它包括在這個列表裡的原因）。就像許多個在這個列表中的其他庫一樣，Blocks建立在Theano之上，呈現出一個用戶友好型的API。
deepy
如果讓你猜deepy是圍繞哪個庫建立的，你會猜什麼？
沒錯，就是Theano。
我記得在前一段時間用過deepy（做了初始提交），但在接下里的大概6-8個月我都沒有碰它了。我打算在接下來的博客文章里再嘗試一下。
pylearn2
雖然我從沒有主動地使用pylearn2，但由於歷史原因，我覺得很有必要把它包括在這個列表裡。 Pylearn2不僅僅是一般的機器學習庫（地位類似於scikit-learn），也包含了深度學習演算法的實現。
對於pylearn2我最大的擔憂就是（在撰寫本文時），它沒有一個活躍的開發者。正因為如此，相比於像Keras和mxnet這樣的有積極維護的庫，推薦pylearn2我還有些猶豫。
Deeplearning4j
這本應是一個基於Python的列表，但我想我會把Deeplearning4j包括在這里，主要是出於對他們所做事跡的無比崇敬——Deeplearning4j為JVM建立了一個開源的、分布式的深度學習庫。
如果您在企業工作，你可能會有一個塞滿了用過的Hadoop和MapRece伺服器的儲存器。也許這些你還在用，也許早就不用了。
你怎樣才能把這些相同的伺服器應用到深度學習里？
事實證明是可以的——你只需要Deeplearning4j。
總計
以上就是本文關於13個最常用的Python深度學習庫介紹的全部內容

② 深度學習主要是學習哪些演算法

深度學習（也稱為深度結構化學習或分層學習）是基於人工神經網路的更廣泛的機器學習方法族的一部分。學習可以是有監督的、半監督的或無監督的。
深度學習架構，例如深度神經網路、深度信念網路、循環神經網路和卷積神經網路，已經被應用於包括計算機視覺、語音識別、自然語言處理、音頻識別、社交網路過濾、機器翻譯、生物信息學、葯物設計、醫學圖像分析、材料檢查和棋盤游戲程序在內的領域，在這些領域中，它們的成果可與人類專家媲美，並且在某些情況下勝過人類專家。
神經網路受到生物系統中信息處理和分布式通信節點的啟發。人工神經網路與生物大腦有各種不同。具體而言，神經網路往往是靜態和象徵性的，而大多數生物的大腦是動態(可塑)和模擬的。
定義
深度學習是一類機器學習演算法： 使用多個層逐步從原始輸入中逐步提取更高級別的特徵。例如，在圖像處理中，較低層可以識別邊緣，而較高層可以識別對人類有意義的部分，例如數字/字母或面部。

③ 2019年十大最佳深度學習框架

作者 | Python語音識別

來源 | 濤哥聊Python

雖然我們大多數人都驚嘆為什麼DL這么好？在使用大量數據進行訓練時，它在准確性方面非常出色。近幾年隨著深度學習演算法的發展，出現了很多深度學習的框架，這些框架各有所長，各具特色。下面將為大家介紹2019年最受歡迎的十大深度學習框架。

TensorFlow

谷歌的Tensorflow可以說是當今最受歡迎的深度學習框架。Gmail，Uber，Airbnb，Nvidia以及其他許多知名品牌都在使用。TF是目前深度學習的主流框架，Tensorflow主要特性：

TensorFlow支持python、JavaScript、C ++、Java和Go，C＃和Julia等多種編程語言。 TF不僅擁有強大的計算集群，還可以在iOS和Android等移動平台上運行模型。 TF編程入門難度較大。初學者需要仔細考慮神經網路的架構，正確評估輸入和輸出數據的維度和數量。 TF使用靜態計算圖進行操作 。也就是說我們需要先定義圖形，然後運行計算，如果我們需要對架構進行更改，我們會重新訓練模型。選擇這樣的方法是為了提高效率，但是許多現代神經網路工具能夠在學習過程中考慮改進而不會顯著降低學習速度。在這方面，TensorFlow的主要競爭對手是PyTorch 。

TensorFlow優點：

它非常適合創建和試驗深度學習架構，便於數據集成，如輸入圖形，SQL表和圖像。 它得到谷歌的支持，這就說明該模型短期內不會被拋棄，因此值得投入時間來學習它。 PyTorch

Tensorflow之後用於深度學習的主要框架是PyTorch。PyTorch框架是Facebook開發的，已被Twitter和Salesforce等公司使用。

PyTorch基本特性：

與TensorFlow不同，PyTorch庫使用動態更新的圖形進行操作 。這意味著它可以在流程中更改體系結構。 在PyTorch中，您可以使用標准調試器 ，例如pdb或PyCharm。

PyTorch優點：

訓練神經網路的過程簡單明了。同時，PyTorch支持數據並行和分布式學習模型，並且還包含許多預先訓練的模型。 PyTorch更適合小型項目和原型設計。 Sonnet

Sonnet深度學習框架是建立在TensorFlow的基礎之上。它是DeepMind用於創建具有復雜架構的神經網路。

Sonnet基本特性：

面向對象的庫，在開發神經網路（NN）或其他機器學習（ML）演算法時更加抽象。 Sonnet的想法是構造對應於神經網路的特定部分的主要Python對象。此外，這些對象獨立地連接到計算TensorFlow圖。分離創建對象並將其與圖形相關聯的過程簡化了高級體系結構的設計。

Sonnet優點：

Sonnet的主要優點是可以使用它來重現DeepMind論文中展示的研究，比Keras更容易，因為DeepMind論文模型就是使用Sonnet搭建的。 Keras

Keras是一個機器學習框架，如果您擁有大量數據和/或你想快速入門深度學習，那麼Keras將非常適合學習。Keras是TensorFlow高級集成APi，可以非常方便的和TensorFlow進行融合。這是我強烈推薦學習的一個庫。

Keras基本特性：

除了Tensorflow之外，Keras還是其他流行的庫（如Theano和CNTK）的高級API。 在Keras中更容易創建大規模的深度學習模型，但Keras框架環境配置比其他底層框架要復雜一些。

Keras優點：

對於剛剛入門的人來說，Keras是最好的深度學習框架。它是學習和原型化簡單概念的理想選擇，可以理解各種模型和學習過程的本質。 Keras是一個簡潔的API。 可以快速幫助您創建應用程序。 Keras中代碼更加可讀和簡潔。 Keras模型序列化/反序列化API，回調和使用Python生成器的數據流非常成熟。

順便說一下TensorFlow和Keras的對比：

PS：Tensorflow處於底層框架：這和MXNet，Theano和PyTorch等框架一樣。包括實現諸如廣義矩陣 - 矩陣乘法和諸如卷積運算的神經網路原語之類的數學運算。

Keras處於高度集成框架。雖然更容易創建模型，但是面對復雜的網路結構時可能不如TensorFlow。

MXNet

MXNet是一種高度可擴展的深度學習工具，可用於各種設備。雖然與TensorFlow相比，它似乎沒有被廣泛使用，但MXNet的增長可能會因為成為一個Apache項目而得到提升。

MXNet基本特性：

該框架支持多種語言，如C ++，Python，R，Julia，JavaScript，Scala，Go，甚至Perl。 可以在多個GPU和許多機器上非常有效地並行計算。

MXNet優點：

支持多個GPU（具有優化的計算和快速上下文切換） 清晰且易於維護的代碼（Python，R，Scala和其他API） 快速解決問題的能力（對於像我這樣的深度學習新手至關重要）

雖然它不像TF那麼受歡迎，但MXNet具有詳細的文檔並且易於使用，能夠在命令式和符號式編程風格之間進行選擇，使其成為初學者和經驗豐富的工程師的理想選擇。

GLUON

Gluon是一個更好的深度學習框架，可以用來創建復雜的模型。GLUON基本特性：

Gluon的特殊性是具有一個靈活的界面，簡化了原型設計，構建和培訓深度學習模型，而不會犧牲學習速度。 Gluon基於MXNet，提供簡單的API，簡化深度學習模型的創建。 與PyTorch類似，Gluon框架支持使用動態圖表 ，將其與高性能MXNet相結合。從這個角度來看，Gluon看起來像是分布式計算的Keras非常有趣的替代品。

GLUON優點：

在Gluon中，您可以使用簡單，清晰和簡潔的代碼定義神經網路。 它將訓練演算法和神經網路模型結合在一起，從而在不犧牲性能的情況下提供開發過程的靈活性。 Gluon可以定義動態的神經網路模型，這意味著它們可以動態構建，使用任何結構，並使用Python的任何本機控制流。 SWIFT

當你聽到Swift時，您可能會考慮iOS或MacOS的應用程序開發。但是如果你正在學習深度學習，那麼你一定聽說過Swens for Tensorflow。通過直接與通用編程語言集成，Swift for TensorFlow可以以前所未有的方式表達更強大的演算法。SWIFT基本特性：

可以輕松獲得可微分的自定義數據結構。 下一代API 。通過實踐和研究獲得的新API更易於使用且更強大。 在TensorFlow的基礎上 ，Swift API為您提供對所有底層TensorFlow運算符的直接調用。 基於Jupyter、LLDB或者Swift in Colab的編程工具提高了您的工作效率。

SWIFT優點：

如果動態語言不適合您的任務，那麼這將是一個很好的選擇。當你訓練運行了幾個小時，然後你的程序遇到類型錯誤，那麼使用Swift，一種靜態類型語言。您將看到代碼錯誤的地方。 Chainer

直到CMU的DyNet和Facebook的PyTorch出現之前，Chainer是動態計算圖或網路的領先神經網路框架，它允許輸入數據長度不一致。chainer基本特性：

Chainer代碼是在Numpy和CuPy庫的基礎之上用純Python編寫的， Chainer是第一個使用動態架構模型的框架。

Chainer優點：

通過自己的基準測試，Chainer明顯比其他面向Python的框架更快，TensorFlow是包含MxNet和CNTK的測試組中最慢的。 比TensorFlow更好的GPU和GPU數據中心性能。最近Chainer成為GPU數據中心性能的全球冠軍。 DL4J

那些使用Java或Scala的人應該注意DL4J（Deep Learning for Java的簡稱）。DL4J的基本特性：

DL4J中的神經網路訓練通過簇的迭代並行計算。 該過程由Hadoop和Spark架構支持。 使用Java允許您在Android設備的程序開發周期中使用。

DL4J優點：

如果您正在尋找一個良好的Java深度學習框架，這會是一個非常好的平台。 ONNX

ONNX項目誕生於微軟和Facebook，旨在尋找深度學習模型呈現的開放格式。ONNX簡化了在人工智慧的不同工作方式之間傳遞模型的過程。因此ONNX具有各種深度學習框架的優點。

ONNX基本特性：

ONNX使模型能夠在一個框架中進行訓練並轉移到另一個框架中進行推理。ONNX模型目前在Caffe2，Microsoft Cognitive Toolkit，MXNet和PyTorch中得到支持，並且還有許多其他常見框架和庫的連接器。

ONNX優點：

對於PyTorch開發人員來說，ONNX是一個好的選擇。但是對於那些喜歡TensorFlow的人來說，Keras等可能好一點。 總結

那麼您應該使用哪種深度學習框架？下面是幾點建議：

如果你剛剛開始學習，那麼最好的選擇是Keras 。 出於研究目的，請選擇PyTorch 。 對於生產，您需要關注環境。因此對於Google Cloud，最好的選擇是TensorFlow ，適用於AWS - MXNet和Gluon 。 Android開發人員應該關注D4LJ ，對於iOS來說， Core ML會破壞類似的任務范圍。 最後， ONNX將幫助解決不同框架之間的交互問題。

④ 常見的深度學習演算法主要有哪些

深度學習常見的3種演算法有：卷積神經網路、循環神經網路、生成對抗網路。
卷積神經網路(Convolutional Neural Networks, CNN)是一類包含卷積計算且具有深度結構的前饋神經網路(Feedforward Neural Networks)，是深度學習的代表演算法之一。
循環神經網路(Recurrent Neural Network, RNN)是一類以序列數據為輸入，在序列的演進方向進行遞歸且所有節點(循環單元)按鏈式連接的遞歸神經網路。
生成對抗網路(GAN, Generative Adversarial Networks )是一種深度學習模型，是最近兩年十分熱門的一種無監督學習演算法。

⑤ 深度學習，包括哪些

作為人工智慧最稀缺的人才之一，深度學習工程師面臨近百萬的缺口，成為了各大企業競相爭奪的香餑餑，月薪大都在30K-80K之間。越來越多的程序員、院校學生開始學習深度學習演算法。

可以說，如果你想要提升技能，在專業領域更上一步，《AI深度學習》可以成為你當下的選擇！