1. 生成對抗網路Generative Adversarial Nets (GAN)
生成對抗網路（Generative Adversarial Nets, GAN）是一種深度學習模型，旨在通過兩個相互競爭的神經網路——生成器（Generator）和判別器（Discriminator）——來學習數據分布，並生成與真實數據相似的新數據。以下是對 GAN 思想和過程的詳細闡述。
理解分布是關鍵。分布描述了樣本的屬性或特徵的概率分布情況。例如，男性身高、膚色、手長、腿長等屬性的分布圖，可以幫助我們了解這些特徵在人群中的取值范圍及其分布情況。
通過統計學方法，如曲線擬合，可以估計這些屬性的分布情況。但這存在局限性，首先，選擇刻畫樣本的指標可能不準確，因為單一特徵可能無法全面描述個體。其次，曲線擬合在高維空間中較為困難，且難以判斷合適曲線的選取。
GAN 的目標在於捕獲數據集的分布，並生成與之類似的新數據。生成器通過學習生成新樣本，而判別器則通過評估樣本是來自真實數據集還是生成器，來提升生成器的生成能力。生成器與判別器之間形成對抗，不斷調整參數以優化生成數據的真偽性。
在訓練過程中，生成器的目標是生成與真實數據分布一致的數據，而判別器則試圖區分生成數據與真實數據。兩者之間的競爭促使生成器不斷改進，最終生成與真實數據分布接近的新樣本。
實際訓練中，GAN 面臨挑戰，包括如何選擇合適的特徵、判別器與生成器之間權衡的困難以及收斂問題。盡管如此，GAN 已在圖像生成、風格轉換等領域展現出強大能力。
了解 GAN 的基本原理和訓練流程，可以利用 PyTorch 等工具實現模型構建和訓練。通過實踐，可以深入探索 GAN 在不同任務中的應用和優化策略。
2. 進化網路改進的對抗生成網路（GAN）實現
本文基於Nature期刊2023年7月5日的《Skilful nowcasting of extreme precipitation with NowcastNet》研究，探討了進化網路如何優化對抗生成網路（GAN）在氣候預測任務中的性能。傳統的GAN在訓練過程中存在困難，但通過引入進化網路，模型的性能得到了顯著提升，收斂速度加快，損失值降低。實驗結果顯示，相比於原生GAN，進化GAN在圖像預測任務中的表現更為出色，如對比圖所示。
研究中的NowcastNet網路結構包括一個進化網路模塊，該模塊通過捕捉輸入數據的物理信息，增強生成器的性能。生成器結構中，Evolution Encoder處理輸入數據，然後通過Motion decoder和Intensity decoder進一步處理，生成的物理信息與原始圖片一起輸入到外層生成網路。辨別器部分，推薦使用具有殘差機制的Resnet，以減少梯度消失問題。
在損失函數方面，除了傳統的對抗損失，還加入了池化損失，以提高生成結果與實際結果的相似性。在實驗設置上，使用南京大學氣候雷達數據集，Nvidia Tesla V100 16GB硬體，Ubuntu22.04系統，訓練100個epoch。對比圖顯示出原GAN和進化GAN的預測效果差異，進化網路明顯提高了預測的准確性。
總的來說，進化網路對GAN的改進效果顯著，證明了在氣候預測等圖像生成任務中，結合進化網路的GAN技術具有顯著優勢。更多詳細實驗結果和代碼可在GitHub倉庫中查看。
3. GAN+Ensemble：對抗式生成網路+集成學習（一）
本文探討了在生成對抗網路（GAN）的訓練中引入集成思想，以提高模型的穩定性與生成樣本的質量。傳統GAN在訓練過程中存在不穩定性和對超參數與架構的敏感性問題，這使得實際應用中生成的樣本難以穩定輸出高質量內容。引入集成學習概念，通過綜合多個模型的決策來穩定訓練過程，成為了解決這一問題的有效策略。
在具體實現中，研究人員觀察到GAN在訓練過程中容易在多個模式（mode）之間跳躍，導致真實度提升效果不明顯。為解決這一問題，提出了三種模型，分別在實驗中觀察到了不同的效果。其中，seGANs顯示出較好的性能。然而，對於如何在生成器集合中合理選取模型這一問題，文中並未給出明確答案。在實際應用中，後一個生成器對前一個生成器的補充，但選擇前一個生成器時仍難以避免生成低質量的圖像。
為解決這一問題，研究者提出了一種名為Generative Multi-Adversarial Networks（GMAN）的方法，其關注於集成多個判別器（D），並確保集成後的判別器不成為一個過於苛刻的對手，而是一個寬容的教師。通過引入軟化Pythagorean mean方法，如算術平均、幾何平均和調和平均，以及在訓練過程中逐步減小參數，實現更軟的判別器效果，以防止後期過強的判別器影響學習過程。實驗結果顯示，這種方法在一定程度上緩解了GAN的模式坍塌問題，但在如何選擇生成器集合中模型的問題上，仍有待進一步探索。
另一種基於動態集成思想的方法，Dropout-GAN，通過在不同批次間切換動態集成的判別器集來避免模式坍塌。這種方法在實驗中取得了較好的效果，尤其是在設置合理的dropout_rate時。然而，隨著判別器數量的增加，收斂速度變慢，超過一定數量後可能會出現性能下降的情況。
Generative Adversarial Parallelization（GAP）方法則是通過在訓練過程中隨機交換生成器與判別器的配對情況，從而實現不同生成器之間的信息交流與互補。這種方法在實驗中顯著減少了模式坍塌現象，並提出了升級版本以適應更復雜的訓練場景。然而，交替過程中調節頻率與超參數的策略可能會較為繁瑣，不同架構的生成器之間收斂速度的差異以及整體收斂速度的損失程度還需進一步研究。
Multi-Agent Diverse Generative Adversarial Networks（MAD-GAN）則通過組合多個生成器與單個判別器，鼓勵生成器捕捉不同模式的數據，從而輕松獲得多模式的生成結果。為了實現這一目標，通過修改判別器的設計，引入了基於生成樣本隱空間特徵向量距離的損失函數，以及多分類器輸出，以鼓勵生成器生成多樣性的樣本。這種方法在一定程度上提高了生成樣本的多樣性和質量，但仍存在如何更有效地促進生成器間信息共享以及如何調整模型參數以適應不同任務需求等問題。