⑴ Python編程基礎之（五）Scrapy爬蟲框架
經過前面四章的學習，我們已經可以使用Requests庫、Beautiful Soup庫和Re庫，編寫基本的Python爬蟲程序了。那麼這一章就來學習一個專業的網路爬蟲框架--Scrapy。沒錯，是框架，而不是像前面介紹的函數功能庫。
Scrapy是一個快速、功能強大的網路爬蟲框架。
可能大家還不太了解什麼是框架，爬蟲框架其實是實現爬蟲功能的一個軟體結構和功能組件的集合。
簡而言之， Scrapy就是一個爬蟲程序的半成品，可以幫助用戶實現專業的網路爬蟲。
使用Scrapy框架，不需要你編寫大量的代碼，Scrapy已經把大部分工作都做好了，允許你調用幾句代碼便自動生成爬蟲程序，可以節省大量的時間。
當然，框架所生成的代碼基本是一致的，如果遇到一些特定的爬蟲任務時，就不如自己使用Requests庫搭建來的方便了。
PyCharm安裝
測試安裝：
出現框架版本說明安裝成功。
掌握Scrapy爬蟲框架的結構是使用好Scrapy的重中之重！
先上圖：
整個結構可以簡單地概括為： 「5+2」結構和3條數據流
5個主要模塊（及功能）：
（1）控制所有模塊之間的數據流。
（2）可以根據條件觸發事件。
（1）根據請求下載網頁。
（1）對所有爬取請求進行調度管理。
（1）解析DOWNLOADER返回的響應--response。
（2）產生爬取項--scraped item。
（3）產生額外的爬取請求--request。
（1）以流水線方式處理SPIDER產生的爬取項。
（2）由一組操作順序組成，類似流水線，每個操作是一個ITEM PIPELINES類型。
（3）清理、檢查和查重爬取項中的HTML數據並將數據存儲到資料庫中。
2個中間鍵：
（1）對Engine、Scheler、Downloader之間進行用戶可配置的控制。
（2）修改、丟棄、新增請求或響應。
（1）對請求和爬取項進行再處理。
（2）修改、丟棄、新增請求或爬取項。
3條數據流：
（1）：圖中數字 1-2
1：Engine從Spider處獲得爬取請求--request。
2：Engine將爬取請求轉發給Scheler，用於調度。
（2）：圖中數字 3-4-5-6
3：Engine從Scheler處獲得下一個要爬取的請求。
4：Engine將爬取請求通過中間件發送給Downloader。
5：爬取網頁後，Downloader形成響應--response，通過中間件發送給Engine。
6：Engine將收到的響應通過中間件發送給耐如Spider處理。
（3）：圖中數字 7-8-9
7：Spider處理響應後產生爬取項--scraped item。
8：Engine將爬取項發送給Item Pipelines。
9：Engine將爬取請求發送給Scheler。
任務處理流程：從Spider的初始爬取請求開始爬取，Engine控制各模塊數據流，不間斷從Scheler處獲得爬取請求，直至請求為空，最後到Item Pipelines存儲數據結束。
作為用戶，只需配置好Scrapy框架的Spider和Item Pipelines，也就是數據流的入口與出口，便可完成一個爬蟲程序的搭建激含。Scrapy提供了簡單的爬蟲命令語句，幫助用戶一鍵配置剩餘文件，那我們便來看看有哪些好用的命令吧。
Scrapy採用命令行創建和運行爬蟲
PyCharm打開Terminal，啟動Scrapy：
Scrapy基本命令行格式：
具體常用命令如下：
下面用一個例子來學習一下命令的使用：
1.建立一個Scrapy爬蟲工程，在已啟動的Scrapy中繼續輸入：
執行該命令，系統會在PyCharm的工程文件中自動創建一個工程，命明畝笑名為pythonDemo。
2.產生一個Scrapy爬蟲，以教育部網站為例http://www.moe.gov.cn：
命令生成了一個名為demo的spider，並在Spiders目錄下生成文件demo.py。
命令僅用於生成demo.py文件，該文件也可以手動生成。
觀察一下demo.py文件：
3.配置產生的spider爬蟲，也就是demo.py文件：
4.運行爬蟲，爬取網頁：
如果爬取成功，會發現在pythonDemo下多了一個t20210816_551472.html的文件，我們所爬取的網頁內容都已經寫入該文件了。
以上就是Scrapy框架的簡單使用了。
Request對象表示一個HTTP請求，由Spider生成，由Downloader執行。
Response對象表示一個HTTP響應，由Downloader生成，有Spider處理。
Item對象表示一個從HTML頁面中提取的信息內容，由Spider生成，由Item Pipelines處理。Item類似於字典類型，可以按照字典類型來操作。
⑵ python網路編程可以用來做什麼
1. Web開發
最火的Python web框架Django，支持非同步高並發的Tornado框架，短小精悍的flask,bottle,Django官方的標語把Django定義為the framework for perfectionist with deadlines(大意是一個為完全主義者開發的高效率web框架)
2. 網路編程
支持高並發的Twisted網路框架，py3引入的asyncio使非同步編程變的非常簡單
3. 爬蟲開發
爬蟲領域，Python幾乎是霸主地位，Scrapy/Request/BeautifuSoap/urllib等，想爬啥就爬啥
4. 雲計算開發
目前最火最知名的雲計算框架就是OpenStack,Python現在的火，很大一部分就是因為雲計算市場近幾年的爆發
5. 人工智慧
MASA和Google早期大量使用Python，為什麼Python積累了豐富的科學運算庫，當AI時代來臨後，Python從眾多編程語言中脫穎而出，各種人工智慧演算法都基於Python編寫，由其PyTorch之後，Python作為AI時代頭牌語言的位置基本確立!
6. 自動化運維
問問中國的每個運維人員，運維人員必須會的語言是什麼?10個人詳細會給你一個相同的答案，它的名字叫Python
7. 金融分析
金融公司使用的很多分析程序、高頻交易軟體就是用的Python，目前，Python是金融分析、量化交易領域里用的最多的語言
8. 科學運算
97年開始，NASA就在大量使用Python在進行各種復雜的科學運算，隨著NumPy，SciPy，Matplotlib，Enthought librarys等眾多程序庫的開發，使得Python越來越適合做科學計算、繪制高質量的2D和3D圖像。和科學計算領域最流行的商業軟體Matlab相比，Python是一門通用的程序設計語言，比Matlab所採用的腳本語言的應用范圍更廣泛
9. 游戲開發
在網路游戲開發中Python也有很多應用。相比Lua or C++，Python比Lua有更高階的抽象能力，可以用更少的代碼描述游戲業務邏輯，與Lua相比，Python更適合作為一種Host語言，即程序的入口點是在Python那一端會比較好，然後用C/C++在非常必要的時候寫一些擴展。Python非常適合編寫1萬行以上的項目，而且能夠很好的把網游項目的規模控制在10萬行代碼以內。
10. 桌面軟體
雖然大家很少使用桌面軟體了，但是Python在圖形界面開發上也很強大，你可以用tkinter/PyQT框架開發各種桌面軟體!