㈠ 網路爬蟲的主要流程
發起請求、獲取響應、解析內容。
1、發起請求：通過HTTP庫向目標站點發起請求，即發送一個Request，請求可以包含額外的headers、data等信息，然後等待伺服器響應。
2、獲取響應：如伺服器能正常響應，會得到一個Response，Response的內容便是所要獲取的內容，類型有HTML、Json字元串，二進制數據等類型。
3、解析內容：得到的內容是HTML，可以使用正則表達式、網頁解析庫進行解析。是二進制數據，可以做保存或者進一步處理。
㈡ 網路爬蟲主要是干什麼用的
網路爬蟲是用來抓取網頁信息的程序，是一種按照一定的規則，自動地抓取萬維網信息的程序或者腳本。網路爬蟲是一個自動提取網頁的程序，它為搜索引擎從萬維網上下載網頁，是搜索引擎的重要組成。傳統爬蟲從一個或若干初始網頁的URL開始，獲得初始網頁上的URL，在抓取網頁的過程中，不斷從當前頁面上抽取新的URL放入隊列,直到滿足系統的一定停止條件。