㈠ 网络爬虫的主要流程
发起请求、获取响应、解析内容。
1、发起请求：通过HTTP库向目标站点发起请求，即发送一个Request，请求可以包含额外的headers、data等信息，然后等待服务器响应。
2、获取响应：如服务器能正常响应，会得到一个Response，Response的内容便是所要获取的内容，类型有HTML、Json字符串，二进制数据等类型。
3、解析内容：得到的内容是HTML，可以使用正则表达式、网页解析库进行解析。是二进制数据，可以做保存或者进一步处理。
㈡ 网络爬虫主要是干什么用的
网络爬虫是用来抓取网页信息的程序，是一种按照一定的规则，自动地抓取万维网信息的程序或者脚本。网络爬虫是一个自动提取网页的程序，它为搜索引擎从万维网上下载网页，是搜索引擎的重要组成。传统爬虫从一个或若干初始网页的URL开始，获得初始网页上的URL，在抓取网页的过程中，不断从当前页面上抽取新的URL放入队列,直到满足系统的一定停止条件。