如何爬取多个网站文章

『壹』 如何盗取网站上的文章！！！

点击文件-另存为-存为TXT文本文档（文件类型改为TXT)，然后打开文档就OK了，我经常干的，嘿嘿

『贰』 如何抓取微信所有公众号最新文章

经常有朋友需要帮忙做公众号文章爬取，这次来做一个各种方法的汇总说明。
目前爬取微信公众号的方法主要有3种：

• 通过爬取第三方的公众号文章聚合网站

• 通过微信公众平台引用文章接口

• 通过抓包程序，分析微信app访问公众号文章的接口

通过第三方的公众号文章聚合网站爬取

微信公众号文章一直没有提供一个对外的搜索功能，直到2013年微信投资搜狗之后，搜狗搜索接入微信公众号数据，从此使用搜狗搜索就可以浏览或查询到相关公众号以及文章。
域名是: https://weixin.sogou.com/

可以直接搜索公众号或者文章的关键字，一些热门的公众号更新还是很及时的，几乎做到了和微信同步。

所以，爬一些热门公众号可以使用搜狗微信的接口来做，但是一些小众公众号是搜索不到的，而且搜狗的防爬机制更新的比较勤，获取数据的接口变化的比较快，经常两三个月就有调整，导致爬虫很容易挂，这里还是建议使用 selenium爬比较省心。另外搜狗对每个ip也有访问限制，访问太频ip会被封禁24小时，需要买个ip池来做应对。
还有一些其他公众号文章聚合网站(比如传送门)也都存在更新不及时或者没有收录的问题，毕竟搜狗这个亲儿子都不行。

通过微信公众平台引用文章接口

这个接口比较隐蔽而且没法匿名访问，所有得有一个公众号，建议新注册一个公众号比较好，免得被封。
下面开始具体步骤：首先登录自己的微信公众号，在进去的首页选择 新建群发，然后再点击 自建图文，在文章编辑工具栏中找到 超链接，如下图：

到这里就可以输入公众号的名字，回车之后微信就会返回相匹配的公众号列表，接着点击你想抓取的公众号，就会显示具体的文章列表了，已经是按时间倒序了，最新的文章就是第一条了。

微信的分页机制比较奇怪，每个公众号的每页显示的数据条数是不一样的，分页爬的时候要处理一下。
通过chrome分析网络请求的数据，我们想要的数据已经基本拿到了，文章链接、封面、发布日期、副标题等，如

由于微信公众平台登录验证比较严格，输入密码之后还必须要手机扫码确认才能登录进去，所以最好还是使用 selenium做自动化比较好。具体微信接口的分析过程我就不列了，直接贴代码了：

• import re

• import time

• import random

• import traceback

• import requests

• from selenium import webdriver

• class Spider(object):

• '''

• 微信公众号文章爬虫

• '''

• def __init__(self):

• # 微信公众号账号

• self.account = '286394973@qq.com'

• # 微信公众号密码

• self.pwd = 'lei4649861'

• def create_driver(self):

• '''

• 初始化 webdriver

• '''

• options = webdriver.ChromeOptions()

• # 禁用gpu加速，防止出一些未知bug

• options.add_argument('--disable-gpu')

• # 这里我用 chromedriver 作为 webdriver

• # 可以去 http://chromedriver.chromium.org/downloads 下载你的chrome对应版本

• self.driver = webdriver.Chrome(executable_path='./chromedriver', chrome_options=options)

• # 设置一个隐性等待 5s

• self.driver.implicitly_wait(5)

• def log(self, msg):

• '''

• 格式化打印

• '''

• print('------ %s ------' % msg)

• def login(self):

• '''

• 登录拿 cookies

• '''

• try:

• self.create_driver()

• # 访问微信公众平台

• self.driver.get('https://mp.weixin.qq.com/')

• # 等待网页加载完毕

• time.sleep(3)

• # 输入账号

• self.driver.find_element_by_xpath("./*//input[@name='account']").clear()

• self.driver.find_element_by_xpath("./*//input[@name='account']").send_keys(self.account)

• # 输入密码

• self.driver.find_element_by_xpath("./*//input[@name='password']").clear()

• self.driver.find_element_by_xpath("./*//input[@name='password']").send_keys(self.pwd)

• # 点击登录

• self.driver.find_elements_by_class_name('btn_login')[0].click()

• self.log("请拿手机扫码二维码登录公众号")

• # 等待手机扫描

• time.sleep(10)

• self.log("登录成功")

• # 获取cookies 然后保存到变量上，后面要用

• self.cookies = dict([[x['name'], x['value']] for x in self.driver.get_cookies()])

• except Exception as e:

• traceback.print_exc()

• finally:

• # 退出 chorme

• self.driver.quit()

• def get_article(self, query=''):

• try:

• url = 'https://mp.weixin.qq.com'

• # 设置headers

• headers = {

• "HOST": "mp.weixin.qq.com",

• "User-Agent": "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_14_3) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/72.0.3626.109 Safari/537.36"

• }

• # 登录之后的微信公众号首页url变化为：https://mp.weixin.qq.com/cgi-bin/home?t=home/index&lang=zh_CN&token=1849751598，

• # 从这里获取token信息

• response = requests.get(url=url, cookies=self.cookies)

• token = re.findall(r'token=(d+)', str(response.url))[0]

• time.sleep(2)

• self.log('正在查询[ %s ]相关公众号' % query)

• search_url = 'https://mp.weixin.qq.com/cgi-bin/searchbiz?'

• # 搜索微信公众号接口需要传入的参数，

• # 有三个变量：微信公众号token、随机数random、搜索的微信公众号名字

• params = {

• 'action': 'search_biz',

• 'token': token,

• 'random': random.random(),

• 'query': query,

• 'lang': 'zh_CN',

• 'f': 'json',

• 'ajax': '1',

• 'begin': '0',

• 'count': '5'

• }

• # 打开搜索微信公众号接口地址，需要传入相关参数信息如：cookies、params、headers

• response = requests.get(search_url, cookies=self.cookies, headers=headers, params=params)

• time.sleep(2)

• # 取搜索结果中的第一个公众号

• lists = response.json().get('list')[0]

• # 获取这个公众号的fakeid，后面爬取公众号文章需要此字段

• fakeid = lists.get('fakeid')

• nickname = lists.get('nickname')

• # 微信公众号文章接口地址

• search_url = 'https://mp.weixin.qq.com/cgi-bin/appmsg?'

• # 搜索文章需要传入几个参数：登录的公众号token、要爬取文章的公众号fakeid、随机数random

• params = {

• 'action': 'list_ex',

• 'token': token,

• 'random': random.random(),

• 'fakeid': fakeid,

• 'lang': 'zh_CN',

• 'f': 'json',

• 'ajax': '1',

• 'begin': '0', # 不同页，此参数变化，变化规则为每页加5

• 'count': '5',

• 'query': '',

• 'type': '9'

• }

• self.log('正在查询公众号[ %s ]相关文章' % nickname)

• # 打开搜索的微信公众号文章列表页

• response = requests.get(search_url, cookies=self.cookies, headers=headers, params=params)

• time.sleep(2)

• for per in response.json().get('app_msg_list', []):

• print('title ---> %s' % per.get('title'))

• print('link ---> %s' % per.get('link'))

• # print('cover ---> %s' % per.get('cover'))

• except Exception as e:

• traceback.print_exc()

• if __name__ == '__main__':

• spider = Spider()

• spider.login()

• spider.get_article('python')

代码只是作为学习使用，没有做分页查询之类。实测过接口存在访问频次限制，一天几百次还是没啥问题，太快或者太多次访问就会被封24小时。

『叁』 如何用python写爬虫来获取网页中所有的文章以及关键词

所谓网页抓取，就是把URL地址中指定的网络资源从网络流中读取出来，保存到本地。
类似于使用程序模拟IE浏览器的功能，把URL作为HTTP请求的内容发送到服务器端， 然后读取服务器端的响应资源。

在Python中，我们使用urllib2这个组件来抓取网页。
urllib2是Python的一个获取URLs(Uniform Resource Locators)的组件。

它以urlopen函数的形式提供了一个非常简单的接口。

最简单的urllib2的应用代码只需要四行。

我们新建一个文件urllib2_test01.py来感受一下urllib2的作用：

import urllib2
response = urllib2.urlopen('http://www..com/')
html = response.read()
print html

按下F5可以看到运行的结果：

我们可以打开网络主页，右击，选择查看源代码（火狐OR谷歌浏览器均可），会发现也是完全一样的内容。

也就是说，上面这四行代码将我们访问网络时浏览器收到的代码们全部打印了出来。

这就是一个最简单的urllib2的例子。

除了"http:"，URL同样可以使用"ftp:"，"file:"等等来替代。

HTTP是基于请求和应答机制的：

客户端提出请求，服务端提供应答。

urllib2用一个Request对象来映射你提出的HTTP请求。

在它最简单的使用形式中你将用你要请求的地址创建一个Request对象，

通过调用urlopen并传入Request对象，将返回一个相关请求response对象，

这个应答对象如同一个文件对象，所以你可以在Response中调用.read()。

我们新建一个文件urllib2_test02.py来感受一下：

import urllib2
req = urllib2.Request('http://www..com')
response = urllib2.urlopen(req)
the_page = response.read()
print the_page

可以看到输出的内容和test01是一样的。

urllib2使用相同的接口处理所有的URL头。例如你可以像下面那样创建一个ftp请求。

req = urllib2.Request('ftp://example.com/')

在HTTP请求时，允许你做额外的两件事。

1.发送data表单数据

这个内容相信做过Web端的都不会陌生，

有时候你希望发送一些数据到URL(通常URL与CGI[通用网关接口]脚本，或其他WEB应用程序挂接)。

在HTTP中,这个经常使用熟知的POST请求发送。

这个通常在你提交一个HTML表单时由你的浏览器来做。

并不是所有的POSTs都来源于表单，你能够使用POST提交任意的数据到你自己的程序。

一般的HTML表单，data需要编码成标准形式。然后做为data参数传到Request对象。

编码工作使用urllib的函数而非urllib2。

我们新建一个文件urllib2_test03.py来感受一下：

import urllib
import urllib2
url = 'http://www.someserver.com/register.cgi'
values = {'name' : 'WHY',
'location' : 'SDU',
'language' : 'Python' }
data = urllib.urlencode(values) # 编码工作
req = urllib2.Request(url, data) # 发送请求同时传data表单
response = urllib2.urlopen(req) #接受反馈的信息
the_page = response.read() #读取反馈的内容

如果没有传送data参数，urllib2使用GET方式的请求。

GET和POST请求的不同之处是POST请求通常有"副作用"，

它们会由于某种途径改变系统状态(例如提交成堆垃圾到你的门口)。

Data同样可以通过在Get请求的URL本身上面编码来传送。

import urllib2
import urllib
data = {}
data['name'] = 'WHY'
data['location'] = 'SDU'
data['language'] = 'Python'
url_values = urllib.urlencode(data)
print url_values
name=Somebody+Here&language=Python&location=Northampton
url = 'http://www.example.com/example.cgi'
full_url = url + '?' + url_values
data = urllib2.open(full_url)

这样就实现了Data数据的Get传送。

2.设置Headers到http请求

有一些站点不喜欢被程序（非人为访问）访问，或者发送不同版本的内容到不同的浏览器。

默认的urllib2把自己作为“Python-urllib/x.y”(x和y是Python主版本和次版本号,例如Python-urllib/2.7)，

这个身份可能会让站点迷惑，或者干脆不工作。

浏览器确认自己身份是通过User-Agent头，当你创建了一个请求对象，你可以给他一个包含头数据的字典。

下面的例子发送跟上面一样的内容，但把自身模拟成Internet Explorer。

（多谢大家的提醒，现在这个Demo已经不可用了，不过原理还是那样的）。

import urllib
import urllib2
url = 'http://www.someserver.com/cgi-bin/register.cgi'
user_agent = 'Mozilla/4.0 (compatible; MSIE 5.5; Windows NT)'
values = {'name' : 'WHY',
'location' : 'SDU',
'language' : 'Python' }
headers = { 'User-Agent' : user_agent }
data = urllib.urlencode(values)
req = urllib2.Request(url, data, headers)
response = urllib2.urlopen(req)
the_page = response.read()

以上就是python利用urllib2通过指定的URL抓取网页内容的全部内容，非常简单吧，希望对大家能有所帮助。