Ⅰ 如何对付网络爬虫
可以设置robots.txt来禁止网络爬虫来爬网站。
方法：
首先，你先建一个空白文本文档（记事本），然后命名为：robots.txt；
（1）禁止所有搜索引擎访问网站的任何部分。
User-agent: *
Disallow: /
（2）允许所有的robots访问，无任何限制。
User-agent: *
Disallow:
或者
User-agent: *
Allow: /
还可以建立一个空文件robots.txt或者不建立robots.txt。
（3）仅禁止某个搜索引擎的访问（例如：网络spider）
User-agent: BaiSpider
Disallow:/
（4）允许某个搜索引擎的访问（还是网络）
User-agent: BaiSpider
Disallow:
User-agent: *
Disallow: /
这里需要注意，如果你还需要允许谷歌bot，那么也是在“User-agent: *”前面加上，而不是在“User-agent: *”后面。
（5）禁止Spider访问特定目录和特定文件（图片、压缩文件）。
User-agent: *
Disallow: /AAA.net/
Disallow: /admin/
Disallow: .jpg$
Disallow: .rar$
这样写之后，所有搜索引擎都不会访问这2个目录。需要注意的是对每一个目录必须分开说明，而不要写出“Disallow:/AAA.net/ /admin/”。
Ⅱ 如何禁止搜索引擎爬虫抓取网站页面
以下列举了屏蔽主流搜索引擎爬虫（蜘蛛）抓取/索引/收录网页的几种思路。注意：是整站屏蔽，而且是尽可能的屏蔽掉所有主流搜索引擎的爬虫（蜘蛛）。
1、通过 robots.txt 文件屏蔽
可以说 robots.txt 文件是最重要的一种渠道（能和搜索引擎建立直接对话），给出以下建议：
User-agent: Baispider
Disallow: /
User-agent: Googlebot
Disallow: /
User-agent: Googlebot-Mobile
Disallow: /
User-agent: Googlebot-Image
Disallow:/
User-agent: Mediapartners-Google
Disallow: /
User-agent: Adsbot-Google
Disallow: /
User-agent:Feedfetcher-Google
Disallow: /
User-agent: Yahoo! Slurp
Disallow: /
User-agent: Yahoo! Slurp China
Disallow: /
User-agent: Yahoo!-AdCrawler
Disallow: /
User-agent: YouBot
Disallow: /
User-agent: Sosospider
Disallow: /
User-agent: Sogou spider
Disallow: /
User-agent: Sogou web spider
Disallow: /
User-agent: MSNBot
Disallow: /
User-agent: ia_archiver
Disallow: /
User-agent: Tomato Bot
Disallow: /
User-agent: *
Disallow: /
2、通过 meta tag 屏蔽
在所有的网页头部文件添加，添加如下语句：
<meta name="robots" content="noindex, nofollow">
3、通过服务器（如：Linux/nginx ）配置文件设置
直接过滤 spider/robots 的IP 段。
Ⅲ 如何禁止所有搜索引擎蜘蛛的爬行收录
可使用robots协议：建立robots.txt 文件，上传至网站根目录：
屏蔽所有搜索引擎爬取网站的语法：
User-agent:*
Disallow:/
允许所有搜索引擎爬取网站所有内容
User-agent:*
Disallow:
只禁止网络抓取你网站的内容
User-agent:Baispider
Disallow:/
只允许网络抓取你网站的内容
User-agent:Baispider
Disallow:
User-agent:*
disallow:/
Ⅳ 如何禁止360爬虫抓取
是写在robots协议里面的
User-agent: 360Spider
Disallow: /
Ⅳ 如何禁止百度爬虫
举办抓虫大赛？
额，好多人都在检举的，也可以去知道投诉吧投诉
http://tousu..com/
对了，检举要三级以上才可以，为了减少恶意检举嘛
Robots.txt-禁止爬虫
robots.txt用于禁止网络爬虫访问网站指定目录。robots.txt的格式采用面向行的语法：空行、注释行（以#打头）、规则行。规则行的格式为：Field:value。常见的规则行：User-Agent、Disallow、Allow行。
User-Agent行
User-Agent:robot-name
User-Agent:*
Disallow和Allow行
Disallow:/path
Disallow:#空字符串，起通配符效果，全禁止
Allow:/path
Allow:#空字符串，起通配符效果，全允许
搜索引擎的User-Agent对应名称
搜索引擎
User-Agent值
Googlegooglebot
网络spider
雅虎slurp
MSNmsnbot
Alexais_archiver
我在Linux上抓包观察到的一些搜索引擎访问记录：
#tcpmp-n-nn-A-l-s1024'tcpport80'|grepUser-Agent
User-Agent:Mozilla/5.0(compatible;Googlebot/2.1;+http://www.google.com/bot.html)
User-Agent:Googlebot-Image/1.0
User-Agent:Feedfetcher-Google;(+http://www.google.com/feedfetcher.html;5subscribers;feed-id=4619555564728728616)
User-Agent:Mozilla/5.0(compatible;Sosospider/2.0;+http://help.soso.com/webspider.htm)
User-Agent:Mozilla/5.0(compatible;YouBot/1.0;http://www.you.com/help/webmaster/spider/;)
User-Agent:Mozilla/5.0(compatible;JikeSpider;+http://shoulu.jike.com/spider.html)
JikeSpider是即刻搜索（人民搜索）。
robots.txt的补充
如果你没有对网站根目录的写入权限（无法建立robots.txt文件），或你想要某个指定的网页不被搜索引擎收录，可以使用元标签阻止爬虫访问：
<metaname="robots"content="noindex"><!--阻止所有爬虫-->
<metaname="googlerobot"content="noindex"><!--阻止Google收录-->
robots元标记的默认值为"index,follow"，它的取值可以是（来自Google站长帮助）：
noindex防止网页被编入索引。nofollow防止googlebot从此页面中跟踪链接。noarchive防止Google显示网页的快照链接。noimageindex不被Google图片搜索索引。
现实中的robots.txt
淘宝屏蔽网络
淘宝屏蔽了网络抓取（2008年9月），http://www.taobao.com/robots.txt的内容：
User-agent:Baispider
Disallow:/
User-agent:spider
Disallow:/
网络与360的搜索引擎之争
2012年8月，360推出搜索引擎，并与网络发生正面冲突。网络工程师跑出来说360违反robots协议，偷窃网络内容。以网络知道为例，http://..com/robots.txt的内容大致是这样：
User-agent:Baispider
Disallow:/w?
Allow:/
User-agent:Googlebot
User-agent:MSNBot
User-agent:Baispider-image
User-agent:YouBot
User-agent:Sogouwebspider
User-agent:Sogouinstspider
User-agent:Sogouspider2
User-agent:Sogoublog
User-agent:SogouNewsSpider
User-agent:SogouOrionspider
User-agent:JikeSpider
User-agent:Sosospider
Allow:/
User-agent:*
Disallow:/
也就是说对360爬虫而言，应该走最后一条规则，也就是禁止抓取网络知道所有内容。但从360搜索看，有网络知道的内容。
Ⅶ 如何禁止蜘蛛爬行robot
这里要说明的是Robots.txt文件只能起到阻止搜索引擎索引。Robots.txt写法1.如果你站点中的所有文件，都可以让蜘蛛爬取、收录的话，那么语法这样写: User-agent: *Disallow:当然，如果你网站中全部的文件都可以让搜索引擎索引的话，你也可以不管这个文件。 2.完全禁止搜索引擎来访的Robots.txt文件写法: User-agent: * Disallow: / 2.1.要禁止掉某个搜索引擎来访的Robots.txt文件写法: User-agent: Googlebot Disallow: / 3.网站中某个文件夹不希望让搜索引擎收录的Robots.txt文件写法: User-agent: * Disallow: /admin/ Disallow: /images/ 4.禁止Google抓取网站中的图片文件: User-agent: Googlebot
Ⅷ 如何禁止网络爬虫频繁爬自己网站
在.htaccess里加入
RewriteCond %{REMOTE_HOST} ^123.456.789..*
RewriteRule ^.*$ X.html [L]
23.456.789 改为爬虫地址。
Ⅸ 如何防止网站被爬虫爬取的几种办法
相较于爬虫技术，反爬虫实际上更复杂。目前许多互联网企业都会花大力气进行“反爬虫”，网络爬虫不但会占据过多的网站流量，导致有真正需求的用户没法进入网站，另外也有可能会导致网站关键数据的外泄等现象。网络爬虫遍布互联网的各个角落，因此网络爬虫有好处也有坏处，接下来介绍一下和网络爬虫一同诞生的反爬虫技术，如何才能防止别人爬取自己的网站？
1、基于程序本身去防止爬取：作为爬虫程序，爬取行为是对页面的源文件爬取，如爬取静态页面的html代码，可以用jquery去模仿写html，这种方法伪装的页面就很难被爬取了，不过这种方法对程序员的要求很高。
2、基于iptables和shell脚本：可以对nginx的access.log进行策略定义，例如定义在1分钟内并发连接数超过30个ip为非法，如ip不在白名单内，则加入iptables策略封掉，当然这种的缺点是会有“误伤”，策略细粒度越小就会有更多的“误伤”，细粒度大就会使效果变差，另外还有类似的第三方工具fail2ban，利用做filter和actor对一些有危害的操作记录或是封ip。但是对于某个特定的爬虫地址（例如网易、有道）的爬取行为拒绝也很难准确做到，因为你无法准确知道这些特定的爬虫ip地址。注意：建议不要用封ip条目的方式,iptables列表长度是65535时就会封满，服务器也就会死机。
3.使用robots.txt文件：例如阻止所有的爬虫爬取，但是这种效果不是很明显。
User-agent: *
Disallow: /
4.使用nginx的自带功能：通过对httpuseragent阻塞来实现，包括GET/POST方式的请求，以nginx为例，具体步骤如下：
编辑nginx.conf
拒绝以wget方式的httpuseragent，增加如下内容
## Block http user agent - wget ##
if ($http_user_agent ~* (Wget) ) {
return 403;
}
## Block Software download user agents ##
if ($http_user_agent ~* LWP::Simple|BBBike|wget) {
return 403;
平滑启动
# /usr/local/nginx/sbin/nginx -s reload
如何拒绝多种httpuseragent，内容如下：
if ($http_user_agent ~ (agent1|agent2|Foo|Wget|Catall Spider|AcoiRobot) ) {
return 403;
}
大小写敏感匹配
### 大小写敏感http user agent拒绝###
if ($http_user_agent ~ (Catall Spider|AcoiRobot) ) {
return 403;
}
### 大小写不敏感http user agent拒绝###
if ($http_user_agent ~* (foo|bar) ) {
return 403;
}
注意语法：~*表示是大小写不敏感，~表示是大小写敏感
}
以上就是预防网站信息被别人爬取的一些方法，大量的爬取行为会对web服务器的性能有影响，所以一定要注重反爬虫措施。