1. 如何防止網站被爬蟲爬取的幾種辦法
相較於爬蟲技術，反爬蟲實際上更復雜。目前許多互聯網企業都會花大力氣進行「反爬蟲」，網路爬蟲不但會占據過多的網站流量，導致有真正需求的用戶沒法進入網站，另外也有可能會導致網站關鍵數據的外泄等現象。網路爬蟲遍布互聯網的各個角落，因此網路爬蟲有好處也有壞處，接下來介紹一下和網路爬蟲一同誕生的反爬蟲技術，如何才能防止別人爬取自己的網站？
1、基於程序本身去防止爬取：作為爬蟲程序，爬取行為是對頁面的源文件爬取，如爬取靜態頁面的html代碼，可以用jquery去模仿寫html，這種方法偽裝的頁面就很難被爬取了，不過這種方法對程序員的要求很高。
2、基於iptables和shell腳本：可以對nginx的access.log進行策略定義，例如定義在1分鍾內並發連接數超過30個ip為非法，如ip不在白名單內，則加入iptables策略封掉，當然這種的缺點是會有「誤傷」，策略細粒度越小就會有更多的「誤傷」，細粒度大就會使效果變差，另外還有類似的第三方工具fail2ban，利用做filter和actor對一些有危害的操作記錄或是封ip。但是對於某個特定的爬蟲地址（例如網易、有道）的爬取行為拒絕也很難准確做到，因為你無法准確知道這些特定的爬蟲ip地址。注意：建議不要用封ip條目的方式,iptables列表長度是65535時就會封滿，伺服器也就會死機。
3.使用robots.txt文件：例如阻止所有的爬蟲爬取，但是這種效果不是很明顯。
User-agent: *
Disallow: /
4.使用nginx的自帶功能：通過對httpuseragent阻塞來實現，包括GET/POST方式的請求，以nginx為例，具體步驟如下：
編輯nginx.conf
拒絕以wget方式的httpuseragent，增加如下內容
## Block http user agent - wget ##
if ($http_user_agent ~* (Wget) ) {
return 403;
}
## Block Software download user agents ##
if ($http_user_agent ~* LWP::Simple|BBBike|wget) {
return 403;
平滑啟動
# /usr/local/nginx/sbin/nginx -s reload
如何拒絕多種httpuseragent，內容如下：
if ($http_user_agent ~ (agent1|agent2|Foo|Wget|Catall Spider|AcoiRobot) ) {
return 403;
}
大小寫敏感匹配
### 大小寫敏感http user agent拒絕###
if ($http_user_agent ~ (Catall Spider|AcoiRobot) ) {
return 403;
}
### 大小寫不敏感http user agent拒絕###
if ($http_user_agent ~* (foo|bar) ) {
return 403;
}
注意語法：~*表示是大小寫不敏感，~表示是大小寫敏感
}
以上就是預防網站信息被別人爬取的一些方法，大量的爬取行為會對web伺服器的性能有影響，所以一定要注重反爬蟲措施。
2. 計算機里蜜罐是什麼，誰知道
蜜罐技術蜜罐好比是情報收集系統。蜜罐好像是故意讓人攻擊的目標，引誘黑客前來攻擊。所以攻擊者入侵後，你就可以知道他是如何得逞的，隨時了解針對貴公司伺服器發動的最新的攻擊和漏洞。還可以通過竊聽黑客之間的聯系，收集黑客所用的種種工具，並且掌握他們的社交網路。設置蜜罐並不難，只要在外部網際網路上有一台計算機運行沒有打上補丁的微軟Windows或者Red Hat Linux即行。因為黑客可能會設陷阱，以獲取計算機的日誌和審查功能，你就要在計算機和網際網路連接之間安置一套網路監控系統，以便悄悄記錄下進出計算機的所有流量。然後只要坐下來，等待攻擊者自投羅網。不過，設置蜜罐並不是說沒有風險。這是因為，大部分安全遭到危及的系統會被黑客用來攻擊其它系統。這就是下游責任（downstream liability），由此引出了蜜網（honeynet）這一話題。蜜網是指另外採用了技術的蜜罐，從而以合理方式記錄下黑客的行動，同時盡量減小或排除對網際網路上其它系統造成的風險。建立在反向防火牆後面的蜜罐就是一個例子。防火牆的目的不是防止入站連接，而是防止蜜罐建立出站連接。不過，雖然這種方法使蜜罐不會破壞其它系統，但同時很容易被黑客發現。數據收集是設置蜜罐的另一項技術挑戰。蜜罐監控者只要記錄下進出系統的每個數據包，就能夠對黑客的所作所為一清二楚。蜜罐本身上面的日誌文件也是很好的數據來源。但日誌文件很容易被攻擊者刪除，所以通常的辦法就是讓蜜罐向在同一網路上但防禦機制較完善的遠程系統日誌伺服器發送日誌備份。（務必同時監控日誌伺服器。如果攻擊者用新手法闖入了伺服器，那麼蜜罐無疑會證明其價值。）近年來，由於黑帽子群體越來越多地使用加密技術，數據收集任務的難度大大增強。如今，他們接受了眾多計算機安全專業人士的建議，改而採用SSH等密碼協議，確保網路監控對自己的通訊無能為力。蜜網對付密碼的計算就是修改目標計算機的操作系統，以便所有敲入的字元、傳輸的文件及其它信息都記錄到另一個監控系統的日誌裡面。因為攻擊者可能會發現這類日誌，蜜網計劃採用了一種隱蔽技術。譬如說，把敲入字元隱藏到NetBIOS廣播數據包裡面。詳見 http://ke..com/view/1253064.htm