爬蟲文件格式

⑴ 爬取數據生成shp文件

Github倉庫地址為 https://github.com/WanZixin/SinaWeibo-LocationSignIn-spider

共有兩大功能，一個功能是根據高德地圖web服務API獲取行政區劃坐標串卜轎，寫入行政區shp文件；另一個功能是根據高德地圖的介面獲取poi坐標串，寫入aoi(area of interest)的shp文件。

lib文件夾 ，包含兩個xls文件，分別是高德地圖的城市編碼表和POI分類編碼表。

result/district_shp文件夾 ，用於存儲生成的行政區shp文件顫團。

result/aoi_shp文件夾 ，用於存儲生成的aoi的shp文件。

config.ini文件 ，配置文件，填寫高德地圖web服務的key；填寫要爬取的poi的類別編型洞肆碼；填寫爬取城市的adcode。

getPoiShp.py文件 ，生成指定專題、指定城市的aoi的shp文件。

getDistrictShp.py文件 ，生成行政區劃shp文件。

gcj02togps84.py文件 ，高德地圖使用的是GCJ-02坐標系，用此py文件轉換為WGS-84坐標系。

在具體操作前，首先需要注冊高德地圖開發者賬號，然後申請Web服務API密鑰（Key）。

的請求URL，例如；<u style="box-sizing: inherit;"> http://restapi.amap.com/v3/config/district?key= <用戶的key>&keywords=<關鍵詞>&subdistrict=<子級行政區級別(0或1)>&extensions=all</u>。須注意的一點是：extensions參數應為all，若為base則只返回基本信息，其中不包含坐標串。

[圖片上傳失敗...(image-c01f71-1594714471699)]

的請求URL，搜索POI有四種方式，分別是：關鍵詞搜索、周邊搜索、多邊形搜索和ID查詢。這里我們使用關鍵詞搜索的方式，指定city並設置citylimit為true，只搜索城市內的數據。例如：<u style="box-sizing: inherit;"> https://restapi.amap.com/v3/place/text?keywords=北京大學&city=beijing&output=xml&offset=20&page=1&key= <用戶的key>&extensions=all</u>。

如果有什麼建議，歡迎聯系我 [email protected] 或提issue。歡迎star!

⑵ robots.txt鏈変粈涔堢敤

robot.txt鐨勪富瑕佸姛鑳

鍏跺疄robots鏄緇欐湁鐗規畩鎯呭喌鐨勭珯闀跨敤鐨勶紝鍥犱負鏈変簺緗戠珯鏈変竴浜涚珯闀誇笉甯屾湜琚浠諱綍鎼滅儲寮曟搸鏀跺綍鐨勯〉闈錛屾墍浠ヨ繖涓猺obots鏂囦歡鏄鏈夌殑銆

robots.txt鏂囦歡鐢ㄦ硶紺轟緥:

1.紱佹㈡墍鏈夋悳緔㈠紩鎿庤塊棶緗戠珯鐨勪換浣曢儴鍒嗐

鐢ㄦ埛浠ｇ悊:*

涓嶅厑璁:/

2.鍏佽告墍鏈夋満鍣ㄤ漢璁塊棶

鐢ㄦ埛浠ｇ悊:*

涓嶅厑璁:

(鎴栬呭彲浠ユ瀯寤虹┖鏂囦歡/robots.txt鏂囦歡)

3.紱佹㈡悳緔㈠紩鎿庣殑璁塊棶銆

鐢ㄦ埛浠ｇ悊:BadBot

涓嶅厑璁:/

4.鍏佽告悳緔㈠紩鎿庣殑璁塊棶

鐢ㄦ埛浠ｇ悊:Baispider

涓嶅厑璁:

鐢ㄦ埛浠ｇ悊:*

涓嶅厑璁:/

5.鍋囪句竴涓緗戠珯鏈変笁涓闄愬埗鎼滅儲寮曟搸璁塊棶鐨勭洰褰曘傚彲浠ヨ繖鏍峰啓:

鐢ㄦ埛浠ｇ悊:*

涓嶅厑璁:/cgi-bin/

涓嶅厑璁:/tmp/

涓嶅厑璁:/joe/

闇瑕佹敞鎰忕殑鏄錛屾瘡涓鐩褰曞繀欏誨崟鐙澹版槑錛岃屼笉鏄鍐欐垚鈥淒isallow:/cgi-bin//tmp/鈥濄

User-agent:鍚庨潰鐨*(閫氶厤絎)鏈夌壒孌婂惈涔夛紝浠ｈ〃鈥滀換浣曟満鍣ㄤ漢鈥濓紝鎵浠ヤ笉鑳芥湁鈥渄isallow:/tmp/*鈥濇垨鈥渄isallow:*鈥濅箣綾葷殑璁板綍銆倈if鈥濇枃浠朵腑銆

鍙﹀栵紝robots.txt涓昏佺敤浜庝繚璇佺綉緇滃畨鍏ㄥ拰緗戠珯闅愮侊紝鐧懼害銍樿洓閬靛驚robots.txt鍗忚銆傞氳繃鏍圭洰褰曚笅鍒涘緩鐨勭函鏂囨湰鏂囦歡robots.txt錛岀綉絝欏彲浠ュ０鏄庡摢浜涢〉闈涓嶆兂琚鐧懼害銍樿洓鎶撳彇鏀跺綍銆傛瘡涓緗戠珯鍙浠ヨ嚜涓繪帶鍒剁綉絝欐槸鍚︽効鎰忚鐧懼害銍樿洓鏀跺綍錛屾垨鑰呮寚瀹氱櫨搴﹁湗錏涘彧鏀跺綍鎸囧畾鐨勫唴瀹廣傜櫨搴﹁湗錏涘湪璁塊棶涓涓絝欑偣鏃訛紝浼氬厛媯鏌ヨョ珯鐐圭殑鏍圭洰褰曚笅鏄鍚﹀瓨鍦╮obots.txt銆傚傛灉鏂囦歡涓嶅瓨鍦錛岀埇鉶灝嗘部鐫閾炬帴鐖琛屻傚傛灉鏄錛岀埇鉶灝嗘牴鎹鏂囦歡鐨勫唴瀹圭『瀹氳塊棶鑼冨洿銆

robots鍏蜂綋浣撶幇鏄錛

robots鏄緗戠珯璺熺埇鉶闂寸殑鍗忚錛岀敤綆鍗曠洿鎺ョ殑txt鏍煎紡鏂囨湰鏂瑰紡鍛婅瘔瀵瑰簲鐨勭埇鉶琚鍏佽哥殑鏉冮檺錛屽敖綆″彧瑕佹斁鍦ㄦ牴鍩熷悕鐩褰曚笅錛屾湭璁劇疆緋葷粺綰х洰褰曡塊棶鏉冮檺鐨勬枃浠剁埇鉶閮藉彲浠ユ姄鍙栫殑鍒幫紝浣嗙綉絝欒窡鎼滅儲寮曟搸闂村傛灉娌℃湁鍗忚錛屽皢浣誇笉鍙棰勭煡鐨勫ぇ閲忎俊鎮娉勯湶鍒扮綉涓婏紝榪欎笉鏄鍙屾柟鎰挎剰鐪嬪埌鐨勩傝繖縐嶇害瀹氳村埌鏈璐ㄦ槸浜轟笌浜轟箣闂寸殑鍚涘瓙綰﹀畾銆傞櫎姝ゅ栵紝瀹冭繕鏈夎窡nofollow涓鏍鋒彁鍗嘢EO鏁堢巼鐨勫姛鐢

鎬庝箞鏍烽檺鍒禸ing鐨勪嬌鐢錛

闄愬埗bing鐨勪嬌鐢ㄦ湁涓ょ嶈В鍐蟲柟寮忥細

絎涓縐嶏細閫氳繃bing鎻愪緵鐨剋ebmastertools宸ュ叿璁劇疆銆

娉ㄥ唽濂斤紝璁よ瘉瀹岀綉絝欏悗錛屽彲鍦ㄥ乏渚ч厤緗鑿滃崟涓閫夋嫨鈥滅埇緗戞帶浠垛濊繘琛岄厤緗銆

闄愬埗Bing鎼滅儲寮曟搸鎶撳彇棰戠巼錛岄檷浣庢湇鍔″櫒璐熻澆錛岃劇疆濂芥椂鍖猴紝鐒跺悗鎷栧姩鏃墮棿鏉¤繘琛岀＄悊銆傞潪甯告柟渚褲

絎浜岀嶏紝榪欑嶆柟寮忔瘮杈冩毚鍔涳紝鐩存帴鎺у埗robots.txt鏂囦歡榪涜屾帶鍒躲

鍙浠ュ湪robots.txt閲岄潰澧炲姞crawl-delay榪欎釜鍙傛暟銆

User-agent:bingbot

Crawl-delay:1

涓婇潰鐨勪唬鐮佷唬琛╞ingbot闄愬埗鎶撳彇棰戠巼涓烘參銆

濡傛灉涓嶈劇疆Crawl-delay灝變唬琛ㄧ敱鎼滅儲寮曟搸鑷宸卞喅瀹氭姄鍙栭戠巼銆傝繖涓鍊煎彲浠ヨ劇疆1銆5銆10錛屽垎鍒瀵瑰簲鎱銆侀潪甯告參銆佹瀬鎱銆

浠涔堟槸robots.txt鏂囦歡錛

robots.txt涔熷氨robots鍗忚錛屾槸鎼滅儲寮曟搸涓璁塊棶緗戠珯鐨勬椂鍊欒佹煡鐪嬬殑絎涓涓鏂囦歡銆傞氳繃robots.txt鏂囦歡鍛婅瘔鎼滅儲寮曟搸銍樿洓鍝浜涢〉闈㈠彲浠ユ姄鍙栵紝鍝浜涢〉闈涓嶈兘鎶撳彇銆

⑶ spider.sav鏄浠涔堟枃浠

Spider.sav閫氬父鏄涓涓淇濆瓨鏂囦歡錛岄氬父涓庢煇縐嶈湗錏涚埇鉶紼嬪簭錛圫pider Crawler錛夌浉鍏熾傝繖縐嶆枃浠墮氬父鐢ㄤ簬淇濆瓨鐖鉶紼嬪簭鍦ㄨ繍琛岃繃紼嬩腑鐨勭姸鎬併侀厤緗銆佹暟鎹鎴栧叾浠栫浉鍏充俊鎮銆

棣栧厛錛屾垜浠闇瑕佹槑紜鐨勬槸錛".sav" 鏂囦歡鎵╁睍鍚嶉氬父琛ㄧず“淇濆瓨”錛圫ave錛夋枃浠訛紝榪欑被鏂囦歡閫氬父鐢ㄤ簬瀛樺偍紼嬪簭鎴栧簲鐢ㄧ▼搴忕殑鐘舵佹垨鏁版嵁錛屼互渚垮湪紼嶅悗鐨勬椂闂寸偣鎮㈠嶆垨閲嶆柊浣跨敤銆傚叿浣撳埌“spider.sav”錛岃繖閫氬父鎸囩殑鏄涓庤湗錏涚埇鉶鐩稿叧鐨勪繚瀛樻枃浠躲

銍樿洓鐖鉶鏄涓縐嶈嚜鍔ㄥ寲紼嬪簭錛岀敤浜庡湪浜掕仈緗戜笂嫻忚堝拰緔㈠紩緗戦〉銆傚畠浠閫氳繃閬靛驚緗戦〉涓婄殑閾炬帴錛屼粠涓涓欏甸潰“鐖鍙”鍒板彟涓涓欏甸潰錛屼粠鑰屾瀯寤哄嚭鏁翠釜緗戠珯鐨勭粨鏋勫拰鍐呭廣傚湪鐖鉶紼嬪簭榪愯岀殑榪囩▼涓錛屽畠鍙鑳戒細閬囧埌鍚勭嶆儏鍐碉紝濡傜綉緇滆繛鎺ヤ腑鏂銆佺郴緇熷穿婧冪瓑錛屽艱嚧鏃犳硶緇х畫鎵ц屻備負浜嗗湪榪欎簺鎯呭喌涓嬩繚鎶ゅ凡緇忔敹闆嗗埌鐨勬暟鎹鍜岃繘搴︼紝鐖鉶紼嬪簭鍙鑳戒細灝嗗綋鍓嶇殑鐘舵佸拰閰嶇疆淇濆瓨鍒頒竴涓.sav鏂囦歡涓銆

涓句釜渚嬪瓙錛屽亣璁句綘姝ｅ湪浣跨敤涓涓鍚嶄負“WebSpider”鐨勭埇鉶紼嬪簭鏉ョ埇鍙栨煇涓緗戠珯鐨勫唴瀹廣傚湪鐖鍙栬繃紼嬩腑錛學ebSpider鍙鑳戒細閬囧埌涓浜涢渶瑕佺櫥褰曟墠鑳借塊棶鐨勯〉闈銆備負浜嗘垚鍔熺埇鍙栬繖浜涢〉闈錛學ebSpider鍙鑳介渶瑕佷繚瀛樼敤鎴風殑鐧誨綍鐘舵佸拰鍏朵粬鐩稿叧淇℃伅銆傝繖鏃訛紝瀹冨彲鑳戒細鍒涘緩涓涓鍚嶄負“spider.sav”鐨勬枃浠訛紝騫跺皢榪欎簺淇℃伅淇濆瓨鍦ㄥ叾涓銆傚傛灉WebSpider鍦ㄧ埇鍙栬繃紼嬩腑鍥犱負鏌愮嶅師鍥犱腑鏂錛屼綘鍙浠ヤ嬌鐢“spider.sav”鏂囦歡鏉ユ仮澶嶄箣鍓嶇殑鐘舵侊紝緇х畫鐖鍙栧墿浣欑殑欏甸潰銆

鎬諱箣錛“spider.sav”鏂囦歡鏄涓涓涓庤湗錏涚埇鉶紼嬪簭鐩稿叧鐨勪繚瀛樻枃浠訛紝鐢ㄤ簬瀛樺偍鐖鉶紼嬪簭鍦ㄨ繍琛岃繃紼嬩腑鐨勭姸鎬併侀厤緗銆佹暟鎹鎴栧叾浠栫浉鍏充俊鎮銆傝繖縐嶆枃浠跺彲浠ュ府鍔╃敤鎴峰湪鐖鉶紼嬪簭涓鏂鏃舵仮澶嶄箣鍓嶇殑榪涘害錛屾彁楂樼埇鍙栨晥鐜囥傜劧鑰岋紝闇瑕佹敞鎰忕殑鏄錛屽叿浣撶殑鏂囦歡鍐呭瑰拰鏍煎紡鍙鑳戒細鍥犱笉鍚岀殑鐖鉶紼嬪簭鍜屽簲鐢ㄧ▼搴忚屾湁鎵涓嶅悓銆