『壹』 使用java語言爬取自己的淘寶訂單看看買了哪些東西
Java爬蟲框架WebMagic簡介及使用
一、介紹
webmagic的是一個無須配置、便於二次開發的爬蟲框架，它提供簡單靈活的API，只需少量代碼即可實現一個爬蟲。webmagic採用完全模塊化的設計，功能覆蓋整個爬蟲的生命周期(鏈接提取、頁面下載、內容抽取、持久化)，支持多線程抓取，分布式抓取，並支持自動重試、自定義UA/cookie等功能。
二、概覽
WebMagic項目代碼分為核心和擴展兩部分。核心部分(webmagic-core)是一個精簡的、模塊化的爬蟲實現，而擴展部分則包括一些便利的、實用性的功能（例如註解模式編寫爬蟲等）。
WebMagic的結構分為Downloader、PageProcessor、Scheler、Pipeline四大組件，並由Spider將它們彼此組織起來。這四大組件對應爬蟲生命周期中的下載、處理、管理和持久化等功能。而Spider則將這幾個組件組織起來，讓它們可以互相交互，流程化的執行，可以認為Spider是一個大的容器，它也是WebMagic邏輯的核心。
2.1 WebMagic的四個組件
Downloader
Downloader負責從互聯網上下載頁面，以便後續處理。WebMagic默認使用了Apache HttpClient作為下載工具。
PageProcessor
PageProcessor負責解析頁面，抽取有用信息，以及發現新的鏈接。WebMagic使用Jsoup作為HTML解析工具，並基於其開發了解析XPath的工具Xsoup。在這四個組件中，PageProcessor對於每個站點每個頁面都不一樣，是需要使用者定製的部分。
Scheler
Scheler負責管理待抓取的URL，以及一些去重的工作。WebMagic默認提供了JDK的內存隊列來管理URL，並用集合來進行去重。也支持使用Redis進行分布式管理。除非項目有一些特殊的分布式需求，否則無需自己定製Scheler。
Pipeline
Pipeline負責抽取結果的處理，包括計算、持久化到文件、資料庫等。WebMagic默認提供了「輸出到控制台」和「保存到文件」兩種結果處理方案。Pipeline定義了結果保存的方式，如果你要保存到指定資料庫，則需要編寫對應的Pipeline。對於一類需求一般只需編寫一個Pipeline。
2.2 用於數據流轉的對象
Request
Request是對URL地址的一層封裝，一個Request對應一個URL地址。它是PageProcessor與Downloader交互的載體，也是PageProcessor控制Downloader唯一方式。
Page
Page代表了從Downloader下載到的一個頁面——可能是HTML，也可能是JSON或者其他文本格式的內容。Page是WebMagic抽取過程的核心對象，它提供一些方法可供抽取、結果保存等。
ReusltItems
ReusltItems相當於一個Map，它保存PageProcessor處理的結果，供Pipeline使用。它的API與Map很類似，值得注意的是它有一個欄位skip，若設置為true，則不應被Pipeline處理。
2.3 控制爬蟲運轉的引擎—Spider
Spider是WebMagic內部流程的核心。Downloader、PageProcessor、Scheler、Pipeline都是Spider的一個屬性，這些屬性是可以自由設置的，通過設置這個屬性可以實現不同的功能。Spider也是WebMagic操作的入口，它封裝了爬蟲的創建、啟動、停止、多線程等功能。
對於編寫一個爬蟲，PageProcessor是需要編寫的部分，而Spider則是創建和控制爬蟲的入口。
2.4 WebMagic項目組成
WebMagic項目代碼包括幾個部分，在根目錄下以不同目錄名分開。它們都是獨立的Maven項目。
WebMagic主要包括兩個包，這兩個包經過廣泛實用，已經比較成熟：
webmagic-core
webmagic-core是WebMagic核心部分，只包含爬蟲基本模塊和基本抽取器。
webmagic-extension
webmagic-extension是WebMagic的主要擴展模塊，提供一些更方便的編寫爬蟲的工具。包括註解格式定義爬蟲、JSON、分布式等支持。
三、 基本的爬蟲
3.1 爬蟲的流程 (可以參考上邊的框架架構圖)
Downloader-頁面下載
頁面下載是一切爬蟲的開始。
大部分爬蟲都是通過模擬http請求，接收並分析響應來完成。這方面，JDK自帶的HttpURLConnection可以滿足最簡單的需要，而Apache HttpClient(4.0後整合到HttpCompenent項目中)則是開發復雜爬蟲的不二之選。它支持自定義HTTP頭(對於爬蟲比較有用的就是User-agent、cookie等)、自動redirect、連接復用、cookie保留、設置代理等諸多強大的功能。
webmagic使用了HttpClient 4.2，並封裝到了HttpClientDownloader。學習HttpClient的使用對於構建高性能爬蟲是非常有幫助的，官方的Tutorial就是很好的學習資料。目前webmagic對HttpClient的使用仍在初步階段，不過對於一般抓取任務，已經夠用了
PageProcessor-頁面分析及鏈接抽取
Selector是webmagic為了簡化頁面抽取開發的獨立模塊，是整個項目中我最得意的部分。這里整合了CSS Selector、XPath和正則表達式，並可以進行鏈式的抽取，很容易就實現強大的功能。即使你使用自己開發的爬蟲工具，webmagic的Selector仍然值得一試
Jsoup
HtmlParser
Apache tika
HtmlCleaner與Xpath
這里說的頁面分析主要指HTML頁面的分析。頁面分析可以說是垂直爬蟲最復雜的一部分，在webmagic里，PageProcessor是定製爬蟲的核心。通過編寫一個實現PageProcessor介面的類，就可以定製一個自己的爬蟲
HTML分析是一個比較復雜的工作，Java世界主要有幾款比較方便的分析工具：
webmagic的Selector
Scheler-URL管理
URL管理的問題可大可小。對於小規模的抓取，URL管理是很簡單的。我們只需要將待抓取URL和已抓取URL分開保存，並進行去重即可。使用JDK內置的集合類型Set、List或者Queue都可以滿足需要。如果我們要進行多線程抓取，則可以選擇線程安全的容器，例如LinkedBlockingQueue以及ConcurrentHashMap。因為小規模的URL管理非常簡單，很多框架都並不將其抽象為一個模塊，而是直接融入到代碼中。但是實際上，抽象出Scheler模塊，會使得框架的解耦程度上升一個檔次，並非常容易進行橫向擴展，這也是我從scrapy中學到的。
Pipeline-離線處理和持久化
Pipeline其實也是容易被忽略的一部分。大家都知道持久化的重要性，但是很多框架都選擇直接在頁面抽取的時候將持久化一起完成，例如crawer4j。但是Pipeline真正的好處是，將頁面的在線分析和離線處理拆分開來，可以在一些線程里進行下載，另一些線程里進行處理和持久化。
3.2 使用WebMagic爬取一個壁紙網站
首先引入WebMagic的依賴，webmagic-core-{version}.jar和webmagic-extension-{version}.jar。在項目中添加這兩個包的依賴，即可使用WebMagic。
maven中引入依賴jar包
不使用maven的用戶，可以去http://webmagic.io中下載最新的jar包。
『貳』 Java多線程爬蟲實現
一、需求
1.定時抓取固定網站新聞標題、內容、發表時間和來源。
2.程序需要支持分布式、多線程
二、設計
1.網站是固定，但是未來也可能添加新的網站去抓取，每個網站內容節點設計都不一樣，這樣就需要支持動態可配置來新增網站以方便未來的擴展，這樣就需要每次都需要開發介入。
2.網站html節點的結構可能發生變化，所以也要支持提取節點可配置。
3.怎樣支持分布式？暫時最簡單的想法就是：多機器部署程序，還有新搞一台或者部署程序其中一台製作一個定時任務，定時開啟每台機器應該抓取哪個網站，暫時不能支持同一個網站同時可以支持被多台機器同時抓取，這樣會比較麻煩，要用到分布式隊列。所以暫時一個網站同時只會被單台機器抓取。
4.多線程，怎樣多線程？多線程抓取我這邊有兩個實現：
（1）一個線程抓取一個網站，維護一罩拿個自己的url隊列做廣度抓取，同時抓取多個網站。如圖：
（2）多個線程同時抓取不同的網站。如圖：
以上兩飢悶做張辦法其實各有優點，也給有缺點，看我們怎麼取捨了。
方法1：每個線程創建一個自己的隊列，圖中的queue可以不用concurrentQueue，優點：不涉及到控制並發，每個網站一個線程抓取一個網站，抓取完畢即自動回收銷毀線程。控制方便。缺點：線程數不可以擴展，例如當只有3個網站，你最多隻能開3個線程來抓取，不能開更多，有一定的局限性。
方法2：N個線程同時抓取N個網站，線程數和網站數目不掛鉤，優點：線程數可以調整並且和和抓取網站數量無關。3個網站我們可以開4個5個或者10個這個可以根據您的硬體資源進行調整。缺點：需要控制並發，並且要控制什麼時候銷毀線程（thread1空閑，並且queue為空不代表任務可以結束，可能thread2結果還沒返回），當被抓取的網站響應較慢時，會拖慢整個爬蟲進度。
三、實現
抓取方式最終還是選擇了方法二，因為線程數可配置！
使用技術：
jfinal用了之後才發現這東西不適合，但是由於項目進度問題，還是使用了。
maven項目管理
jettyserver
mysql
eclipse開發
項目需要重點攻破的難點：
（1）合理的控制N個線程正常的抓取網站，並且當所有爛衡線程工作都完成了並且需要抓取的隊列為空時，N個線程同時退出銷毀。
（2）不同網站設計節點不一樣，需要通過配置解決各個網站需要抓取的URL和抓取節點內容在html節點的位置。
（3）個性化內容處理，由於html結構設計問題，北大青鳥認為抓取的內容可能有些多餘的html標簽，或者多餘的內容該怎麼處理。