⑴ 百度爬蟲用什麼語言
問題一：Google和網路的爬蟲是用什麼語言寫的？ 15分 每個網站都有一個「爬蟲協議」，至少大型網站都會有。
Robots協議（也襲者雹稱為爬蟲協議、機器人協議等）的全稱是「網路爬蟲排除標准」（Robots Exclusion Protocol），網站通過Robots協議告訴搜索引擎哪些頁面可以抓取，哪些頁面不能抓取。
越是大型網站，Robots協議越規范，他們為了提高自己在搜索結果的位置，會針對網路、谷歌等搜素引擎寫爬蟲協議，而網路等搜索引擎不需要特別針對這些大網站寫協議換個角度想，大的搜索引擎就那幾個，而所謂「大網站」數不勝數，怎麼可能寫的過來？
如果你沒能理解這部分內容，說明你還處在「菜鳥」級別。一般的爬蟲演算法是：先查找新地址，用隊列或者堆棧來存儲新增加的url；然後用爬蟲程序從隊列或者堆棧中取地址，繼續爬蟲。因為這兩方面程序執行的速度是不一樣的，不是說找到一個url就能立即爬完，或者有時候還沒找到新url就已經爬完了，所以分了兩個結構。
一般的程序中都會用多個函數來執行一個過程，但這在新手的學習中是不常見到、也是不易搞懂的。
鑒於你提出的問題，我覺得你不到能搞通爬蟲程序的階段，建議你還是從簡單的程序開始。看看這個編程語言入門經典100例【Python版】，希望對你有幫助
問題二：網路他們公司 那建立索引 做爬蟲這些的用什麼語言？ 實現搜索引擎核心演算法 用什麼語言啊？ 爬蟲什麼耿言都可以寫 拆解出來 主要就兩部分
一部分是獲取HTML
另一部分是正則表達式
這要有這兩部分就能從網頁上爬出有用的信息來了
至於多線程、OCR、分布式任務要根據你抓取站點的目標來做，並非是必須的
問題三：一般公司做爬蟲採集的話常用什麼語言 C# python
工具 phantomjs casperjs
問題四：請詳細解釋什麼事網路爬蟲，有什麼作用 說通俗一點就是一段程序，這段程序可以在互聯網上自動查詢更新的網站
問題五：網路爬蟲用什麼語言好 爬蟲好像很多語言都有，java,C#,python等等。我自己用的是python.
問題六：開發網路爬蟲用什麼語言比較好 python雖然我拍帆沒用過，但是這個應嘎是最好的
問題七：網路爬蟲用什麼語言什麼方式實現好 首先取決於目的 如果是一個站點，單一目的，用習慣的語言寫吧，學別的語言用的時間都夠重構兩遍的了。 如果是有100左右的站點，做個框架，把你的爬蟲管理起來，比起怎麼寫更重要。 用Java寫過，語言笨重，所建立的數據模型的任何修改都會導致代
問題八：爬蟲web軟體 用什麼開發語言最好 你可以試試用【神箭手雲爬蟲】寫爬蟲，
完全在雲上編寫和執行爬蟲，不需要配置任何開發環境，快速開發快速實現。
官網上有不少網站的爬蟲源碼分享
還有專門的開發者文檔，裡面的教程很詳細，各種基本爬蟲基礎和進階開發知識都有介紹。
爬蟲編輯器:
神箭手雲爬蟲開發平台：
問題九：各種語言寫網路爬蟲有什麼優點缺點 我用 PHP 和 Python 都寫過爬蟲和正文提取程嫌旅序。
最開始使用 PHP 所以先說說 PHP 的優點：
1.語言比較簡單，PHP 是非常隨意的一種語言。寫起來容易讓你把精力放在你要做的事情上，而不是各種語法規則等等。
2.各種功能模塊齊全，這里分兩部分：
1.網頁下載：curl 等擴展庫;
2.文檔解析：dom、xpath、tidy、各種轉碼工具，可能跟題主的問題不太一樣，我的爬蟲需要提取正文，所以需要很復雜的文本處理，所以各種方便的文本處理工具是我的大愛。;
總之容易上手。
缺點：
1.並發處理能力較弱：由於當時 PHP 沒有線程、進程功能，要想實現並發需要借用多路服用模型，PHP 使用的是 select 模型。實現其來比較麻煩，可能是因為水平問題我的程序經常出現一些錯誤，導致漏抓。
再說說 Python：
優點：
1.各種爬蟲框架，方便高效的下載網頁;
2.多線程、進程模型成熟穩定，爬蟲是一個典型的多任務處理場景，請求頁面時會有較長的延遲，總體來說更多的是等待。多線程或進程會更優化程序效率，提升整個系統下載和分析能力。
3.GAE 的支持，當初寫爬蟲的時候剛剛有 GAE，而且只支持 Python ，利用 GAE 創建的爬蟲幾乎免費，最多的時候我有近千個應用實例在工作。
缺點：
1.對不規范 HTML 適應能力差：舉個例子，如果一個頁面裡面同時有 GB18030 字元集的中文和 UTF-8 字元集的中文，Python 處理起來就沒有 PHP 那麼簡單，你自己需要做很多的判斷工作。當然這是提取正文時的麻煩。
Java 和 C++ 當時也考察過，相對腳本語言比較麻煩，所以放棄。
總之，如果開發一個小規模的爬蟲腳本語言是個各方面比較有優勢的語言。如果要開發一個復雜的爬蟲系統可能 Java 是個增加選項， C++ 我感覺寫個模塊之類的更加適合。對於一個爬蟲系統來說，下載和內文解析只是基本的兩個功能。真正好的系統還包括完善的任務調度、監控、存儲、頁面數據保存和更新邏輯、排重等等。爬蟲是一個耗費帶寬的應用，好的設計會節約大量的帶寬和伺服器資源，並且好壞差距很大。
問題十：爬蟲技術 什麼編程語言 爬蟲的主要原理是抓取html的內容，大部分目前常見的語言都有相關的網路編程API，都能實現網路爬蟲。比如說Java, Python, C++, C#, PHP, Perl等語言都可以。
希望對你有所幫助！
⑵ 網路爬蟲一般是用什麼語言完成的`
c語言最有可能，可以跨平台，至少在Linux 伺服器上可以跑吧
vc++ 時候做核心程序(演算法),相對於做界面
當然我覺得JAVA也不錯，網路編程是JAVA的特長，
⑶ Python爬蟲是什麼
爬蟲一般指網路資源的抓取，通過編程語言撰寫爬蟲工具，抓取自己想要的數據以及內容。而在眾多編程語言之中，Python有豐富的網路抓取模塊，因此成為撰寫爬蟲的首選語言，並引起了學習熱潮。
Python作為一門編程語言而純粹的自由軟體，以簡潔清晰的語法和強制使用空白符號進行語句縮進的特點受到程序員的喜愛。用不同編程語言完成一個任務，C語言一共要寫1000行代碼，Java要寫100行代碼，而Python只需要20行，用Python來完成編程任務代碼量更少，代碼簡潔簡短而且可讀性強。
Python非常適合開發網路爬蟲，因為對比其他靜態編程語言，Python抓取網頁文檔的介面更簡潔;對比其他腳本語言，Python的urllib2包提供了較為完整的訪問網頁文檔的API。
Python爬蟲的工作流程是什麼?
Python爬蟲通過URL管理器，判斷是否有待爬URL，如果有待爬URL，通過調度器進行傳遞給下載器，下載URL內容，通過調度器傳送給解釋器，解析URL內容，將有價值數據和新的URL列表通過調度器傳遞給應用程序，輸出價值信息的過程。
Python是一門非常適合開發網路爬蟲的語言，提供了urllib、re、json、pyquery等模塊，同時還有很多成型框架，比如說Scrapy框架、PySpider爬蟲系統等，代碼十分簡潔方便，是新手學習網路爬蟲的首選語言。
⑷ 精通Python網路爬蟲之網路爬蟲學習路線
欲精通Python網路爬蟲，必先了解網路爬蟲學習路線，本篇經驗主要解決這個問題。部分內容參考自書籍《精通Python網路爬蟲》。
作者：韋瑋
轉載請註明出處
隨著大數據時代的到來，人們對數據資源的需求越來越多，而爬蟲是一種很好的自動採集數據的手段。
那麼，如何才能精通Python網路爬蟲呢？學習Python網路爬蟲的路線應該如何進行呢？在此為大傢具體進行介紹。
1、選擇一款合適的編程語言
事實上，Python、PHP、JAVA等常見的語言都可以用於編寫網路爬蟲，你首先需要選擇一款合適的編程語言，這些編程語言各有優勢，可以根據習慣進行選擇。在此筆者推薦使用Python進行爬蟲項目的編寫，其優點是：簡潔、掌握難度低。
2、掌握Python的一些基礎爬蟲模塊
當然，在進行這一步之前，你應當先掌握Python的一些簡單語法基礎，然後才可以使用Python語言進行爬蟲項目的開發。
在掌握了Python的語法基礎之後，你需要重點掌握一個Python的關於爬蟲開發的基礎模塊。這些模塊有很多可以供你選擇，比如urllib、requests等等，只需要精通一個基礎模塊即可，不必要都精通，因為都是大同小異的，在此推薦的是掌握urllib，當然你可以根據你的習慣進行選擇。
3、深入掌握一款合適的表達式
學會了如何爬取網頁內容之後，你還需要學會進行信息的提取。事實上，信息的提取你可以通過表達式進行實現，同樣，有很多表達式可以供你選擇使用，常見的有正則表達式、XPath表達式、BeautifulSoup等，這些表達式你沒有必要都精通，同樣，精通1-2個，其他的掌握即可，在此建議精通掌握正則表達式以及XPath表達式，其他的了解掌握即可。正則表達式可以處理的數據的范圍比較大，簡言之，就是能力比較強，XPath只能處理XML格式的數據，有些形式的數據不能處理，但XPath處理數據會比較快。
4、深入掌握抓包分析技術
事實上，很多網站都會做一些反爬措施，即不想讓你爬到他的數據。最常見的反爬手段就是對數據進行隱藏處理，這個時候，你就無法直接爬取相關的數據了。作為爬蟲方，如果需要在這種情況下獲取數據，那麼你需要對相應的數據進行抓包分析，然後再根據分析結果進行處理。一般推薦掌握的抓包分析工具是Fiddler，當然你也可以用其他的抓包分析工具，沒有特別的要求。
5、精通一款爬蟲框架
事實上，當你學習到這一步的時候，你已經入門了。
這個時候，你可能需要深入掌握一款爬蟲框架，因為採用框架開發爬蟲項目，效率會更加高，並且項目也會更加完善。
同樣，你可以有很多爬蟲框架進行選擇，比如Scrapy、pySpider等等，一樣的，你沒必要每一種框架都精通，只需要精通一種框架即可，其他框架都是大同小異的，當你深入精通一款框架的時候，其他的框架了解一下事實上你便能輕松使用，在此推薦掌握Scrapy框架，當然你可以根據習慣進行選擇。
6、掌握常見的反爬策略與反爬處理策略
反爬，是相對於網站方來說的，對方不想給你爬他站點的數據，所以進行了一些限制，這就是反爬。
反爬處理，是相對於爬蟲方來說的，在對方進行了反爬策略之後，你還想爬相應的數據，就需要有相應的攻克手段，這個時候，就需要進行反爬處理。
事實上，反爬以及反爬處理都有一些基本的套路，萬變不離其宗，這些後面作者會具體提到，感興趣的可以關注。
常見的反爬策略主要有：
IP限制
UA限制
Cookie限制
資源隨機化存儲
動態載入技術
……
對應的反爬處理手段主要有：
IP代理池技術
用戶代理池技術
Cookie保存與處理
自動觸發技術
抓包分析技術+自動觸發技術
……
這些大家在此先有一個基本的思路印象即可，後面都會具體通過實戰案例去介紹。
7、掌握PhantomJS、Selenium等工具的使用
有一些站點，通過常規的爬蟲很難去進行爬取，這個時候，你需要藉助一些工具模塊進行，比如PhantomJS、Selenium等，所以，你還需要掌握PhantomJS、Selenium等工具的常規使用方法。
8、掌握分布式爬蟲技術與數據去重技術
如果你已經學習或者研究到到了這里，那麼恭喜你，相信現在你爬任何網站都已經不是問題了，反爬對你來說也只是一道形同虛設的牆而已了。
但是，如果要爬取的資源非常非常多，靠一個單機爬蟲去跑，仍然無法達到你的目的，因為太慢了。
所以，這個時候，你還應當掌握一種技術，就是分布式爬蟲技術，分布式爬蟲的架構手段有很多，你可以依據真實的伺服器集群進行，也可以依據虛擬化的多台伺服器進行，你可以採用urllib+redis分布式架構手段，也可以採用Scrapy+redis架構手段，都沒關系，關鍵是，你可以將爬蟲任務部署到多台伺服器中就OK。
至於數據去重技術，簡單來說，目的就是要去除重復數據，如果數據量小，直接採用資料庫的數據約束進行實現，如果數據量很大，建議採用布隆過濾器實現數據去重即可，布隆過濾器的實現在Python中也是不難的。
以上是如果你想精通Python網路爬蟲的學習研究路線，按照這些步驟學習下去，可以讓你的爬蟲技術得到非常大的提升。
至於有些朋友問到，使用Windows系統還是Linux系統，其實，沒關系的，一般建議學習的時候使用Windows系統進行就行，比較考慮到大部分朋友對該系統比較數據，但是在實際運行爬蟲任務的時候，把爬蟲部署到Linux系統中運行，這樣效率比較高。由於Python的可移植性非常好，所以你在不同的平台中運行一個爬蟲，代碼基本上不用進行什麼修改，只需要學會部署到Linux中即可。所以，這也是為什麼說使用Windows系統還是Linux系統進行學習都沒多大影響的原因之一。
本篇文章主要是為那些想學習Python網路爬蟲，但是又不知道從何學起，怎麼學下去的朋友而寫的。希望通過本篇文章，可以讓你對Python網路爬蟲的研究路線有一個清晰的了解，這樣，本篇文章的目的就達到了，加油！
本文章由作者韋瑋原創，轉載請註明出處。
⑸ python爬蟲有什麼用
Python爬蟲是用Python編程語言實現的網路爬蟲，主要用於網路數據的抓取和處理，相比於其他語言，Python是一門非常適合開發網路爬蟲的編程語言，大量內置包，可以輕松實現網路爬蟲功能。
Python爬蟲可以做的事情很多，如搜索引擎、採集數據、廣告過濾等，Python爬蟲還可以用於數據分析，在數據的抓取方面可以作用巨大!
⑹ python是什麼語言，主要應用在哪些開發
Python是一種跨平台的計算機程序設計語言。是一種面向對象的動態類型語言，最初被設計用於編寫自動化腳本(shell)，隨著版本的不斷更新和語言新功能的添加，越多被用於獨立的、大型項目的開發。
1、軟體開發：Python語言支持多函數編程，可以擔任任何軟體的開發工作，是它的標配能力。
2、科學計算：Python是一門通用的程序設計語言，比Matlab所採用的腳本語言的應用范圍更廣泛，有更多的程序庫的支持，做科學計算是非常合適的選擇。
3、自動化運維：Python是作為運維工程師的首選編程語言，有諸多優勢所在，是非常受喜歡的編程語言。
4、雲計算：開源雲計算解決方案OpenStack就是基於Python開發的。
5、web開發:基於Python的Web開發框架不要太多，比如耳熟能詳的Django，還有Tornado，Flask。
6、網路爬蟲：也稱網路蜘蛛，是大數據行業獲取數據的核心工具。能夠編寫網路爬蟲的編程語言有不少，但Python絕對是其中的主流之一。
7、數據分析：結合科學計算、機器學習等技術，對數據進行清洗、去重、規格化和針對性的分析是大數據行業的基石，Python是數據分析領域首選的編程語言。
8、人工智慧：對於人工智慧我想不用多介紹，是現在非常流行的一個行業，而人工智慧也是未來的發展，Python是人工智慧的首選編程語言。
⑺ 為什麼寫爬蟲都喜歡用python
python的腳本特性，python易於配置，對字元的處理也非常靈活，加上python有著豐富的網路抓取模塊，所以兩者經常聯系在一起。
作為一門編程語言而言，python是純粹的自由軟體，以簡潔清晰的語法和強制使用空白符進行語句縮進的特點從而深受程序員的喜愛。使用python來完成編程任務的話編寫的代碼量更少，代碼簡潔簡短可讀性更強，一個團隊嘩宏橡進行開發的時候讀別人的代碼會更快，開發效率會更高，使工作變得更加高效。
這是一門非常適合開發網路爬蟲的編程語言，相比於其他靜態編程語言，python抓取網頁文檔的介面更簡潔;相比於其他動態腳本語言，python的urllib2包提供了較為完整的訪問網頁文檔的API。絕冊此外，python中有優秀的第三方包可以高效實現網頁抓取，並可用極短的代碼完成網頁的標簽過亂旁濾功能。這也就是為什麼python被叫作爬蟲的原因。
⑻ 爬蟲技術 什麼編程語言
相關的網路編程API，比如Java, Python, C++, C#, PHP, Perl等