如何獲得百度大數據包

A. 如何使用wireshark捕獲訪問某個網站的數據包

用wireshark只能捕獲到程序安裝所在計算機上的數據包，dns解析是一個涉及不同域名伺服器的過程，你無法在本機上得知全部過程，但是能捕獲到乎吵解析請求和最終的返回結果。
1、首先打開wireshak，開始捕捉。
2、梁頃攜打開瀏覽器，訪問網站
大概的過程就這些，等網站被打開，你所描述的數據基本上都有了。
分析其中的數據，dns、tcp握手等都在其中。看協議類型即可。
ip地址、mac地址也在數據包橡伏中，wireshark默認不顯示mac地址，你可以在column preferences中添加新欄目hardware src（des） address即可
下面是數據包的截圖，前兩個dns，後面是tcp握手，接下來就是http請求和數據了，訪問的是新浪網站，瀏覽器為maxthon4。

話說你要瀏覽器和網站截圖干什麼？？那個與分析過程無關。

B. 如何抓包和GET數據包與POST數據包區別

首先說一下我所理解的數據包。

我所理解的數據包就是用戶和網站之間的一個交流，你把數據包傳遞到伺服器，伺服器再返回給你一個結果，這樣你和網站就進行了一次交流。

而我們在網站里的操作，也是發送數據包請求來完成的。

那麼我們如何去抓取我們所發送的數據包呢。

這里推薦一下火狐瀏覽器里的firebug插件。

首先我們網路搜索火狐瀏覽器，然後下載下來。

接著到菜單----附加組件----搜索firebug

然後安裝這個甲殼蟲圖片的就可以了。

安裝好了之後呢，我們看到瀏覽器右上角有一個灰色的甲殼蟲圖標，我們點擊它，就成為亮色的了。

然後我們選擇 網路---啟動

這樣，這個firebug插件就已經開始對你的火狐瀏覽器抓包了。

這時候我們最好把「保持」給勾選上，因為有時候網頁會跳轉，那麼跳轉之前的數據包就會自動清空了，如果你保持的話，跳轉之前的數據包也可以找到。

這里為什麼推薦火狐瀏覽器里的firebug插件呢，因為firebug插件的抓包的時候，如果是緩存在電腦目錄里的數據，他會顯示灰色，這樣我們分析數據包的時候直接跳過這些灰色的數據包就可以了。 而且火狐瀏覽器的插件也比較多。

我們現在提交數據包的方式常見的有兩類，一類是GET方式，一類是POST方式。 也有其他的方式，不過很少很少見到，主流還是GET和POST方式。

GET方式的數據包就跟我們平常訪問網頁一樣，當我們打開http://www..com/就相當於提交了一個GET數據包。

那麼以網路為例子。

我們抓取打開網路時候的數據包可以看到有很多一條一條的數據包，一般來說第一條就是我們訪問的地址。我們把第一條展開看一下。

把請求頭復制出來就是這樣
GET / HTTP/1.1
Host: www..com
User-Agent: Mozilla/5.0 (Windows NT 5.1; rv:22.0) Gecko/20100101 Firefox/22.0
Accept: text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8
Accept-Language: zh-cn,zh;q=0.8,en-us;q=0.5,en;q=0.3
Accept-Encoding: gzip, deflate
Cookie: BAIDUID=:FG=1; mv_in_vl=0; BDSVRTM=20; BDRCVFR=mk3SLVN4HKm; BDRCVFR=aeXf-1x8UdYcs
Connection: keep-alive
Cache-Control: max-age=0

最開始有一個GET，這個就是數據包的提交方式了，可以是GET或者POST。 後面是HTTP/1.1

而Host就是伺服器名，可以是一個域名也可以是一個IP地址。

User-Agent，瀏覽器標識什麼的，可以讓伺服器識別你的瀏覽器版本、語言、插件等等。

Accept，Accept-Language，Accept-Encoding，這里我就不多說了，有興趣的朋友可以看看這個：http://jingyan..com/article/375c8e19770f0e25f2a22900.html

下面是Cookie，Connection和Cache-Control.

那麼一個GET方式的數據包就是這樣構成的。
然後我們看到數據包還有一個響應

這里是我們訪問了這個數據包後，伺服器返回給我們的結果。

我們打開後看到是一對亂碼

這個是很正常的，伺服器只會給你返回一串數據，然後瀏覽器會根據數據來進行整理，然後展現給你，也就是你看到的網路頁面。

那麼到這里，就是一個完整的GET方式的數據包。

而POST數據包和GET數據包的本質是沒有任何差別的，構成也很相似。

POST數據包只是為了來完成GET數據包沒有辦法完成的功能。

因為有時候我們要登錄賬號，登錄賬號要發送一個數據包給伺服器，那如果是GET方式的話，登錄的賬號密碼就會在瀏覽器地址欄里顯示出來，這樣就不太安全。

如果是POST數據包的話，就不會顯示出來。

並且GET方式的數據包能查詢的長度是有限的，好像最長是255位元組，也可能會更多，反正不會超過某個限度，如果超過了這個限度的話，他會自動省去後面的位元組。那麼我們傳遞到伺服器的時候，數據就損失了很多，伺服器也會不知道我們是幹嘛的。

而POST數據包就會沒有這個問題。

下面抓一個網路的登錄看一下。

復制一下他的請求頭信息

POST /v2/api/?login HTTP/1.1
Host: passport..com
User-Agent: Mozilla/5.0 (Windows NT 5.1; rv:22.0) Gecko/20100101 Firefox/22.0
Accept: text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8
Accept-Language: zh-cn,zh;q=0.8,en-us;q=0.5,en;q=0.3
Accept-Encoding: gzip, deflate
Referer: http://www..com/
Cookie: BAIDUID=:FG=1; HOSUPPORT=1
Connection: keep-alive

那麼我們可以看到，POST的請求頭信息和GET的請求頭是很相似的。只不過多了個POST數據。

而這里我們可以看到，提交的數據是非常非常長的，如果用GET方式的話就可能不能完全提交到伺服器。而且就算能提交，那麼瀏覽器地址欄顯示這么長一串內容，對用戶的體驗也是不太好的。反正我是看到地址欄滿滿的很長一段，就會不舒服。

言歸正傳，這里就是POST方式提交的數據。

然後其他的就跟GET方式差不多了， 頭信息、返回響應什麼的。

最後總結一下：
1、抓包用火狐瀏覽器的firebug插件，抓包的時候要記得勾選「保持」。
2、POST和GET方式的區別就在於長度問題，GET方式的長度是有限的，POST沒有限制。

最後建議大家去抓包試一試，不懂的地方可以跟帖留言，我有空解答{:soso_e113:}

C. 如何獲取大數據信息

一、公開資料庫
常用數據公開網站：

UCI：經典的機器學習、數據挖掘數據集，包含分類、聚類、回歸等問題下的多個數據集。很經典也比較古老，但依然活躍在科研學者的視線中。

國家數據：數據來源中華人民共和國國家統計局，包含了我國經濟民生等多個方面的數據，並且在月度、季度、年度都有覆蓋，全面又權威。

亞馬遜：來自亞馬遜的跨科學雲數據平台，包含化學、生物、經濟等多個領域的數據集。

figshare：研究成果共享平台，在這里可以找到來自世界的大牛們的研究成果分享，獲取其中的研究數據。

github：一個非常全面的數據獲取渠道，包含各個細分領域的資料庫資源，自然科學和社會科學的覆蓋都很全面，適合做研究和數據分析的人員。

二、利用爬蟲可以獲得有價值數據
這里給出了一些網站平台，我們可以使用爬蟲爬取網站上的數據，某些網站上也給出獲取數據的API介面，但需要付費。

1.財經數據，2.網貸數據；3.公司年報；4.創投數據；5.社交平台；6.就業招聘；7.餐飲食品；8.交通旅遊；9.電商平台；10.影音數據；11.房屋信息；12.購車租車；13.新媒體數據；14.分類信息。

三、數據交易平台
由於現在數據的需求很大，也催生了很多做數據交易的平台，當然，出去付費購買的數據，在這些平台，也有很多免費的數據可以獲取。

優易數據：由國家信息中心發起，擁有國家級信息資源的數據平台，國內領先的數據交易平台。平台有B2B、B2C兩種交易模式，包含政務、社會、社交、教育、消費、交通、能源、金融、健康等多個領域的數據資源。

數據堂：專注於互聯網綜合數據交易，提供數據交易、處理和數據API服務，包含語音識別、醫療健康、交通地理、電子商務、社交網路、圖像識別等方面的數據。



四、網路指數
網路指數：指數查詢平台，可以根據指數的變化查看某個主題在各個時間段受關注的情況，進行趨勢分析、輿情預測有很好的指導作用。除了關注趨勢之外，還有需求分析、人群畫像等精準分析的工具，對於市場調研來說具有很好的參考意義。同樣的另外兩個搜索引擎搜狗、360也有類似的產品，都可以作為參考。

阿里指數：國內權威的商品交易分析工具，可以按地域、按行業查看商品搜索和交易數據，基於淘寶、天貓和1688平台的交易數據基本能夠看出國內商品交易的概況，對於趨勢分析、行業觀察意義不小。

友盟指數：友盟在移動互聯網應用數據統計和分析具有較為全面的統計和分析，對於研究移動端產品、做市場調研、用戶行為分析很有幫助。除了友盟指數，友盟的互聯網報告同樣是了解互聯網趨勢的優秀讀物。

五、網路採集器
網路採集器是通過軟體的形式實現簡單快捷地採集網路上分散的內容，具有很好的內容收集作用，而且不需要技術成本，被很多用戶作為初級的採集工具。

造數：新一代智能雲爬蟲。爬蟲工具中最快的，比其他同類產品快9倍。擁有千萬IP，可以輕松發起無數請求，數據保存在雲端，安全方便、簡單快捷。

火車採集器：一款專業的互聯網數據抓取、處理、分析，挖掘軟體，可以靈活迅速地抓取網頁上散亂分布的數據信息。

八爪魚：簡單實用的採集器，功能齊全，操作簡單，不用寫規則。特有的雲採集，關機也可以在雲伺服器上運行採集任務。

D. 大學沒課除了玩手機，可以做這些

大學沒課除了玩手機還可以做這么多事

1.認知提升法律羅翔《刑法課》心理學20李玫瑾《數育心理學》人生哲理—陳果《幸福哲學課》生活情感梁永安《梁永安的愛情課》西方美術史—一孫奶樹《西方美術欣賞》古詩詞葉嘉瑩《中華詩詞之美》中國文學歐麗娟《紅樓夢講說》電影學戴錦華《從電影談起》高質量公開課耶魯大學公開課《如何管理情緒》麻省理工大學公開課一《如何說話》加州大學公開課頭《學會如何學習》哈佛大學公開課《生命的意義》斯坦福大學公開課《如何創亞》耶魯大學公開課《經典美國小說語聽力干貨》斯坦福大學公開課一一《如何像心理學家一樣思考？》哈佛大學公開《混亂、游戲、和確定性延遲》。

2.硬核就業技能軟體類，自學PS，敬偉PS I doyoudo I，攝影教程，自學PR一一GenJi是真想教會你，喬納咻貝塔琺自學AEAE教程， GenJiI AE老溫，自學AU一龍雪傲，李子凌立信學長7自學CAD一一大夢空間U老萬課堂，昂首學習，自學塌鏈隱word，一愛知趣教育IwPS學堂，一周進步，自學Excel，一辦公社，小野君，愛知趣教育，自學PPT，旁門左道，PPT七路課堂。

興趣類

自學攝影，攝影教程I熊熊Bearie ，皮蛋日記，自學手繪，蘇小害手繪l林克團廳斯先生，自學調色馬龍剛子陌本陌李濤，自學吉他，吉他世界網1吉他情報局1Fee從容，自學唱歌，聲樂小技巧1椰子音東課堂，自學美牧程十安大佬甜辣辣來擼妝。

3.資源信息

考研人必備網站，中國研充生招生信息網一網上報名、在線咨詢中國考研網一一導師信息、歷年分數、中國教育在線考研頻道一一報考指南、歷年真題考研歷年真題庫一一考試真題和答案考研論壇，考研經驗分享，論文文獻，中文文獻，中國知網I萬方資料庫I維普網IOA圖書館。

4.提升形象，穿搭變美，梨型身材，胖梨阿姨，蘋果型身材H型身材，減脂健身，帕梅拉全身燃脂，周六野練馬甲線喚彎，改善體態。

歐陽春曉，改善圓肩駝背護膚美白，駱王宇美白知識科普，化學生家佳，面部美白必看，小蠻全身美白必看，成分護膚夏七七，混油痘肌必看，何大桔瑕疵皮必看，大夏天理性護膚，干皮必看，搞錢技能，VPPT製作。

在學校不管是課程答辯、畢業論文答辯、競賽都會用到PPT,PPT做得好絕對是一份加分項。PPT做得好還可以接單給網站做PPT模板增加收入，在大學實現生活費自由。

視頻剪輯，短視頻時代，視頻剪輯需求真的很大，很多相關工作都先考慮會視頻剪輯的優先，小白先用手機APP來學習加急，高階一點可以用PR等剪輯。

5.搞錢技能，攝影技能，照片影像是人們最快接收消息的方式，每個人都在用影像政變生活，豐富生活像拍照發朋友圍，日常記錄。如果你對攝影感興趣，學精通後可以嘗試婚禮接單。個人攝影師，都能有可觀的收入。

英語技能，學好英語的重要性大家都知道，以後考證、考研、進外企工作、出國留學、英語好的人真的特別有優勢。

編程技能，掌握基本的編程知識真的太香了真的是提升工作效率最有力的式器可以代普excel批量處理數據。輕輕鬆鬆爬取想要的信息省時省力。

6.口オ表達，表達力爆棚的綜藝《和陌生人說話》一一豆瓣評分：9.3《非正式會談ーー豆瓣評分：9.3《奇葩說》ー豆瓣評分：9.0《圖桌派》豆瓣評分：9.1《朗讀者》一一豆娜評分：9.1提升表達力的TED《擁有更好交淡的10個方法》《改變自己只需要兩年時間》《別讓不會說話成為你的障礙》《演講結構：如問成為出色的演講者》《面對壓力如何保持冷清靜》《十三邀》一豆加評分：9.1《但是，還有書籍》一一豆瓣評分：9.0《書房裡的世界觀》一一豆瓣評分：9.0《大法官金斯伯格》一一豆糖評分：9.5《我住在這里的理由》豆瓣評分9.2。

E. 如何獲取大數據

問題一：怎樣獲得大數據？ 很多數據都是屬於企業的商業秘密來的，你要做大數據的一些分析，需要獲得海量的數據源，再此基礎上進行挖掘，互聯網有很多公開途徑可以獲得你想要的數據，通過工具可以快速獲得，比如說象八爪魚採集器這樣的大數據工具，都可以幫你提高工作效率並獲得海量的數據採集啊

問題二：怎麼獲取大數據 大數據從哪裡來？自然是需要平時對旅遊客群的數據資料累計最終才有的。
如果你們平時沒有收集這些數據 那自然是沒有的

問題三：怎麼利用大數據，獲取意向客戶線索 大數據時代下大量的、持續的、動態的碎片信息是非常復雜的，已經無法單純地通過人腦來快速地選取、分析、處理，並形成有效的客戶線索。必須依託雲計算的技術才能實現，因此，這樣大量又精密的工作，眾多企業紛紛藉助CRM這款客戶關系管理軟體來實現。
CRM幫助企業獲取客戶線索的方法：
使用CRM可以按照統一的格式來管理從各種推廣渠道獲取的潛在客戶信息，匯總後由專人進行篩選、分析、跟蹤，並找出潛在客戶的真正需求，以提供滿足其需求的產品或服務，從而使潛在客戶轉變為真正為企業帶來利潤的成交客戶，增加企業的收入。使用CRM可以和網站、電子郵件、簡訊等多種營銷方式相結合，能夠實現線上客戶自動抓取，迅速擴大客戶線索數量。

問題四：如何進行大數據分析及處理？ 大數據的分析從所周知，大數據已經不簡簡單單是數據大的事實了，而最重要的現實是對大數據進行分析，只有通過分析才能獲取很多智能的，深入的，有價值的信息。那麼越來越多的應用涉及到大數據，而這些大數據的屬性，包括數量，速度，多樣性等等都是呈現了大數據不斷增長的復雜性，所以大數據的分析方法在大數據領域就顯得尤為重要，可以說是決定最終信息是否有價值的決定性因素。基於如此的認識，大數據分析普遍存在的方法理論有哪些呢？1. 可視化分析。大數據分析的使用者有大數據分析專家，同時還有普通用戶，但是他們二者對於大數據分析最基本的要求就是可視化分析，因為可視化分析能夠直觀的呈現大數據特點，同時能夠非常容易被讀者所接受，就如同看圖說話一樣簡單明了。2. 數據挖掘演算法。大數據分析的理論核心就是數據挖掘演算法，各種數據挖掘的演算法基於不同的數據類型和格式才能更加科學的呈現出數據本身具備的特點，也正是因為這些被全世界統計學家所公認的各種統計方法（可以稱之為真理）才能深入數據內部，挖掘出公認的價值。另外一個方面也是因為有這些數據挖掘的演算法才能更快速的處理大數據，如果一個演算法得花上好幾年才能得出結論，那大數據的價值也就無從說起了。3. 預測性分析。大數據分析最終要的應用領域之一就是預測性分析，從大數據中挖掘出特點，通過科學的建立模型，之後便可以通過模型帶入新的數據，從而預測未來的數據。4. 語義引擎。非結構化數據的多元化給數據分析帶來新的挑戰，我們需要一套工具系統的去分析，提煉數據。語義引擎需要設計到有足夠的人工智慧以足以從數據中主動地提取信息。5.數據質量和數據管理。大數據分析離不開數據質量和數據管理，高質量的數據和有效的數據管理，無論是在學術研究還是在商業應用領域，都能夠保證分析結果的真實和有價值。大數據分析的基礎就是以上五個方面，當然更加深入大數據分析的話，還有很多很多更加有特點的、更加深入的、更加專業的大數據分析方法。大數據的技術數據採集：ETL工具負責將分布的、異構數據源中的數據如關系數據、平面數據文件等抽取到臨時中間層後進行清洗、轉換、集成，最後載入到數據倉庫或數據集市中，成為聯機分析處理、數據挖掘的基礎。數據存取：關系資料庫、NOSQL、SQL等。基礎架構：雲存儲、分布式文件存儲等。數據處理：自然語言處理(NLP，Natural Language Processing)是研究人與計算機交互的語言問題的一門學科。處理自然語言的關鍵是要讓計算機」理解」自然語言，所以自然語言處理又叫做自然語言理解(NLU，Natural Language Understanding)，也稱為計算語言學(putational Linguistics。一方面它是語言信息處理的一個分支，另一方面它是人工智慧(AI, Artificial Intelligence)的核心課題之一。統計分析：假設檢驗、顯著性檢驗、差異分析、相關分析、T檢驗、方差分析、卡方分析、偏相關分析、距離分析、回歸分析、簡單回歸分析、多元回歸分析、逐步回歸、回歸預測與殘差分析、嶺回歸、logistic回歸分析、曲線估計、因子分析、聚類分析、主成分分析、因子分析、快速聚類法與聚類法、判別分析、對應分析、多元對應分析（最優尺度分析）、bootstrap技術等等。數據挖掘：分類（Classification）、估計（Estimation）、預測（Predic膽ion）、相關性分組或關聯規則（Affinity grouping or association rules）、聚類（Clustering）、描述和可視化......>>

問題五：網路股票大數據怎麼獲取？ 用「網路股市通」軟體。
其最大特色是主打大數據信息服務，讓原本屬於大戶的「大數據炒股」變成普通網民的隨身APP。

問題六：通過什麼渠道可以獲取大數據 看你是想要哪方面的，現在除了互聯網的大數據之外，其他的都必須要日積月累的

問題七：通過什麼渠道可以獲取大數據 有個同學說得挺對，問題傾向於要的是數據，而不是大數據。
大數據講究是全面性（而非精準性、數據量大），全面是需要通過連接來達成的。如果通過某個app獲得使用該app的用戶的終端信息，如使用安卓的佔比80%，使用iPhone的佔比為20%, 如果該app是生活訂餐的應用，你還可以拿到使用安卓的這80%的用戶平時網上訂餐傾向於的價位、地段、口味等等，當然你還會獲取這些設備都是在什麼地方上網，設備的具體機型你也知道。但是這些數據不斷多麼多，都不夠全面。如果將這部分用戶的手機號或設備號與電子商務類網站數據進行連接，你會獲取他們在電商網站上的消費數據，傾向於購買的品牌、價位、類目等等。每個系統可能都只存儲了一部分信息，但是通過一個連接標示，就會慢慢勾勒出一個或一群某種特徵的用戶的較全面的畫像。

問題八：如何從大數據中獲取有價值的信息 同時，大數據對公共部門效益的提升也具有巨大的潛能。如果美國醫療機構能夠有效地利用大數據驅動醫療效率和質量的提高，它們每年將能夠創造超過3萬億美元的價值。其中三分之二是醫療支出的減少，占支出總額超過8%的份額。在歐洲發達國家， *** 管理部門利用大數據改進效率，能夠節約超過14900億美元，這還不包括利用大數據來減少欺詐，增加稅收收入等方面的收益。
那麼，CIO應該採取什麼步驟、轉變IT基礎設施來充分利用大數據並最大化獲得大數據的價值呢?我相信用管理創新的方式來處理大數據是一個很好的方法。創新管道(Innovation pipelines)為了最終財務價值的實現從概念到執行自始至終進行全方位思考。對待大數據也可以從相似的角度來考慮：將數據看做是一個信息管道(information pipeline)，從數據採集、數據訪問、數據可用性到數據分析(4A模型)。CIO需要在這四個層面上更改他們的信息基礎設施，並運用生命周期的方式將大數據和智能計算技術結合起來。
大數據4A模型
4A模型中的4A具體如下：
數據訪問(Access)：涵蓋了實時地及通過各種資料庫管理系統來安全地訪問數據，包括結構化數據和非結構化數據。就數據訪問來說，在你實施越來越多的大數據項目之前，優化你的存儲策略是非常重要的。通過評估你當前的數據存儲技術並改進、加強你的數據存儲能力，你可以最大限度地利用現有的存儲投資。EMC曾指出，當前每兩年數據量會增長一倍以上。數據管理成本是一個需要著重考慮的問題。
數據可用性(Availability)：涵蓋了基於雲或者傳統機制的數據存儲、歸檔、備份、災難恢復等。
數據分析(Analysis)：涵蓋了通過智能計算、IT裝置以及模式識別、事件關聯分析、實時及預測分析等分析技術進行數據分析。CIO可以從他們IT部門自身以及在更廣泛的范圍內尋求大數據的價值。
用信息管道(information pipeline)的方式來思考企業的數據，從原始數據中產出高價值回報，CIO可以使企業獲得競爭優勢、財務回報。通過對數據的完整生命周期進行策略性思考並對4A模型中的每一層面都做出詳細的部署計劃，企業必定會從大數據中獲得巨大收益。 望採納

問題九：如何獲取互聯網網大數據 一般用網路蜘蛛抓取。這個需要掌握一門網路編程語言，例如python

問題十：如何從網路中獲取大量數據 可以使用網路抓包，抓取網路中的信息，推薦工具fiddler