網路抓包大數據

A. iOS系統如何實現網路數據抓包

在進行iOS開發過程中，經常會遇到各種各樣的網路訪問問題，以前苦於沒有抓包工具，很多網路問題解決起來很痛苦。現在終於好了，本文提供兩種方式進行網路抓包：

1. 網路共享 + 可視化抓包工具

基本原理
原理比較簡單，ios設備通過代理方式共享連接mac電腦的無線網卡，使用抓包工具抓包，然後進行分析（我們推薦使用Wireshark，在MAC系統上也可以使用Paros工具）。

現在以MAC系統下Paros工具為例，詳細描述下抓包過程：

操作步驟
1) 首先將MAC電腦的乙太網共享給airport，使iOS設備能夠通過wifi連接

打開系統偏好設置，找到共享，選擇internet共享，在右側「通過以下方式將」選擇乙太網，「連接共享給其他電腦」選擇airPort。

2) 打開paros ，設置paros的本地代理paros下載地址（http://www.parosproxy.org/）

在paros的tools－》options中選擇local proxy，在Address 中輸入AirPort的ip地址。輸入埠8080。打開系統偏好設置，找到網路，選擇左側的AirPort，可以看到AirPort的地址為169.254.69.225，將該地址填入到上面提到的Address欄中。

3) 使用ios設備連接mac共享出來的網路：在iOS設備中，選擇設置－》通用－》網路－》wifi，找到共享的網路，加入。然後在該網路的纖細內容中的http代理部分，選擇手動，輸入paros中設置的代理ip和埠。

4) 下面就可以使用paros來監控iOS設備的網路，我們打開Safiri，在paros中即可察看到網路的所有請求。

2. tcpmp命令 + 可視化抓包工具

基本原理
tcpmp命令是一個網路的抓包的命令行，他能指定具體的設備，也能制定具體的五元組進行捕獲鏈路上的數據包。它可以再終端上列印出來也可以將捕獲到得數據寫入到一個文件，文件的格式是二進制形式，所以，我在打開該文件的時候才用的工具是UltraEdit。

當然也可以保存成Wireshark能夠識別的pcap格式，然後使用Wireshark進行查看。

操作步驟
1) 採用ssh登陸iphone手機，使用top命令獲取：

具體步驟如下：

a) 獲取設備IP地址(wifi地址)：

b) 在PC上打開終端，輸入ssh root@IP地址：

輸入密碼：alpine (root用戶的默認密碼)

2) 通過「tcpmp -X -s0 -w /data.pcap」命令將tcp數據包保存到iOS設備的根目錄下。

3) 通過91助手等工具取出pcap文件，在Windows下使用雙擊使用Wireshark打開查看。

當然也可以不輸出到文件，tcpmp的命令格式和參數說明：

tcpmp [ -adeflnNOpqStvx ] [ -c 數量 ] [ -F 文件名 ]

[ -i 網路介面 ] [ -r 文件名] [ -s snaplen ]

[ -T 類型 ] [ -w 文件名 ] [表達式 ]

選型介紹：

-a 將網路地址和廣播地址轉變成名字；

-d 將匹配信息包的代碼以人們能夠理解的匯編格式給出；

-dd 將匹配信息包的代碼以c語言程序段的格式給出；

-ddd 將匹配信息包的代碼以十進制的形式給出；

-e 將捕獲的包數顯示出來

-f 將外部的Internet地址以數字的形式列印出來；

-l 使標准輸出變為緩沖行形式；

-n 不把網路地址轉換成名字；

-t 在輸出的每一行不列印時間戳；

-v 輸出一個稍微詳細的信息，例如在ip包中可以包括ttl和服務類型的信息；

-vv 輸出詳細的報文信息；

-c 在收到指定的包的數目後，tcpmp就會停止；

-F 從指定的文件中讀取表達式,忽略其它的表達式；

-i 指定監聽的網路介面；

-r 從指定的文件中讀取包(這些包一般通過-w選項產生)；

-w 直接將包寫入文件中，並不分析和列印出來；

-T 將監聽到的包直接解釋為指定的類型的報文，常見的類型有rpc （遠程過程調用）和snmp（簡單網路管理協議；）

在使用該命令的時候，我主要使用的主要選項是: -i [介面名] -w [文件名] -v -vv -c -X -e

例如：

我在從eth0捕獲100個數據包的時候，並將數據寫入到capture.cap文件中，命令格式為：

tcpmp -i eth0 -w capture.cap -v -vv -c 100 -X -e

抓取一個一個ip段之間的數據包：

tcpmp –s 0 –w socket host 10.1.3.9 and host 10.1.3.84

如果從eth0且通信協議埠為22，目標IP為192.168.1.100獲取數據：

tcpmp -i eth0 port 22 and src host 192.168.1.100

此外還有其他的一些關鍵詞：host,(主機) ， net( 網關)， port(埠) ， src(源IP) , dst(目的IP), 正則表達式：and , or。

B. 怎麼抓包無線路由器網路數據

自己上網找一個Wireshark安裝在筆記本上然後通過有線物理連接路由器進行抓包，只需要物理通路通就可以了。如果你要抓的更專業一點就用Encase。同樣的方法。均可以抓到路由器lan口上交換的數據。如果你路由器夠好，也可以做一個鏡像埠來進行抓包。那種的話隨便裝一個科萊抓包都可以的。

C. 網路中如何抓包

抓包（packet capture）就是將網路傳輸發送與接收的數據包進行截獲、重發、編輯、轉存等操作，也用來檢查網路安全。抓包也經常被用來進行數據截取等。

背景知識

數據在網路上是以很小的稱為幀（Frame）的單位傳輸的，幀由幾部分組成，不同的部分執行不同的功能。幀通過特定的稱為網路驅動程序的軟體進行成型，然後通過網卡發送到網線上，通過網線到達它們的目的機器，在目的機器的一端執行相反的過程。接收端機器的乙太網卡捕獲到這些幀，並告訴操作系統幀已到達，然後對其進行存儲。就是在這個傳輸和接收的過程中，嗅探器會帶來安全方面的問題。

每一個在區域網（LAN）上的工作站都有其硬體地址，這些地址唯一地表示了網路上的機器（這一點與Internet地址系統比較相似）。當用戶發送一個數據包時，如果為廣播包，則可達到區域網中的所有機器，如果為單播包，則只能到達處於同一碰撞域中的機器。

在一般情況下，網路上所有的機器都可以「聽」到通過的流量，但對不屬於自己的數據包則不予響應（換句話說，工作站A不會捕獲屬於工作站B的數據，而是簡單地忽略這些數據）。如果某個工作站的網路介面處於混雜模式，那麼它就可以捕獲網路上所有的數據包和幀。

(3)網路抓包大數據擴展閱讀：

主要作用

通過對網路上傳輸的數據進行抓取，可以對其進行分析，對於軟體的Debug很大的幫助。當然也可以通過抓取用戶發送的涉及用戶名和密碼的數據包來獲取用戶的密碼。

（1）網路通訊的真實內容

（2）網路故障分析

（3）程序網路介面分析

（4）木馬通訊數據內容

D. 如何抓取一個區域網的所以的網路流量數據包

1、使用網路嗅探工具，也就是俗稱sniffer的工具，這類工具有很多，有專業的sniffer pro，也有iris的抓包工具，還有許多簡單點的。這種是通過抓取低層數據包，並根據上層HTTP、FTP、MAIL等協議解碼，功能強弱跟軟體有關。

2、原理就是將我們的網卡設置為混雜模式。我們知道網卡在鏈路層通信時的地址是MAC，網卡根據目標的MAC地址來確認是不是發給自己的包。在混雜模式下，網卡會接收所有網路中的數據包，不管是不是發給自己的。這樣就可以得到網路中的所有數據了。
3、問題是在交換機環境下，交換機會首先分析MAC地址，然後只把數據包轉發到對應的埠去。這樣一來，除了廣播包和多播包，我們的網卡只能接收到發給自己的數據包了，混雜模式下也無效了。
4、為了解決3這種問題，就分別針對交換機的工作原理和鏈路層通信的原理提出了不同的解決辦法。比如通過發送大量的廣播包，造成廣播風暴，造成交換機沒有更多能力來處理上層數據的分析工作，迫使交換機工作在物理層，相當於成了一個HUB，就會在所有埠中轉發所有的數據包。另一種是中間人攻擊，即偽造通信雙方的MAC同時向雙方發信，使雙方都把我們誤以為是對方，從而將要發到對方的數據包發送給我們，我們在收到的同時再給過處理轉發給真正的接受方，這樣就得到數據了。如果能夠把自己偽裝成網關，所有的對外通信就都能拿到了。
5、在無線傳輸的情況下，電波總是在公共區域傳播的，所以必須要對數據進行加密才能保證安全，根據等級和需要可以使用不同的加密方式。這時候也有專門針對無線的sniffer工具，至於能不能解密破解，就需要一點運氣了。
6、這是低層的，還可以根據各層協議原理，有針對性的把自己偽裝成需要的角色，從而獲取到相關信息。比如可以偽裝成DNS、郵件伺服器等等。
7、道高一尺、魔高一丈，有漏洞就有解決辦法。比如對交換機進行專門的設置，在風暴時使用保守的丟包處理方式，或者綁定到IP地址，或者應用層的HTTPS、DNS擴展協議。總是在攻守當中向前發展。

E. 在linux命令行環境下如何抓取網路數據包

  眾所周知，在Windows下開發運行環境下，在調試網路環境時，可以可以很方便的藉助wireshark等軟體進行抓包分析；並且在linux或者Ubuntu等桌面版里也可以進行安裝抓包工具進行抓包分析，但總有一些情況，無法直接運用工具（比如一些沒有界面的linux環境系統中），則此時我們就需要使用到最簡單的tcpmp命令進行網路抓包。

  一般的，linux下抓包時，抓取特定的網路數據包到當前文件夾下的文件中，再把文件拷貝出來利用Windows下的wireshark軟體進行分析。

tcpmp命令詳解：（簡單舉例）

  1、抓取到的文件為filename.cap，然後將此文件拷貝到Windows下，使用wireshar打開後，即可對此文件進行分析。
  2、eth0 是主機的網路適配器名稱，具體的參數值可以在linux命令行窗口中通過 ifconfig 指令查詢。

F. wireshark如何抓取別人電腦的數據包

1、在電腦中，打開wireshark軟體。

G. 如何通過路由器抓包提取手機數據

路由器本抄身有抓包功能襲，或者有相關API，對路由器有控制權的人都能操作。
利用別人的設備，比如網路探針之類的設備進行操作。
如是家庭的普通路由器，頂多隻能抓取本身連接的數據包，或者與手機通信的數據包。這種情況除非會分析數據包，否則就算抓到也沒有用。或者有專門分析數據包的軟體。

H. 如何獲取大數據

問題一：怎樣獲得大數據？ 很多數據都是屬於企業的商業秘密來的，你要做大數據的一些分析，需要獲得海量的數據源，再此基礎上進行挖掘，互聯網有很多公開途徑可以獲得你想要的數據，通過工具可以快速獲得，比如說象八爪魚採集器這樣的大數據工具，都可以幫你提高工作效率並獲得海量的數據採集啊

問題二：怎麼獲取大數據 大數據從哪裡來？自然是需要平時對旅遊客群的數據資料累計最終才有的。
如果你們平時沒有收集這些數據 那自然是沒有的

問題三：怎麼利用大數據，獲取意向客戶線索 大數據時代下大量的、持續的、動態的碎片信息是非常復雜的，已經無法單純地通過人腦來快速地選取、分析、處理，並形成有效的客戶線索。必須依託雲計算的技術才能實現，因此，這樣大量又精密的工作，眾多企業紛紛藉助CRM這款客戶關系管理軟體來實現。
CRM幫助企業獲取客戶線索的方法：
使用CRM可以按照統一的格式來管理從各種推廣渠道獲取的潛在客戶信息，匯總後由專人進行篩選、分析、跟蹤，並找出潛在客戶的真正需求，以提供滿足其需求的產品或服務，從而使潛在客戶轉變為真正為企業帶來利潤的成交客戶，增加企業的收入。使用CRM可以和網站、電子郵件、簡訊等多種營銷方式相結合，能夠實現線上客戶自動抓取，迅速擴大客戶線索數量。

問題四：如何進行大數據分析及處理？ 大數據的分析從所周知，大數據已經不簡簡單單是數據大的事實了，而最重要的現實是對大數據進行分析，只有通過分析才能獲取很多智能的，深入的，有價值的信息。那麼越來越多的應用涉及到大數據，而這些大數據的屬性，包括數量，速度，多樣性等等都是呈現了大數據不斷增長的復雜性，所以大數據的分析方法在大數據領域就顯得尤為重要，可以說是決定最終信息是否有價值的決定性因素。基於如此的認識，大數據分析普遍存在的方法理論有哪些呢？1. 可視化分析。大數據分析的使用者有大數據分析專家，同時還有普通用戶，但是他們二者對於大數據分析最基本的要求就是可視化分析，因為可視化分析能夠直觀的呈現大數據特點，同時能夠非常容易被讀者所接受，就如同看圖說話一樣簡單明了。2. 數據挖掘演算法。大數據分析的理論核心就是數據挖掘演算法，各種數據挖掘的演算法基於不同的數據類型和格式才能更加科學的呈現出數據本身具備的特點，也正是因為這些被全世界統計學家所公認的各種統計方法（可以稱之為真理）才能深入數據內部，挖掘出公認的價值。另外一個方面也是因為有這些數據挖掘的演算法才能更快速的處理大數據，如果一個演算法得花上好幾年才能得出結論，那大數據的價值也就無從說起了。3. 預測性分析。大數據分析最終要的應用領域之一就是預測性分析，從大數據中挖掘出特點，通過科學的建立模型，之後便可以通過模型帶入新的數據，從而預測未來的數據。4. 語義引擎。非結構化數據的多元化給數據分析帶來新的挑戰，我們需要一套工具系統的去分析，提煉數據。語義引擎需要設計到有足夠的人工智慧以足以從數據中主動地提取信息。5.數據質量和數據管理。大數據分析離不開數據質量和數據管理，高質量的數據和有效的數據管理，無論是在學術研究還是在商業應用領域，都能夠保證分析結果的真實和有價值。大數據分析的基礎就是以上五個方面，當然更加深入大數據分析的話，還有很多很多更加有特點的、更加深入的、更加專業的大數據分析方法。大數據的技術數據採集：ETL工具負責將分布的、異構數據源中的數據如關系數據、平面數據文件等抽取到臨時中間層後進行清洗、轉換、集成，最後載入到數據倉庫或數據集市中，成為聯機分析處理、數據挖掘的基礎。數據存取：關系資料庫、NOSQL、SQL等。基礎架構：雲存儲、分布式文件存儲等。數據處理：自然語言處理(NLP，Natural Language Processing)是研究人與計算機交互的語言問題的一門學科。處理自然語言的關鍵是要讓計算機」理解」自然語言，所以自然語言處理又叫做自然語言理解(NLU，Natural Language Understanding)，也稱為計算語言學(putational Linguistics。一方面它是語言信息處理的一個分支，另一方面它是人工智慧(AI, Artificial Intelligence)的核心課題之一。統計分析：假設檢驗、顯著性檢驗、差異分析、相關分析、T檢驗、方差分析、卡方分析、偏相關分析、距離分析、回歸分析、簡單回歸分析、多元回歸分析、逐步回歸、回歸預測與殘差分析、嶺回歸、logistic回歸分析、曲線估計、因子分析、聚類分析、主成分分析、因子分析、快速聚類法與聚類法、判別分析、對應分析、多元對應分析（最優尺度分析）、bootstrap技術等等。數據挖掘：分類（Classification）、估計（Estimation）、預測（Predic膽ion）、相關性分組或關聯規則（Affinity grouping or association rules）、聚類（Clustering）、描述和可視化......>>

問題五：網路股票大數據怎麼獲取？ 用「網路股市通」軟體。
其最大特色是主打大數據信息服務，讓原本屬於大戶的「大數據炒股」變成普通網民的隨身APP。

問題六：通過什麼渠道可以獲取大數據 看你是想要哪方面的，現在除了互聯網的大數據之外，其他的都必須要日積月累的

問題七：通過什麼渠道可以獲取大數據 有個同學說得挺對，問題傾向於要的是數據，而不是大數據。
大數據講究是全面性（而非精準性、數據量大），全面是需要通過連接來達成的。如果通過某個app獲得使用該app的用戶的終端信息，如使用安卓的佔比80%，使用iPhone的佔比為20%, 如果該app是生活訂餐的應用，你還可以拿到使用安卓的這80%的用戶平時網上訂餐傾向於的價位、地段、口味等等，當然你還會獲取這些設備都是在什麼地方上網，設備的具體機型你也知道。但是這些數據不斷多麼多，都不夠全面。如果將這部分用戶的手機號或設備號與電子商務類網站數據進行連接，你會獲取他們在電商網站上的消費數據，傾向於購買的品牌、價位、類目等等。每個系統可能都只存儲了一部分信息，但是通過一個連接標示，就會慢慢勾勒出一個或一群某種特徵的用戶的較全面的畫像。

問題八：如何從大數據中獲取有價值的信息 同時，大數據對公共部門效益的提升也具有巨大的潛能。如果美國醫療機構能夠有效地利用大數據驅動醫療效率和質量的提高，它們每年將能夠創造超過3萬億美元的價值。其中三分之二是醫療支出的減少，占支出總額超過8%的份額。在歐洲發達國家， *** 管理部門利用大數據改進效率，能夠節約超過14900億美元，這還不包括利用大數據來減少欺詐，增加稅收收入等方面的收益。
那麼，CIO應該採取什麼步驟、轉變IT基礎設施來充分利用大數據並最大化獲得大數據的價值呢?我相信用管理創新的方式來處理大數據是一個很好的方法。創新管道(Innovation pipelines)為了最終財務價值的實現從概念到執行自始至終進行全方位思考。對待大數據也可以從相似的角度來考慮：將數據看做是一個信息管道(information pipeline)，從數據採集、數據訪問、數據可用性到數據分析(4A模型)。CIO需要在這四個層面上更改他們的信息基礎設施，並運用生命周期的方式將大數據和智能計算技術結合起來。
大數據4A模型
4A模型中的4A具體如下：
數據訪問(Access)：涵蓋了實時地及通過各種資料庫管理系統來安全地訪問數據，包括結構化數據和非結構化數據。就數據訪問來說，在你實施越來越多的大數據項目之前，優化你的存儲策略是非常重要的。通過評估你當前的數據存儲技術並改進、加強你的數據存儲能力，你可以最大限度地利用現有的存儲投資。EMC曾指出，當前每兩年數據量會增長一倍以上。數據管理成本是一個需要著重考慮的問題。
數據可用性(Availability)：涵蓋了基於雲或者傳統機制的數據存儲、歸檔、備份、災難恢復等。
數據分析(Analysis)：涵蓋了通過智能計算、IT裝置以及模式識別、事件關聯分析、實時及預測分析等分析技術進行數據分析。CIO可以從他們IT部門自身以及在更廣泛的范圍內尋求大數據的價值。
用信息管道(information pipeline)的方式來思考企業的數據，從原始數據中產出高價值回報，CIO可以使企業獲得競爭優勢、財務回報。通過對數據的完整生命周期進行策略性思考並對4A模型中的每一層面都做出詳細的部署計劃，企業必定會從大數據中獲得巨大收益。 望採納

問題九：如何獲取互聯網網大數據 一般用網路蜘蛛抓取。這個需要掌握一門網路編程語言，例如python

問題十：如何從網路中獲取大量數據 可以使用網路抓包，抓取網路中的信息，推薦工具fiddler