网络抓包大数据

A. iOS系统如何实现网络数据抓包

在进行iOS开发过程中，经常会遇到各种各样的网络访问问题，以前苦于没有抓包工具，很多网络问题解决起来很痛苦。现在终于好了，本文提供两种方式进行网络抓包：

1. 网络共享 + 可视化抓包工具

基本原理
原理比较简单，ios设备通过代理方式共享连接mac电脑的无线网卡，使用抓包工具抓包，然后进行分析（我们推荐使用Wireshark，在MAC系统上也可以使用Paros工具）。

现在以MAC系统下Paros工具为例，详细描述下抓包过程：

操作步骤
1) 首先将MAC电脑的以太网共享给airport，使iOS设备能够通过wifi连接

打开系统偏好设置，找到共享，选择internet共享，在右侧“通过以下方式将”选择以太网，“连接共享给其他电脑”选择airPort。

2) 打开paros ，设置paros的本地代理paros下载地址（http://www.parosproxy.org/）

在paros的tools－》options中选择local proxy，在Address 中输入AirPort的ip地址。输入端口8080。打开系统偏好设置，找到网络，选择左侧的AirPort，可以看到AirPort的地址为169.254.69.225，将该地址填入到上面提到的Address栏中。

3) 使用ios设备连接mac共享出来的网络：在iOS设备中，选择设置－》通用－》网络－》wifi，找到共享的网络，加入。然后在该网络的纤细内容中的http代理部分，选择手动，输入paros中设置的代理ip和端口。

4) 下面就可以使用paros来监控iOS设备的网络，我们打开Safiri，在paros中即可察看到网络的所有请求。

2. tcpmp命令 + 可视化抓包工具

基本原理
tcpmp命令是一个网络的抓包的命令行，他能指定具体的设备，也能制定具体的五元组进行捕获链路上的数据包。它可以再终端上打印出来也可以将捕获到得数据写入到一个文件，文件的格式是二进制形式，所以，我在打开该文件的时候才用的工具是UltraEdit。

当然也可以保存成Wireshark能够识别的pcap格式，然后使用Wireshark进行查看。

操作步骤
1) 采用ssh登陆iphone手机，使用top命令获取：

具体步骤如下：

a) 获取设备IP地址(wifi地址)：

b) 在PC上打开终端，输入ssh root@IP地址：

输入密码：alpine (root用户的默认密码)

2) 通过“tcpmp -X -s0 -w /data.pcap”命令将tcp数据包保存到iOS设备的根目录下。

3) 通过91助手等工具取出pcap文件，在Windows下使用双击使用Wireshark打开查看。

当然也可以不输出到文件，tcpmp的命令格式和参数说明：

tcpmp [ -adeflnNOpqStvx ] [ -c 数量 ] [ -F 文件名 ]

[ -i 网络接口 ] [ -r 文件名] [ -s snaplen ]

[ -T 类型 ] [ -w 文件名 ] [表达式 ]

选型介绍：

-a 将网络地址和广播地址转变成名字；

-d 将匹配信息包的代码以人们能够理解的汇编格式给出；

-dd 将匹配信息包的代码以c语言程序段的格式给出；

-ddd 将匹配信息包的代码以十进制的形式给出；

-e 将捕获的包数显示出来

-f 将外部的Internet地址以数字的形式打印出来；

-l 使标准输出变为缓冲行形式；

-n 不把网络地址转换成名字；

-t 在输出的每一行不打印时间戳；

-v 输出一个稍微详细的信息，例如在ip包中可以包括ttl和服务类型的信息；

-vv 输出详细的报文信息；

-c 在收到指定的包的数目后，tcpmp就会停止；

-F 从指定的文件中读取表达式,忽略其它的表达式；

-i 指定监听的网络接口；

-r 从指定的文件中读取包(这些包一般通过-w选项产生)；

-w 直接将包写入文件中，并不分析和打印出来；

-T 将监听到的包直接解释为指定的类型的报文，常见的类型有rpc （远程过程调用）和snmp（简单网络管理协议；）

在使用该命令的时候，我主要使用的主要选项是: -i [接口名] -w [文件名] -v -vv -c -X -e

例如：

我在从eth0捕获100个数据包的时候，并将数据写入到capture.cap文件中，命令格式为：

tcpmp -i eth0 -w capture.cap -v -vv -c 100 -X -e

抓取一个一个ip段之间的数据包：

tcpmp –s 0 –w socket host 10.1.3.9 and host 10.1.3.84

如果从eth0且通信协议端口为22，目标IP为192.168.1.100获取数据：

tcpmp -i eth0 port 22 and src host 192.168.1.100

此外还有其他的一些关键词：host,(主机) ， net( 网关)， port(端口) ， src(源IP) , dst(目的IP), 正则表达式：and , or。

B. 怎么抓包无线路由器网络数据

自己上网找一个Wireshark安装在笔记本上然后通过有线物理连接路由器进行抓包，只需要物理通路通就可以了。如果你要抓的更专业一点就用Encase。同样的方法。均可以抓到路由器lan口上交换的数据。如果你路由器够好，也可以做一个镜像端口来进行抓包。那种的话随便装一个科莱抓包都可以的。

C. 网络中如何抓包

抓包（packet capture）就是将网络传输发送与接收的数据包进行截获、重发、编辑、转存等操作，也用来检查网络安全。抓包也经常被用来进行数据截取等。

背景知识

数据在网络上是以很小的称为帧（Frame）的单位传输的，帧由几部分组成，不同的部分执行不同的功能。帧通过特定的称为网络驱动程序的软件进行成型，然后通过网卡发送到网线上，通过网线到达它们的目的机器，在目的机器的一端执行相反的过程。接收端机器的以太网卡捕获到这些帧，并告诉操作系统帧已到达，然后对其进行存储。就是在这个传输和接收的过程中，嗅探器会带来安全方面的问题。

每一个在局域网（LAN）上的工作站都有其硬件地址，这些地址唯一地表示了网络上的机器（这一点与Internet地址系统比较相似）。当用户发送一个数据包时，如果为广播包，则可达到局域网中的所有机器，如果为单播包，则只能到达处于同一碰撞域中的机器。

在一般情况下，网络上所有的机器都可以“听”到通过的流量，但对不属于自己的数据包则不予响应（换句话说，工作站A不会捕获属于工作站B的数据，而是简单地忽略这些数据）。如果某个工作站的网络接口处于混杂模式，那么它就可以捕获网络上所有的数据包和帧。

(3)网络抓包大数据扩展阅读：

主要作用

通过对网络上传输的数据进行抓取，可以对其进行分析，对于软件的Debug很大的帮助。当然也可以通过抓取用户发送的涉及用户名和密码的数据包来获取用户的密码。

（1）网络通讯的真实内容

（2）网络故障分析

（3）程序网络接口分析

（4）木马通讯数据内容

D. 如何抓取一个局域网的所以的网络流量数据包

1、使用网络嗅探工具，也就是俗称sniffer的工具，这类工具有很多，有专业的sniffer pro，也有iris的抓包工具，还有许多简单点的。这种是通过抓取低层数据包，并根据上层HTTP、FTP、MAIL等协议解码，功能强弱跟软件有关。

2、原理就是将我们的网卡设置为混杂模式。我们知道网卡在链路层通信时的地址是MAC，网卡根据目标的MAC地址来确认是不是发给自己的包。在混杂模式下，网卡会接收所有网络中的数据包，不管是不是发给自己的。这样就可以得到网络中的所有数据了。
3、问题是在交换机环境下，交换机会首先分析MAC地址，然后只把数据包转发到对应的端口去。这样一来，除了广播包和多播包，我们的网卡只能接收到发给自己的数据包了，混杂模式下也无效了。
4、为了解决3这种问题，就分别针对交换机的工作原理和链路层通信的原理提出了不同的解决办法。比如通过发送大量的广播包，造成广播风暴，造成交换机没有更多能力来处理上层数据的分析工作，迫使交换机工作在物理层，相当于成了一个HUB，就会在所有端口中转发所有的数据包。另一种是中间人攻击，即伪造通信双方的MAC同时向双方发信，使双方都把我们误以为是对方，从而将要发到对方的数据包发送给我们，我们在收到的同时再给过处理转发给真正的接受方，这样就得到数据了。如果能够把自己伪装成网关，所有的对外通信就都能拿到了。
5、在无线传输的情况下，电波总是在公共区域传播的，所以必须要对数据进行加密才能保证安全，根据等级和需要可以使用不同的加密方式。这时候也有专门针对无线的sniffer工具，至于能不能解密破解，就需要一点运气了。
6、这是低层的，还可以根据各层协议原理，有针对性的把自己伪装成需要的角色，从而获取到相关信息。比如可以伪装成DNS、邮件服务器等等。
7、道高一尺、魔高一丈，有漏洞就有解决办法。比如对交换机进行专门的设置，在风暴时使用保守的丢包处理方式，或者绑定到IP地址，或者应用层的HTTPS、DNS扩展协议。总是在攻守当中向前发展。

E. 在linux命令行环境下如何抓取网络数据包

  众所周知，在Windows下开发运行环境下，在调试网络环境时，可以可以很方便的借助wireshark等软件进行抓包分析；并且在linux或者Ubuntu等桌面版里也可以进行安装抓包工具进行抓包分析，但总有一些情况，无法直接运用工具（比如一些没有界面的linux环境系统中），则此时我们就需要使用到最简单的tcpmp命令进行网络抓包。

  一般的，linux下抓包时，抓取特定的网络数据包到当前文件夹下的文件中，再把文件拷贝出来利用Windows下的wireshark软件进行分析。

tcpmp命令详解：（简单举例）

  1、抓取到的文件为filename.cap，然后将此文件拷贝到Windows下，使用wireshar打开后，即可对此文件进行分析。
  2、eth0 是主机的网络适配器名称，具体的参数值可以在linux命令行窗口中通过 ifconfig 指令查询。

F. wireshark如何抓取别人电脑的数据包

1、在电脑中，打开wireshark软件。

G. 如何通过路由器抓包提取手机数据

路由器本抄身有抓包功能袭，或者有相关API，对路由器有控制权的人都能操作。
利用别人的设备，比如网络探针之类的设备进行操作。
如是家庭的普通路由器，顶多只能抓取本身连接的数据包，或者与手机通信的数据包。这种情况除非会分析数据包，否则就算抓到也没有用。或者有专门分析数据包的软件。

H. 如何获取大数据

问题一：怎样获得大数据？ 很多数据都是属于企业的商业秘密来的，你要做大数据的一些分析，需要获得海量的数据源，再此基础上进行挖掘，互联网有很多公开途径可以获得你想要的数据，通过工具可以快速获得，比如说象八爪鱼采集器这样的大数据工具，都可以帮你提高工作效率并获得海量的数据采集啊

问题二：怎么获取大数据 大数据从哪里来？自然是需要平时对旅游客群的数据资料累计最终才有的。
如果你们平时没有收集这些数据 那自然是没有的

问题三：怎么利用大数据，获取意向客户线索 大数据时代下大量的、持续的、动态的碎片信息是非常复杂的，已经无法单纯地通过人脑来快速地选取、分析、处理，并形成有效的客户线索。必须依托云计算的技术才能实现，因此，这样大量又精密的工作，众多企业纷纷借助CRM这款客户关系管理软件来实现。
CRM帮助企业获取客户线索的方法：
使用CRM可以按照统一的格式来管理从各种推广渠道获取的潜在客户信息，汇总后由专人进行筛选、分析、跟踪，并找出潜在客户的真正需求，以提供满足其需求的产品或服务，从而使潜在客户转变为真正为企业带来利润的成交客户，增加企业的收入。使用CRM可以和网站、电子邮件、短信等多种营销方式相结合，能够实现线上客户自动抓取，迅速扩大客户线索数量。

问题四：如何进行大数据分析及处理？ 大数据的分析从所周知，大数据已经不简简单单是数据大的事实了，而最重要的现实是对大数据进行分析，只有通过分析才能获取很多智能的，深入的，有价值的信息。那么越来越多的应用涉及到大数据，而这些大数据的属性，包括数量，速度，多样性等等都是呈现了大数据不断增长的复杂性，所以大数据的分析方法在大数据领域就显得尤为重要，可以说是决定最终信息是否有价值的决定性因素。基于如此的认识，大数据分析普遍存在的方法理论有哪些呢？1. 可视化分析。大数据分析的使用者有大数据分析专家，同时还有普通用户，但是他们二者对于大数据分析最基本的要求就是可视化分析，因为可视化分析能够直观的呈现大数据特点，同时能够非常容易被读者所接受，就如同看图说话一样简单明了。2. 数据挖掘算法。大数据分析的理论核心就是数据挖掘算法，各种数据挖掘的算法基于不同的数据类型和格式才能更加科学的呈现出数据本身具备的特点，也正是因为这些被全世界统计学家所公认的各种统计方法（可以称之为真理）才能深入数据内部，挖掘出公认的价值。另外一个方面也是因为有这些数据挖掘的算法才能更快速的处理大数据，如果一个算法得花上好几年才能得出结论，那大数据的价值也就无从说起了。3. 预测性分析。大数据分析最终要的应用领域之一就是预测性分析，从大数据中挖掘出特点，通过科学的建立模型，之后便可以通过模型带入新的数据，从而预测未来的数据。4. 语义引擎。非结构化数据的多元化给数据分析带来新的挑战，我们需要一套工具系统的去分析，提炼数据。语义引擎需要设计到有足够的人工智能以足以从数据中主动地提取信息。5.数据质量和数据管理。大数据分析离不开数据质量和数据管理，高质量的数据和有效的数据管理，无论是在学术研究还是在商业应用领域，都能够保证分析结果的真实和有价值。大数据分析的基础就是以上五个方面，当然更加深入大数据分析的话，还有很多很多更加有特点的、更加深入的、更加专业的大数据分析方法。大数据的技术数据采集：ETL工具负责将分布的、异构数据源中的数据如关系数据、平面数据文件等抽取到临时中间层后进行清洗、转换、集成，最后加载到数据仓库或数据集市中，成为联机分析处理、数据挖掘的基础。数据存取：关系数据库、NOSQL、SQL等。基础架构：云存储、分布式文件存储等。数据处理：自然语言处理(NLP，Natural Language Processing)是研究人与计算机交互的语言问题的一门学科。处理自然语言的关键是要让计算机”理解”自然语言，所以自然语言处理又叫做自然语言理解(NLU，Natural Language Understanding)，也称为计算语言学(putational Linguistics。一方面它是语言信息处理的一个分支，另一方面它是人工智能(AI, Artificial Intelligence)的核心课题之一。统计分析：假设检验、显著性检验、差异分析、相关分析、T检验、方差分析、卡方分析、偏相关分析、距离分析、回归分析、简单回归分析、多元回归分析、逐步回归、回归预测与残差分析、岭回归、logistic回归分析、曲线估计、因子分析、聚类分析、主成分分析、因子分析、快速聚类法与聚类法、判别分析、对应分析、多元对应分析（最优尺度分析）、bootstrap技术等等。数据挖掘：分类（Classification）、估计（Estimation）、预测（Predic胆ion）、相关性分组或关联规则（Affinity grouping or association rules）、聚类（Clustering）、描述和可视化......>>

问题五：网络股票大数据怎么获取？ 用“网络股市通”软件。
其最大特色是主打大数据信息服务，让原本属于大户的“大数据炒股”变成普通网民的随身APP。

问题六：通过什么渠道可以获取大数据 看你是想要哪方面的，现在除了互联网的大数据之外，其他的都必须要日积月累的

问题七：通过什么渠道可以获取大数据 有个同学说得挺对，问题倾向于要的是数据，而不是大数据。
大数据讲究是全面性（而非精准性、数据量大），全面是需要通过连接来达成的。如果通过某个app获得使用该app的用户的终端信息，如使用安卓的占比80%，使用iPhone的占比为20%, 如果该app是生活订餐的应用，你还可以拿到使用安卓的这80%的用户平时网上订餐倾向于的价位、地段、口味等等，当然你还会获取这些设备都是在什么地方上网，设备的具体机型你也知道。但是这些数据不断多么多，都不够全面。如果将这部分用户的手机号或设备号与电子商务类网站数据进行连接，你会获取他们在电商网站上的消费数据，倾向于购买的品牌、价位、类目等等。每个系统可能都只存储了一部分信息，但是通过一个连接标示，就会慢慢勾勒出一个或一群某种特征的用户的较全面的画像。

问题八：如何从大数据中获取有价值的信息 同时，大数据对公共部门效益的提升也具有巨大的潜能。如果美国医疗机构能够有效地利用大数据驱动医疗效率和质量的提高，它们每年将能够创造超过3万亿美元的价值。其中三分之二是医疗支出的减少，占支出总额超过8%的份额。在欧洲发达国家， *** 管理部门利用大数据改进效率，能够节约超过14900亿美元，这还不包括利用大数据来减少欺诈，增加税收收入等方面的收益。
那么，CIO应该采取什么步骤、转变IT基础设施来充分利用大数据并最大化获得大数据的价值呢?我相信用管理创新的方式来处理大数据是一个很好的方法。创新管道(Innovation pipelines)为了最终财务价值的实现从概念到执行自始至终进行全方位思考。对待大数据也可以从相似的角度来考虑：将数据看做是一个信息管道(information pipeline)，从数据采集、数据访问、数据可用性到数据分析(4A模型)。CIO需要在这四个层面上更改他们的信息基础设施，并运用生命周期的方式将大数据和智能计算技术结合起来。
大数据4A模型
4A模型中的4A具体如下：
数据访问(Access)：涵盖了实时地及通过各种数据库管理系统来安全地访问数据，包括结构化数据和非结构化数据。就数据访问来说，在你实施越来越多的大数据项目之前，优化你的存储策略是非常重要的。通过评估你当前的数据存储技术并改进、加强你的数据存储能力，你可以最大限度地利用现有的存储投资。EMC曾指出，当前每两年数据量会增长一倍以上。数据管理成本是一个需要着重考虑的问题。
数据可用性(Availability)：涵盖了基于云或者传统机制的数据存储、归档、备份、灾难恢复等。
数据分析(Analysis)：涵盖了通过智能计算、IT装置以及模式识别、事件关联分析、实时及预测分析等分析技术进行数据分析。CIO可以从他们IT部门自身以及在更广泛的范围内寻求大数据的价值。
用信息管道(information pipeline)的方式来思考企业的数据，从原始数据中产出高价值回报，CIO可以使企业获得竞争优势、财务回报。通过对数据的完整生命周期进行策略性思考并对4A模型中的每一层面都做出详细的部署计划，企业必定会从大数据中获得巨大收益。 望采纳

问题九：如何获取互联网网大数据 一般用网络蜘蛛抓取。这个需要掌握一门网络编程语言，例如python

问题十：如何从网络中获取大量数据 可以使用网络抓包，抓取网络中的信息，推荐工具fiddler