emc大数据案例分析

㈠ 大数据时代的案例分析

个案一
你开心他就买你焦虑他就抛
华尔街“德温特资本市场”公司首席执行官保罗·霍廷每天的工作之一，就是利用电脑程序分析全球3.4亿微博账户的留言，进而判断民众情绪，再以“1”到“50”进行打分。根据打分结果，霍廷再决定如何处理手中数以百万美元计的股票。
霍廷的判断原则很简单：如果所有人似乎都高兴，那就买入；如果大家的焦虑情绪上升，那就抛售。
这一招收效显著——当年第一季度，霍廷的公司获得了7%的收益率。
个案二
国际商用机器公司（IBM）估测，这些“数据”值钱的地方主要在于时效。对于片刻便能定输赢的华尔街，这一时效至关重要。曾经，华尔街2%的企业搜集微博等平台的“非正式”数据；如今，接近半数企业采用了这种手段。
●“社会流动”创业公司在“大数据”行业生机勃勃，和微博推特是合作伙伴。它分析数据，告诉广告商什么是正确的时间，谁是正确的用户，什么是应该发表的正确内容，备受广告商热爱。
●通过乔希·詹姆斯的Omniture（著名的网页流量分析工具）公司，你可以知道有多少人访问你的网站，以及他们呆了多长时间——这些数据对于任何企业来说都至关重要。詹姆斯把公司卖掉，进账18亿美元。
●微软专家吉拉德喜欢把这些“大数据”结果可视化：他把客户请到办公室，将包含这些公司的数据图谱展现出来——有些是普通的时间轴，有些像蒲公英，有些则是铺满整个画面的泡泡，泡泡中显示这些客户的粉丝正在谈论什么话题。
●“脸谱”数据分析师杰弗逊的工作就是搭建数据分析模型，弄清楚用户点击广告的动机和方式。
处理和分析工具
用于分析大数据的工具主要有开源与商用两个生态圈。
开源大数据生态圈：
1、Hadoop HDFS、HadoopMapRece, HBase、Hive 渐次诞生，早期Hadoop生态圈逐步形成。
2、. Hypertable是另类。它存在于Hadoop生态圈之外，但也曾经有一些用户。
3、NoSQL，membase、MongoDb
商用大数据生态圈：
1、一体机数据库/数据仓库：IBM PureData(Netezza), OracleExadata, SAP Hana等等。
2、数据仓库：TeradataAsterData, EMC GreenPlum, HPVertica 等等。
3、数据集市：QlikView、 Tableau 、 以及国内的Yonghong Data Mart 。

㈡ 谁能告诉我一下咋理解大数据分析

什么是大数据分析

大数据分析是指对规模巨大的数据（网民吃喝玩产生了大量的数据）进行分析。

大数据分析的步骤

• 统计/分析

统计与分析主要利用分布式数据库，或者分布式计算集群来对存储于其内的海量数据进行普通的分析和分类汇总等，以满足大多数常见的分析需求，在这方面，一些实时性需求会用到EMC的GreenPlum、Oracle的Exadata，以及基MySQL的列式存储Infobright等，而一些批处理，或者基于半结构化数据的需求可以使用Hadoop。统计与分析这部分的主要特点和挑战是分析涉及的数据量大，其对系统资源，特别是I/O会有极大的占用。

• 导入/预处理

将这些来自前端的数据导入到一个集中的大型分布式数据库，或者分布式存储集群，并且可以在导入基础上做一些简单的清洗和预处理工作。也有一些用户会在导入时使用来自Twitter的Storm来对数据进行流式计算，来满足部分业务的实时计算需求。导入与预处理过程的特点和挑战主要是导入的数据量大，每秒钟的导入量经常会达到百兆，甚至千兆级别。

• 挖掘

比较典型算法有用于聚类的K-Means、用于统计学习的SVM和用于分类的Naive Bayes，主要使用的工具有HadoopMahout。

㈢ 大数据分析一般用什么工具分析

大数据分析的前瞻性使得很多公司以及企业都开始使用大数据分析对公司的决策做出帮助，而大数据分析是去分析海量的数据，所以就不得不借助一些工具去分析大数据，。一般来说，数据分析工作中都是有很多层次的，这些层次分别是数据存储层、数据报表层、数据分析层、数据展现层。对于不同的层次是有不同的工具进行工作的。下面小编就对大数据分析工具给大家好好介绍一下。

首先我们从数据存储来讲数据分析的工具。我们在分析数据的时候首先需要存储数据，数据的存储是一个非常重要的事情，如果懂得数据库技术，并且能够操作好数据库技术，这就能够提高数据分析的效率。而数据存储的工具主要是以下的工具。

1、MySQL数据库，这个对于部门级或者互联网的数据库应用是必要的，这个时候关键掌握数据库的库结构和SQL语言的数据查询能力。

2、SQL Server的最新版本，对中小企业，一些大型企业也可以采用SQL Server数据库，其实这个时候本身除了数据存储，也包括了数据报表和数据分析了，甚至数据挖掘工具都在其中了。

3、DB2，Oracle数据库都是大型数据库了，主要是企业级，特别是大型企业或者对数据海量存储需求的就是必须的了，一般大型数据库公司都提供非常好的数据整合应用平台;

接着说数据报表层。一般来说，当企业存储了数据后，首先要解决报表的问题。解决报表的问题才能够正确的分析好数据库。关于数据报表所用到的数据分析工具就是以下的工具。

1、Crystal Report水晶报表，Bill报表，这都是全球最流行的报表工具，非常规范的报表设计思想，早期商业智能其实大部分人的理解就是报表系统，不借助IT技术人员就可以获取企业各种信息——报表。

2、Tableau软件，这个软件是近年来非常棒的一个软件，当然它已经不是单纯的数据报表软件了，而是更为可视化的数据分析软件，因为很多人经常用它来从数据库中进行报表和可视化分析。

第三说的是数据分析层。这个层其实有很多分析工具，当然我们最常用的就是Excel，我经常用的就是统计分析和数据挖掘工具;

1、Excel软件，首先版本越高越好用这是肯定的;当然对Excel来讲很多人只是掌握了5%Excel功能，Excel功能非常强大，甚至可以完成所有的统计分析工作!但是我也常说，有能力把Excel玩成统计工具不如专门学会统计软件;

2、SPSS软件：当前版本是18，名字也改成了PASW Statistics;我从3.0开始Dos环境下编程分析，到现在版本的变迁也可以看出SPSS社会科学统计软件包的变化，从重视医学、化学等开始越来越重视商业分析，现在已经成为了预测分析软件。

最后说表现层的软件。一般来说表现层的软件都是很实用的工具。表现层的软件就是下面提到的内容。

1、PowerPoint软件：大部分人都是用PPT写报告。

2、Visio、SmartDraw软件：这些都是非常好用的流程图、营销图表、地图等，而且从这里可以得到很多零件;

3、Swiff Chart软件：制作图表的软件，生成的是Flash

㈣ 大数据分析方法解读以及相关工具介绍

大数据分析方法解读以及相关工具介绍
要知道，大数据已不再是数据大，最重要的现实就是对大数据进行分析，只有通过分析才能获取很多智能的，深入的，有价值的信息。
越来越多的应用涉及到大数据，这些大数据的属性，包括数量，速度，多样性等等都是呈现了大数据不断增长的复杂性，所以，大数据的分析方法在大数据领域就显得尤为重要，可以说是决定最终信息是否有价值的决定性因素。基于此，大数据分析方法理论有哪些呢？
大数据分析的五个基本方面
（预测性分析能力）
数据挖掘可以让分析员更好的理解数据，而预测性分析可以让分析员根据可视化分析和数据挖掘的结果做出一些预测性的判断。
（数据质量和数据管理）
数据质量和数据管理是一些管理方面的最佳实践。通过标准化的流程和工具对数据进行处理可以保证一个预先定义好的高质量的分析结果。
AnalyticVisualizations（可视化分析）
不管是对数据分析专家还是普通用户，数据可视化是数据分析工具最基本的要求。可视化可以直观的展示数据，让数据自己说话，让观众听到结果。
SemanticEngines（语义引擎）
我们知道由于非结构化数据的多样性带来了数据分析的新的挑战，我们需要一系列的工具去解析，提取，分析数据。语义引擎需要被设计成能够从“文档”中智能提取信息。
DataMiningAlgorithms（数据挖掘算法）
可视化是给人看的，数据挖掘就是给机器看的。集群、分割、孤立点分析还有其他的算法让我们深入数据内部，挖掘价值。这些算法不仅要处理大数据的量，也要处理大数据的速度。
假如大数据真的是下一个重要的技术革新的话，我们最好把精力关注在大数据能给我们带来的好处，而不仅仅是挑战。
大数据处理
大数据处理数据时代理念的三大转变：要全体不要抽样，要效率不要绝对精确，要相关不要因果。具体的大数据处理方法其实有很多，但是根据长时间的实践，笔者总结了一个基本的大数据处理流程，并且这个流程应该能够对大家理顺大数据的处理有所帮助。整个处理流程可以概括为四步，分别是采集、导入和预处理、统计和分析，以及挖掘。
采集
大数据的采集是指利用多个数据库来接收发自客户端的数据，并且用户可以通过这些数据库来进行简单的查询和处理工作。比如，电商会使用传统的关系型数据库MySQL和Oracle等来存储每一笔事务数据，除此之外，Redis和MongoDB这样的NoSQL数据库也常用于数据的采集。
在大数据的采集过程中，其主要特点和挑战是并发数高，因为同时有可能会有成千上万的用户来进行访问和操作，比如火车票售票网站和淘宝，它们并发的访问量在峰值时达到上百万，所以需要在采集端部署大量数据库才能支撑。并且如何在这些数据库之间进行负载均衡和分片的确是需要深入的思考和设计。
统计/分析
统计与分析主要利用分布式数据库，或者分布式计算集群来对存储于其内的海量数据进行普通的分析和分类汇总等，以满足大多数常见的分析需求，在这方面，一些实时性需求会用到EMC的GreenPlum、Oracle的Exadata，以及基于MySQL的列式存储Infobright等，而一些批处理，或者基于半结构化数据的需求可以使用Hadoop。统计与分析这部分的主要特点和挑战是分析涉及的数据量大，其对系统资源，特别是I/O会有极大的占用。
导入/预处理
虽然采集端本身会有很多数据库，但是如果要对这些海量数据进行有效的分析，还是应该将这些来自前端的数据导入到一个集中的大型分布式数据库，或者分布式存储集群，并且可以在导入基础上做一些简单的清洗和预处理工作。也有一些用户会在导入时使用来自Twitter的Storm来对数据进行流式计算，来满足部分业务的实时计算需求。导入与预处理过程的特点和挑战主要是导入的数据量大，每秒钟的导入量经常会达到百兆，甚至千兆级别。
挖掘
与前面统计和分析过程不同的是，数据挖掘一般没有什么预先设定好的主题，主要是在现有数据上面进行基于各种算法的计算，从而起到预测的效果，从而实现一些高级别数据分析的需求。比较典型算法有用于聚类的K-Means、用于统计学习的SVM和用于分类的Naive Bayes，主要使用的工具有Hadoop的Mahout等。该过程的特点和挑战主要是用于挖掘的算法很复杂，并且计算涉及的数据量和计算量都很大，还有，常用数据挖掘算法都以单线程为主。
大数据分析工具详解 IBM惠普微软工具在列
去年，IBM宣布以17亿美元收购数据分析公司Netezza；EMC继收购数据仓库软件厂商Greenplum后再次收购集群NAS厂商Isilon；Teradata收购了Aster Data 公司；随后，惠普收购实时分析平台Vertica等，这些收购事件指向的是同一个目标市场——大数据。是的，大数据时代已经来临，大家都在摩拳擦掌，抢占市场先机。
而在这里面，最耀眼的明星是hadoop，Hadoop已被公认为是新一代的大数据处理平台，EMC、IBM、Informatica、Microsoft以及Oracle都纷纷投入了Hadoop的怀抱。对于大数据来说，最重要的还是对于数据的分析，从里面寻找有价值的数据帮助企业作出更好的商业决策。下面，我们就来看以下八大关于大数据分析的工具。
EMC Greenplum统一分析平台(UAP)
Greenplum在2010年被EMC收购了其EMC Greenplum统一分析平台（UAP）是一款单一软件平台，数据团队和分析团队可以在该平台上无缝地共享信息、协作分析，没必要在不同的孤岛上工作，或者在不同的孤岛之间转移数据。正因为如此，UAP包括ECM Greenplum关系数据库、EMC Greenplum HD Hadoop发行版和EMC Greenplum Chorus。
EMC为大数据开发的硬件是模块化的EMC数据计算设备（DCA），它能够在一个设备里面运行并扩展Greenplum关系数据库和Greenplum HD节点。DCA提供了一个共享的指挥中心（Command Center）界面，让管理员可以监控、管理和配置Greenplum数据库和Hadoop系统性能及容量。随着Hadoop平台日趋成熟，预计分析功能会急剧增加。
IBM打组合拳提供BigInsights和BigCloud
几年前，IBM开始在其实验室尝试使用Hadoop，但是它在去年将相关产品和服务纳入到商业版IBM在去年5月推出了InfoSphere BigI云版本的 InfoSphere BigInsights使组织内的任何用户都可以做大数据分析。云上的BigInsights软件可以分析数据库里的结构化数据和非结构化数据，使决策者能够迅速将洞察转化为行动。
IBM随后又在10月通过其智慧云企业（SmartCloud Enterprise）基础架构，将BigInsights和BigSheets作为一项服务来提供。这项服务分基础版和企业版；一大卖点就是客户不必购买支持性硬件，也不需要IT专门知识，就可以学习和试用大数据处理和分析功能。据IBM声称，客户用不了30分钟就能搭建起Hadoop集群，并将数据转移到集群里面，数据处理费用是每个集群每小时60美分起价。

Informatica 9.1：将大数据的挑战转化为大机遇
Informatica公司在去年10月则更深入一步，当时它推出了HParser，这是一种针对Hadoop而优化的数据转换环境。据Informatica声称，软件支持灵活高效地处理Hadoop里面的任何文件格式，为Hadoop开发人员提供了即开即用的解析功能，以便处理复杂而多样的数据源，包括日志、文档、二进制数据或层次式数据，以及众多行业标准格式（如银行业的NACHA、支付业的SWIFT、金融数据业的FIX和保险业的ACORD）。正如数据库内处理技术加快了各种分析方法，Informatica同样将解析代码添加到Hadoop里面，以便充分利用所有这些处理功能，不久会添加其他的数据处理代码。
Informatica HParser是Informatica B2B Data Exchange家族产品及Informatica平台的最新补充，旨在满足从海量无结构数据中提取商业价值的日益增长的需求。去年， Informatica成功地推出了创新的Informatica 9.1 for Big Data，是全球第一个专门为大数据而构建的统一数据集成平台。

甲骨文大数据机——Oracle Big Data Appliance
甲骨文的Big Data Appliance集成系统包括Cloudera的Hadoop系统管理软件和支持服务Apache Hadoop 和Cloudera Manager。甲骨文视Big Data Appliance为包括Exadata、Exalogic和 Exalytics In-Memory Machine的“建造系统”。Oracle大数据机(Oracle Big Data Appliance)，是一个软、硬件集成系统，在系统中融入了Cloudera的Distribution Including Apache Hadoop、Cloudera Manager和一个开源R。该大数据机采用Oracle Linux操作系统，并配备Oracle NoSQL数据库社区版本和Oracle HotSpot Java虚拟机。Big Data Appliance为全架构产品，每个架构864GB存储，216个CPU内核，648TBRAW存储，每秒40GB的InifiniBand连接。Big Data Appliance售价45万美元，每年硬软件支持费用为12%。
甲骨文Big Data Appliance与EMC Data Computing Appliance匹敌，IBM也曾推出数据分析软件平台InfoSphere BigInsights，微软也宣布在2012年发布Hadoop架构的SQL Server 2012大型数据处理平台。
统计分析方法以及统计软件详细介绍
统计分析方法有哪几种？下面我们将详细阐述，并介绍一些常用的统计分析软件。

一、指标对比分析法指标对比分析法
统计分析的八种方法一、指标对比分析法指标对比分析法，又称比较分析法，是统计分析中最常用的方法。是通过有关的指标对比来反映事物数量上差异和变化的方法。有比较才能鉴别。单独看一些指标，只能说明总体的某些数量特征，得不出什么结论性的认识；一经过比较，如与国外、外单位比，与历史数据比，与计划相比，就可以对规模大小、水平高低、速度快慢作出判断和评价。
指标分析对比分析方法可分为静态比较和动态比较分析。静态比较是同一时间条件下不同总体指标比较，如不同部门、不同地区、不同国家的比较，也叫横向比较；动态比较是同一总体条件不同时期指标数值的比较，也叫纵向比较。这两种方法既可单独使用，也可结合使用。进行对比分析时，可以单独使用总量指标或相对指标或平均指标，也可将它们结合起来进行对比。比较的结果可用相对数，如百分数、倍数、系数等，也可用相差的绝对数和相关的百分点（每1％为一个百分点）来表示，即将对比的指标相减。
二、分组分析法指标对比分析法
分组分析法指标对比分析法对比，但组成统计总体的各单位具有多种特征，这就使得在同一总体范围内的各单位之间产生了许多差别，统计分析不仅要对总体数量特征和数量关系进行分析，还要深入总体的内部进行分组分析。分组分析法就是根据统计分析的目的要求，把所研究的总体按照一个或者几个标志划分为若干个部分，加以整理，进行观察、分析，以揭示其内在的联系和规律性。
统计分组法的关键问题在于正确选择分组标值和划分各组界限。
三、时间数列及动态分析法
时间数列。是将同一指标在时间上变化和发展的一系列数值，按时间先后顺序排列，就形成时间数列，又称动态数列。它能反映社会经济现象的发展变动情况，通过时间数列的编制和分析，可以找出动态变化规律，为预测未来的发展趋势提供依据。时间数列可分为绝对数时间数列、相对数时间数列、平均数时间数列。
时间数列速度指标。根据绝对数时间数列可以计算的速度指标：有发展速度、增长速度、平均发展速度、平均增长速度。
动态分析法。在统计分析中，如果只有孤立的一个时期指标值，是很难作出判断的。如果编制了时间数列，就可以进行动态分析，反映其发展水平和速度的变化规律。
进行动态分析，要注意数列中各个指标具有的可比性。总体范围、指标计算方法、计算价格和计量单位，都应该前后一致。时间间隔一般也要一致，但也可以根据研究目的，采取不同的间隔期，如按历史时期分。为了消除时间间隔期不同而产生的指标数值不可比，可采用年平均数和年平均发展速度来编制动态数列。此外在统计上，许多综合指标是采用价值形态来反映实物总量，如国内生产总值、工业总产值、社会商品零售总额等计算不同年份的发展速度时，必须消除价格变动因素的影响，才能正确的反映实物量的变化。也就是说必须用可比价格（如用不变价或用价格指数调整）计算不同年份相同产品的价值，然后才能进行对比。
为了观察我国经济发展的波动轨迹，可将各年国内生产总值的发展速度编制时间数列，并据以绘制成曲线图，令人得到直观认识。
四、指数分析法
指数是指反映社会经济现象变动情况的相对数。有广义和狭义之分。根据指数所研究的范围不同可以有个体指数、类指数与总指数之分。
指数的作用：一是可以综合反映复杂的社会经济现象的总体数量变动的方向和程度；二是可以分析某种社会经济现象的总变动受各因素变动影响的程度，这是一种因素分析法。操作方法是：通过指数体系中的数量关系，假定其他因素不变，来观察某一因素的变动对总变动的影响。
用指数进行因素分析。因素分析就是将研究对象分解为各个因素，把研究对象的总体看成是各因素变动共同的结果，通过对各个因素的分析，对研究对象总变动中各项因素的影响程度进行测定。因素分析按其所研究的对象的统计指标不同可分为对总量指标的变动的因素分析，对平均指标变动的因素分析。
五、平衡分析法
平衡分析是研究社会经济现象数量变化对等关系的一种方法。它把对立统一的双方按其构成要素一一排列起来，给人以整体的概念，以便于全局来观察它们之间的平衡关系。平衡关系广泛存在于经济生活中，大至全国宏观经济运行，小至个人经济收支。平衡种类繁多，如财政平衡表、劳动力平衡表、能源平衡表、国际收支平衡表、投入产出平衡表，等等。平衡分析的作用：一是从数量对等关系上反映社会经济现象的平衡状况，分析各种比例关系相适应状况；二是揭示不平衡的因素和发展潜力；三是利用平衡关系可以从各项已知指标中推算未知的个别指标。
六、综合评价分析
社会经济分析现象往往是错综复杂的，社会经济运行状况是多种因素综合作用的结果，而且各个因素的变动方向和变动程度是不同的。如对宏观经济运行的评价，涉及生活、分配、流通、消费各个方面；对企业经济效益的评价，涉及人、财、物合理利用和市场销售状况。如果只用单一指标，就难以作出恰当的评价。
进行综合评价包括四个步骤：
1.确定评价指标体系，这是综合评价的基础和依据。要注意指标体系的全面性和系统性。
2.搜集数据，并对不同计量单位的指标数值进行同度量处理。可采用相对化处理、函数化处理、标准化处理等方法。
3.确定各指标的权数，以保证评价的科学性。根据各个指标所处的地位和对总体影响程度不同，需要对不同指标赋予不同的权数。
4.对指标进行汇总，计算综合分值，并据此作出综合评价。
七、景气分析
经济波动是客观存在的，是任何国家都难以完全避免的。如何避免大的经济波动，保持经济的稳定发展，一直是各国政府和经济之专家在宏观调控和决策中面临的重要课题，景气分析正是适应这一要求而产生和发展的。景气分析是一种综合评价分析，可分为宏观经济景气分析和企业景气调查分析。
宏观经济景气分析。是国家统计局20世纪80年代后期开始着手建立监测指标体系和评价方法，经过十多年时间和不断完善，已形成制度，定期提供景气分析报告，对宏观经济运行状态起到晴雨表和报警器的作用，便于国务院和有关部门及时采取宏观调控措施。以经常性的小调整，防止经济的大起大落。
企业景气调查分析。是全国的大中型各类企业中，采取抽样调查的方法，通过问卷的形式，让企业负责人回答有关情况判断和预期。内容分为两类：一是对宏观经济总体的判断和预期；一是对企业经营状况的判断和预期，如产品订单、原材料购进、价格、存货、就业、市场需求、固定资产投资等。
八、预测分析
宏观经济决策和微观经济决策，不仅需要了解经济运行中已经发生了的实际情况，而且更需要预见未来将发生的情况。根据已知的过去和现在推测未来，就是预测分析。
统计预测属于定量预测，是以数据分析为主，在预测中结合定性分析。统计预测的方法大致可分为两类：一类是主要根据指标时间数列自身变化与时间的依存关系进行预测，属于时间数列分析；另一类是根据指标之间相互影响的因果关系进行预测，属于回归分析。
预测分析的方法有回归分析法、滑动平均法、指数平滑法、周期（季节）变化分析和随机变化分析等。比较复杂的预测分析需要建立计量经济模型，求解模型中的参数又有许多方法。

㈤ 信息与网络安全需要大数据安全分析

信息与网络安全需要大数据安全分析
毫无疑问，我们已经进入了大数据（Big Data）时代。人类的生产生活每天都在产生大量的数据，并且产生的速度越来越快。根据IDC和EMC的联合调查，到2020年全球数据总量将达到40ZB。2013年，Gartner将大数据列为未来信息架构发展的10大趋势之首。Gartner预测将在2011年到2016年间累计创造2320亿美元的产值。
大数据早就存在，只是一直没有足够的基础实施和技术来对这些数据进行有价值的挖据。随着存储成本的不断下降、以及分析技术的不断进步，尤其是云计算的出现，不少公司已经发现了大数据的巨大价值：它们能揭示其他手段所看不到的新变化趋势，包括需求、供给和顾客习惯等等。比如，银行可以以此对自己的客户有更深入的了解，提供更有个性的定制化服务；银行和保险公司可以发现诈骗和骗保；零售企业更精确探知顾客需求变化，为不同的细分客户群体提供更有针对性的选择；制药企业可以以此为依据开发新药，详细追踪药物疗效，并监测潜在的副作用；安全公司则可以识别更具隐蔽性的攻击、入侵和违规。
当前网络与信息安全领域，正在面临着多种挑战。一方面，企业和组织安全体系架构的日趋复杂，各种类型的安全数据越来越多，传统的分析能力明显力不从心；另一方面，新型威胁的兴起，内控与合规的深入，传统的分析方法存在诸多缺陷，越来越需要分析更多的安全信息、并且要更加快速的做出判定和响应。信息安全也面临大数据带来的挑战。安全数据的大数据化
安全数据的大数据化主要体现在以下三个方面：
1） 数据量越来越大：网络已经从千兆迈向了万兆，网络安全设备要分析的数据包数据量急剧上升。同时，随着NGFW的出现，安全网关要进行应用层协议的分析，分析的数据量更是大增。与此同时，随着安全防御的纵深化，安全监测的内容不断细化，除了传统的攻击监测，还出现了合规监测、应用监测、用户行为监测、性能检测、事务监测，等等，这些都意味着要监测和分析比以往更多的数据。此外，随着APT等新型威胁的兴起，全包捕获技术逐步应用，海量数据处理问题也日益凸显。
2） 速度越来越快：对于网络设备而言，包处理和转发的速度需要更快；对于安管平台、事件分析平台而言，数据源的事件发送速率（EPS，Event per Second，事件数每秒）越来越快。
3） 种类越来越多：除了数据包、日志、资产数据，安全要素信息还加入了漏洞信息、配置信息、身份与访问信息、用户行为信息、应用信息、业务信息、外部情报信息等。
安全数据的大数据化，自然引发人们思考如何将大数据技术应用于安全领域。
传统的安全分析面临挑战
安全数据的数量、速度、种类的迅速膨胀，不仅带来了海量异构数据的融合、存储和管理的问题，甚至动摇了传统的安全分析方法。
当前绝大多数安全分析工具和方法都是针对小数据量设计的，在面对大数据量时难以为继。新的攻击手段层出不穷，需要检测的数据越来越多，现有的分析技术不堪重负。面对天量的安全要素信息，我们如何才能更加迅捷地感知网络安全态势？
传统的分析方法大都采用基于规则和特征的分析引擎，必须要有规则库和特征库才能工作，而规则和特征只能对已知的攻击和威胁进行描述，无法识别未知的攻击，或者是尚未被描述成规则的攻击和威胁。面对未知攻击和复杂攻击如APT等，需要更有效的分析方法和技术！如何做到知所未知？
面对天量安全数据，传统的集中化安全分析平台（譬如SIEM，安全管理平台等）也遭遇到了诸多瓶颈，主要表现在以下几方面：
——高速海量安全数据的采集和存储变得困难
——异构数据的存储和管理变得困难
——威胁数据源较小，导致系统判断能力有限
——对历史数据的检测能力很弱
——安全事件的调查效率太低
——安全系统相互独立，无有效手段协同工作
——分析的方法较少
——对于趋势性的东西预测较难，对早期预警的能力比较差
——系统交互能力有限，数据展示效果有待提高
从上世纪80年代入侵检测技术的诞生和确立以来，安全分析已经发展了很长的时间。当前，信息与网络安全分析存在两个基本的发展趋势：情境感知的安全分析与智能化的安全分析。
Gartner在2010年的一份报告中指出，“未来的信息安全将是情境感知的和自适应的”。所谓情境感知，就是利用更多的相关性要素信息的综合研判来提升安全决策的能力，包括资产感知、位置感知、拓扑感知、应用感知、身份感知、内容感知，等等。情境感知极大地扩展了安全分析的纵深，纳入了更多的安全要素信息，拉升了分析的空间和时间范围，也必然对传统的安全分析方法提出了挑战。
同样是在2010年，Gartner的另一份报告指出，要“为企业安全智能的兴起做好准备”。在这份报告中，Gartner提出了安全智能的概念，强调必须将过去分散的安全信息进行集成与关联，独立的分析方法和工具进行整合形成交互，从而实现智能化的安全分析与决策。而信息的集成、技术的整合必然导致安全要素信息的迅猛增长，智能的分析必然要求将机器学习、数据挖据等技术应用于安全分析，并且要更快更好地的进行安全决策。
信息与网络安全需要大数据安全分析
安全数据的大数据化，以及传统安全分析所面临的挑战和发展趋势，都指向了同一个技术——大数据分析。正如Gartner在2011年明确指出，“信息安全正在变成一个大数据分析问题”。
于是，业界出现了将大数据分析技术应用于信息安全的技术——大数据安全分析（Big Data Security Analysis，简称BDSA），也有人称做针对安全的大数据分析（Big Data Analysis for Security）。
借助大数据安全分析技术，能够更好地解决天量安全要素信息的采集、存储的问题，借助基于大数据分析技术的机器学习和数据挖据算法，能够更加智能地洞悉信息与网络安全的态势，更加主动、弹性地去应对新型复杂的威胁和未知多变的风险。

㈥ 如何进行大数据分析及处理

1.可视化分析

大数据分析的使用者有大数据分析专家，同时还有普通用户，但是他们二者对于大数据分析最基本的要求就是可视化分析，因为可视化分析能够直观的呈现大数据特点，同时能够非常容易被读者所接受，就如同看图说话一样简单明了。

2. 数据挖掘算法

大数据分析的理论核心就是数据挖掘算法，各种数据挖掘的算法基于不同的数据类型和格式才能更加科学的呈现出数据本身具备的特点，也正是因为这些被全世界统计 学家所公认的各种统计方法（可以称之为真理）才能深入数据内部，挖掘出公认的价值。

另外一个方面也是因为有这些数据挖掘的算法才能更快速的处理大数据，如 果一个算法得花上好几年才能得出结论，那大数据的价值也就无从说起了。

3. 预测性分析

大数据分析最终要的应用领域之一就是预测性分析，从大数据中挖掘出特点，通过科学的建立模型，之后便可以通过模型带入新的数据，从而预测未来的数据。

4. 语义引擎

非结构化数据的多元化给数据分析带来新的挑战，我们需要一套工具系统的去分析，提炼数据。

语义引擎需要设计到有足够的人工智能以足以从数据中主动地提取信息。

5.数据质量和数据管理。

大数据分析离不开数据质量和数据管理，高质量的数据和有效的数据管理，无论是在学术研究还是在商业应用领域，都能够保证分析结果的真实和有价值。

大数据分析的基础就是以上五个方面，当然更加深入大数据分析的话，还有很多很多更加有特点的、更加深入的、更加专业的大数据分析方法。

大数据的技术

数据采集： ETL工具负责将分布的、异构数据源中的数据如关系数据、平面数据文件等抽取到临时中间层后进行清洗、转换、集成，最后加载到数据仓库或数据集市中，成为联机分析处理、数据挖掘的基础。

数据存取： 关系数据库、NOSQL、SQL等。

基础架构： 云存储、分布式文件存储等。

数据处理： 自然语言处理(NLP，Natural Language Processing)是研究人与计算机交互的语言问题的一门学科。

处理自然语言的关键是要让计算机”理解”自然语言，所以自然语言处理又叫做自然语言理解也称为计算语言学。

一方面它是语言信息处理的一个分支，另一方面它是人工智能的核心课题之一。

统计分析： 假设检验、显著性检验、差异分析、相关分析、T检验、 方差分析 、 卡方分析、偏相关分析、距离分析、回归分析、简单回归分析、多元回归分析、逐步回归、回归预测与残差分析、岭回归、logistic回归分析、曲线估计、 因子分析、聚类分析、主成分分析、因子分析、快速聚类法与聚类法、判别分析、对应分析、多元对应分析（最优尺度分析）、bootstrap技术等等。

数据挖掘： 分类 （Classification）、估计（Estimation）、预测（Prediction）、相关性分组或关联规则（Affinity grouping or association rules）、聚类（Clustering）、描述和可视化、Description and Visualization）、复杂数据类型挖掘(Text, Web ,图形图像，视频，音频等)

模型预测 ：预测模型、机器学习、建模仿真。

结果呈现： 云计算、标签云、关系图等。

大数据的处理

1. 大数据处理之一：采集

大数据的采集是指利用多个数据库来接收发自客户端（Web、App或者传感器形式等）的 数据，并且用户可以通过这些数据库来进行简单的查询和处理工作。

比如，电商会使用传统的关系型数据库MySQL和Oracle等来存储每一笔事务数据，除 此之外，Redis和MongoDB这样的NoSQL数据库也常用于数据的采集。

在大数据的采集过程中，其主要特点和挑战是并发数高，因为同时有可能会有成千上万的用户 来进行访问和操作，比如火车票售票网站和淘宝，它们并发的访问量在峰值时达到上百万，所以需要在采集端部署大量数据库才能支撑。

并且如何在这些数据库之间 进行负载均衡和分片的确是需要深入的思考和设计。

2. 大数据处理之二：导入/预处理

虽然采集端本身会有很多数据库，但是如果要对这些海量数据进行有效的分析，还是应该将这 些来自前端的数据导入到一个集中的大型分布式数据库，或者分布式存储集群，并且可以在导入基础上做一些简单的清洗和预处理工作。

也有一些用户会在导入时使 用来自Twitter的Storm来对数据进行流式计算，来满足部分业务的实时计算需求。

导入与预处理过程的特点和挑战主要是导入的数据量大，每秒钟的导入量经常会达到百兆，甚至千兆级别。

3. 大数据处理之三：统计/分析

统计与分析主要利用分布式数据库，或者分布式计算集群来对存储于其内的海量数据进行普通 的分析和分类汇总等，以满足大多数常见的分析需求，在这方面，一些实时性需求会用到EMC的GreenPlum、Oracle的Exadata，以及基于 MySQL的列式存储Infobright等，而一些批处理，或者基于半结构化数据的需求可以使用Hadoop。

统计与分析这部分的主要特点和挑战是分析涉及的数据量大，其对系统资源，特别是I/O会有极大的占用。

4. 大数据处理之四：挖掘

与前面统计和分析过程不同的是，数据挖掘一般没有什么预先设定好的主题，主要是在现有数 据上面进行基于各种算法的计算，从而起到预测（Predict）的效果，从而实现一些高级别数据分析的需求。

比较典型算法有用于聚类的Kmeans、用于 统计学习的SVM和用于分类的NaiveBayes，主要使用的工具有Hadoop的Mahout等。

该过程的特点和挑战主要是用于挖掘的算法很复杂，并 且计算涉及的数据量和计算量都很大，常用数据挖掘算法都以单线程为主。

整个大数据处理的普遍流程至少应该满足这四个方面的步骤，才能算得上是一个比较完整的大数据处理。

㈦ 大数据上的数据分析要如何实现

要从收集的数据中提取价值、提高威胁管理活动的效率以及使用法规遵从性活动来推动决策 制定，安全团队需要使用“大数据”方法来进行安全管理。https://community.emc.com/docs/DOC-42149 这意味着：
采用敏捷的“横向扩展”基础架构来响应不断变化的 IT 环境和不断发展的威胁。安全管理需要支持影响 IT 的新业务计划，从新的应用程序到新的交付模式，例如移动性、虚拟化、云计算和外包。安全管理基础架构必须能够在企业层面上收集和管理安全数据，并进行扩展以满足当今的企业级需求（包括物理要求和经济要求）。这意味着进行“横向扩展”而非“纵向扩展”，因为将所有这些数据集中化在实际情况中是不可能的。此外，该基础架构还需要能够轻松扩展以适应新的环境，并时刻准备好发展和完善以支持对不断演变的威胁进行分析。
拥有支持安全分析特性的分析和可视化工具。安全专家需要专业的分析工具来支持其工作。有的分析师需要工具来协助自己找出具备某些支持详细信息的基本事件。经理们可能只需要关键指标的高级可视化图形和趋势图。恶意内容分析师需要重建可疑的文件和工具，以便自动执行这些文件的测试。网络取证分析师需要全面重建关于某个会话的所有日志和网络信息，以便精确地确定发生的情况。
拥有威胁智能以便对收集的信息应用数据分析技术。组织需要了解当前的外部威胁环境，以便将这些威胁与从组织内部收集到的信息进行关联。这种关联工作对于分析师至关重要，可帮助他们清楚地理解当前的威胁指示因素和他们需要寻找的信息。