大数据的6个谎言

A. 从谷歌大数据中能发现什么规律得出什么结论

马克吐温说过：“世上有三种谎言，即谎言，拙劣的谎言和统计数据。”传统的调研方法得出的结论只是调研者希望得到的结论，而不是真实结论。当你拿起笔，开始在调查表上划对勾时，你已经走进调研设计者为你画好的框架之中。跟着调查报告的既定思路走，勾画有限的选项，本能地回避对自己不利的选项。
无论是善意还是恶意，人们面对他人时，总要展露自己优秀的光明面，隐藏拙劣不堪的阴影面。但是，当人们面对屏幕时，往往会放下戒备，吐露心声，甚至还会释放夸张内心的恶魔。这就是为什么会有那么多的键盘侠。
谷歌数据分析家，赛思•斯蒂芬斯-达维多维茨，从屏幕背后的大数据中，得出许多出乎意料的结论。

1、先看一个例子，你猜猜，与失业率高度相关的网络数据是什么？找工，写简历，面试，再教育培训？以上答案都不对。最高相关的数据不是找工，而是一个黄片网站，其次是“蜘蛛纸牌”。知道答案后的你有没有会心一笑？数据说明了真相：有大把时间很无聊的失业人士，把他们的时间花在数据看得见的地方。

B. 大数据安全分析的6个要点

大数据安全分析的6个要点
现在，很多行业都已经开始利用大数据来提高销售，降低成本，精准营销等等。然而，其实大数据在网络安全与信息安全方面也有很长足的应用。特别是利用大数据来甄别和发现风险和漏洞。
通过大数据，人们可以分析大量的潜在安全事件，找出它们之间的联系从而勾勒出一个完整的安全威胁。通过大数据，分散的数据可以被整合起来，使得安全人员能够采用更加主动的安全防御手段。
今天，网络环境极为复杂，APT攻击以及其他一些网络攻击可以通过对从不同数据源的数据的搜索和分析来对安全威胁加以甄别，要做到这一点，就需要对一系列数据源的进行监控，包括DNS数据，命令与控制(C2)，黑白名单等。从而能够把这些数据进行关联来进行发囧。
企业针对安全的大数据分析下面是一些要点：
DNS数据
DNS数据能够提供一系列新注册域名，经常用来进行垃圾信息发送的域名，以及新创建的域名等等，所有这些信息都可以和黑白名单结合起来，所有这些数据都应该收集起来做进一步分析。
如果自有DNS服务器，就能过检查那些对外的域名查询，这样可能发现一些无法解析的域名。这种情况就可能意味着你检测到了一个“域名生成算法”。这样的信息就能够让安全团队对公司网络进行保护。而且如果对局域网流量数据日志进行分析的话，就有可能找到对应的受到攻击的机器。
命令与控制(C2)系统
把命令与控制数据结合进来可以得到一个IP地址和域名的黑名单。对于公司网络来说，网络流量绝对不应该流向那些已知的命令与控制系统。如果网络安全人员要仔细调查网络攻击的话，可以把来自C2系统的流量引导到公司设好的“蜜罐”机器上去。
安全威胁情报
有一些类似与网络信誉的数据源可以用来判定一个地址是否是安全的。有些数据源提供“是”与“否”的判定，有的还提供一些关于威胁等级的信息。网络安全人员能够根据他们能够接受的风险大小来决定某个地址是否应该访问。
网络流量日志
有很多厂商都提供记录网络流量日志的工具。在利用流量日志来分析安全威胁的时候，人们很容易被淹没在大量的“噪音”数据中。不过流量日志依然是安全分析的基本要求。有一些好的算法和软件能够帮助人们提供分析质量。
“蜜罐”数据
“蜜罐”可以有效地检测针对特定网络的恶意软件。此外，通过“蜜罐”获得的恶意软件可以通过分析获得其特征码，从而进一步监控网络中其他设备的感染情况。这样的信息是非常有价值的，尤其是很多APT攻击所采用的定制的恶意代码往往无法被常规防病毒软件所发现。参见本站文章企业设置“蜜罐”的五大理由
数据质量很重要
最后，企业要注意数据的质量。市场上有很多数据可用，在安全人员进行大数据安全分析时，这些数据的质量和准确性是一个最重要的考量。因此，企业需要有一个内部的数据评估团队针对数据来源提出相应的问题，如：最近的数据是什么时候添加的?有没有样本数据以供评估?每天能够添加多少数据?这些数据哪些是免费的?数据总共收集了多久?等等。
安全事件和数据泄露的新闻几乎每天都能够出现在报纸上，即使企业已经开始采取手段防御APT，传统的安全防御手段对于APT之类的攻击显得办法不多。而利用大数据，企业可以采取更为主动的防御措施，使得安全防御的深度和广度都大为加强。

C. 大数据失败案例提醒 8个不能犯的错误

大数据失败案例提醒：8个不能犯的错误
近年来，大数据旋风以“迅雷不及掩耳之势”席卷全球，不仅是信息领域，经济、政治、社会等诸多领域都“磨刀霍霍”向大数据，准备在其中逐得一席之地。然而，很多公司在迈入大数据领域后遭遇“滑铁卢”。在此，本文盘点了一系列大数据失败项目，深究其原因，具有警示意义。
对数据过于相信2008年，Google第一次开始预测流感就取得了很好的效果，比美国疾病预防控制中心提前两礼拜预测到了流感的爆发。但是，几年之后，Google的预测比实际情况(由防控中心根据全美就诊数据推算得出)高出了50%。媒体过于渲染了Google的成功，出于好奇目的而搜索相关关键词的人越来越多，从而导致了数据的扭曲。低估大数据复杂程度在美国有几个互联网金融公司专做中小企业贷款。但是中小企业贷款涉及的数据更复杂，而且中小企业涉及到整个行业非常特殊的一些数据，比如非标准的财务报表和不同行业、不同范式的合同，他们没有很专业的知识，是很难理解或者很难有时间把它准确挖掘出来。当时大数据团队想用一个很完美的模型把所有的问题都解决掉，比如把市场和信贷的解决方案全部用一个模型来解决，但因为数据的复杂程度，最后证明这种方法是失败的，而且90%的时间都在做数据清理。这就说明，想通过大数据技术一下子解决所有的问题是很难成功的，而是要用抽丝剥茧、循序渐进的方式。管理层的惰性某家旅游公司系统通过web日志数据的挖掘来提升客户洞察。结果证明，用户在浏览网站之后，随后的消费行为模式与管理层所认为的不一致。当团队汇报此事时，管理层认为不值一提。但是，该团队并没有放弃，并通过严密的A/B测试，回击了管理层的轻视。这个案例的最终结果，不是每个CIO都能期盼的。但是，有一点是可以确定的：做好和管理层打交道的准备，让他们充分理解大数据是什么以及相应的价值。应用场景选择错误一家保险公司想了解日常习惯和购买生命保险意愿之间的关联性。由于随后觉得习惯太过于宽泛，该公司将调查范畴限定到是否吸烟上。但是，工作仍然没有实质进展。不到半年，他们就终止了整个项目，因为一直未能发现任何有价值的信息。这个项目的失败是由于问题的复杂性。在抽烟与否之间，该公司没有注意到还有大片灰色地带：很多人是先抽烟而后又戒烟了。在将问题简单化动机的驱动下，这个部分被忽略了。问题梳理不够全面一家全球性公司的大数据团队发现了很多深刻的洞察，并且计划通过云让全公司共享。结果这个团队低估了效率方面的损耗，由于网络拥塞的问题，无法满足全球各个分支顺畅提交数据运行分析的需求。该公司应该仔细思考下如何支撑大数据项目，梳理所需的技能并协调各IT分支的力量进行支持。由于网络、安全或基础设施的问题，已经有太多的大数据项目栽了跟头。缺乏大数据分析技能一家零售公司的首席执行官不认同亚马逊规模化、扁平化的服务模式，因此让CIO构建一个客户推荐引擎。项目最初的规划是半年为期，但是团队很快认识到诸如协同过滤(collaborativefiltering)之类的概念无法实现。为此，一个团队成员提出做一个“假的推荐引擎”，把床单作为唯一的推荐产品。这个假引擎的工作逻辑是：买搅拌机的人会买床单，买野营书籍的人会买床单，买书的人会买床单。就是如此，床单是唯一的、默认的推荐品。尽管可笑，这个主意其实并不坏，默认的推荐也能给企业带来销售上的提升。但是，由于大数据相关技能的缺失，真正意义上的引擎未能实现。提出了错误的问题一家全球领先的汽车制造商决定开展一个情感分析项目，为期6个月，耗资1千万美元。项目结束之后，该厂商将结果分享给经销商并试图改变销售模式。然后，所得出的结果最终被证明是错误的。项目团队没有花足够的时间去了解经销商所面临的问题或业务建议，从而导致相关的分析毫无价值。应用了错误的模型。某银行为判断电信行业的客户流失情况，从电信业聘请了一位专家，后者也很快构建了评估用户是否即将流失的模型。当时已进入评测验证的最后阶段，模型很快就将上线，而银行也开始准备给那些被认为即将流失的客户发出信件加以挽留。但是，为了保险起见，一位内部专家被要求对模型进行评估。这位银行业专家很快发现了令人惊奇的事情：不错，那些客户的确即将流失，但并不是因为对银行的服务不满意。他们之所以转移财产(有时是悄无声息的)，是因为感情问题——正在为离婚做准备。可见，了解模型的适用性、数据抽象的级别以及模型中隐含的细微差别，这些都是非常具有挑战性的。管理层阻力尽管数据当中包含大量重要信息,但Fortune Knowledge公司发现有62%的企业领导者仍然倾向于相信自己的直觉,更有61%的受访者认为领导者的实际洞察力在决策过程中拥有高于数据分析结论的优先参考价值。选择错误的使用方法企业往往会犯下两种错误,要么构建起一套过分激进、自己根本无法驾驭的大数据项目,要么尝试利用传统数据技术处理大数据问题。无论是哪种情况,都很有可能导致项目陷入困境。提出错误的问题数据科学非常复杂,其中包含专业知识门类(需要深入了解银行、零售或者其它行业的实际业务状况);数学与统计学经验以及编程技能等等。很多企业所雇用的数据科学家只了解数学与编程方面的知识,却欠缺最重要的技能组成部分——对相关行业的了解，因此最好能从企业内部出发寻找数据科学家。缺乏必要的技能组合这项理由与“提出错误的问题”紧密相关。很多大数据项目之所以陷入困境甚至最终失败,正是因为不具备必要的相关技能。通常负责此类项目的都是IT技术人员——而他们往往无法向数据提出足以指导决策的正确问题。与企业战略存在冲突要让大数据项目获得成功,大家必须摆脱将其作为单一“项目”的思路、真正把它当成企业使用数据的核心方式。问题在于,其它部门的价值或者战略目标有可能在优先级方面高于大数据,这种冲突往往会令我们有力无处使。大数据孤岛大数据供应商总爱谈论“数据湖”或者“数据中枢”,但事实上很多企业建立起来的只能算是“数据水坑儿”,各个水坑儿之间存在着明显的边界——例如市场营销数据水坑儿与制造数据水坑儿等等。需要强调的是,只有尽量缓和不同部门之间的隔阂并将各方的数据流汇总起来,大数据才能真正发挥自身价值。在大数据技术之外遇到了其它意外状况。数据分析仅仅是大数据项目当中的组成部分之一,访问并处理数据的能力同样重要。除此之外,常常被忽略的因素还有网络传输能力限制与人员培训等等。回避问题有时候我们可以肯定或者怀疑数据会迫使自身做出一些原本希望尽量避免的运营举措,例如制药行业之所以如此排斥情感分析机制、是因为他们不希望将不良副作用报告给美国食品药品管理局并承担随之而来的法律责任。在这份理由清单中,大家可能已经发现了一个共同的主题:无论我们如何高度关注数据本身,都会有人为因素介入进来。即使我们努力希望获取对数据的全面控制权,大数据处理流程最终还是由人来打理的,其中包括众多初始决策——例如选择哪些数据进行收集与分析、向分析结论提出哪些问题等等。为防止大数据项目遭遇失败，引入迭代机制是非常必要的。使用灵活而开放的数据基础设施,保证其允许企业员工不断调整实际方案、直到他们的努力获得理想的回馈，最终以迭代为武器顺利迈向大数据有效使用的胜利彼岸。

D. 什么是大数据反欺诈

大数据反欺诈是基于海量数，通过机器学习架构的一套反欺诈系统，可以对包含
交易专诈骗属，网络诈骗，电话诈骗，盗卡，盗号等欺诈行为进行实时在线识别的一项服务。是互联网金融必不可少的一部分，是由用户行为风险识别引擎，征信系统，黑名单系统等组成。
大数据反欺诈主要是为金融行业或者电商行业的企业提供数据分析的业务以及服务，在进行支付或者信贷的过程中对于行业或者对个人提供一个信用评估的服务，通过大量的数据结合，可以很快的得到贷款方信用的评估结果，在欺诈者可能发生欺骗行为之前就将他们可能实施的行为扼杀在摇篮里，减少金融行业企业的风险。例如奇点数聚是通过大数据的分析结果，将欺诈者的画像以及行为分析展现给金融企业，从而预防欺诈的发生。

E. 大数据需留意的六个安全问题

1、使数据易受攻击

如今，所有数据都是数字化的，并且数量巨大，黑客始终可以在恶意内部人员的帮助下找到进入入侵的方式。如果他们以某种方式可以访问你的关键数据，他们可以根据自己的目的进行修改，甚至删除其中的一些数据。这就是为什么完全依赖物联网、大数据和实时数据分析的公司限制访问并采取某些步骤来检测假数据形成的原因。这是其数据保护协议的关键部分。

2、使访问变得困难

使大数据生态系统有效的另一个重要因素是粒度访问控制。根据等级、权限可以授予不同人员不同级别的主数据访问权限。名义上，访问控制使大数据更加安全。但是，随着组织使用大量数据，增加复杂的控制面板可能变得更加微妙，并可能为更多潜在漏洞打开门户。

3、需要某些安全审核

在每个系统开发中，几乎都是需要安全审核的地方，特别是在大数据不安全的地方。但是，考虑到使用大数据已经带来了广泛的挑战，这些安全审核通常被忽略，这些审核只是添加到列表中的另一件事。这种态度与以下事实结合在一起：许多公司仍需要能够设计和实施此类安全审核的合格人员。

4、分散的框架

使用大数据的公司可能需要在不同系统之间分布数据分析。例如，Hadoop是一种开放源代码软件，旨在在大数据生态系统中进行灵活和分散的计算。但是，该软件初根本没有安全性，因此在分散的框架中有效的安全性仍然是要实现的挑战。

5、数据来源

找到我们的数据来源确实有助于确定违规的来源。你可以使用元数据来跟踪数据流。无论如何，即使对于大型公司，元数据管理也是一个自我战略问题。如果没有正确的框架，实时跟踪此类非结构化数据将是一个挑战。尽管这是一个持续存在的问题，但它并不是大数据问题。

6、实时合规

实时大数据分析在公司的竞争中越来越受欢迎。但是，实时实施这种工具更加复杂，并且还会产生大量的数据。

此类工具的开发方式应使它们在现实中不存在威胁时能够规避对违规行为的错误警告。因此，发现此类错误警告可能很耗时。他们分散了白帽黑客的注意力，使其免受真正的故障和攻击并浪费资源。

关于大数据需留意的六个安全问题，青藤小编就和您分享到这里了。如果您对大数据工程有浓厚的兴趣，希望这篇文章可以为您提供帮助。如果您还想了解更多关于数据分析师、大数据工程师的技巧及素材等内容，可以点击本站的其他文章进行学习。

F. 大数据的内容和基本含义

“大数据”是近年来IT行业的热词，大数据在各个行业的应用逐渐变得广泛起来，如2014年的两会，我们听得最多的也是大数据分析，那么，什么是大数据呢，什么是大数据概念呢，大数据概念怎么理解呢，一起来看看吧。
1、大数据的定义。大数据，又称巨量资料，指的是所涉及的数据资料量规模巨大到无法通过人脑甚至主流软件工具，在合理时间内达到撷取、管理、处理、并整理成为帮助企业经营决策更积极目的的资讯。
2、大数据的采集。科学技术及互联网的发展，推动着大数据时代的来临，各行各业每天都在产生数量巨大的数据碎片，数据计量单位已从从Byte、KB、MB、GB、TB发展到PB、EB、ZB、YB甚至BB、NB、DB来衡量。大数据时代数据的采集也不再是技术问题，只是面对如此众多的数据，我们怎样才能找到其内在规律。
3、大数据的特点。数据量大、数据种类多、 要求实时性强、数据所蕴藏的价值大。在各行各业均存在大数据，但是众多的信息和咨询是纷繁复杂的，我们需要搜索、处理、分析、归纳、总结其深层次的规律。
4、大数据的挖掘和处理。大数据必然无法用人脑来推算、估测，或者用单台的计算机进行处理，必须采用分布式计算架构，依托云计算的分布式处理、分布式数据库、云存储和虚拟化技术，因此，大数据的挖掘和处理必须用到云技术。
5、大数据的应用。大数据可应用于各行各业，将人们收集到的庞大数据进行分析整理，实现资讯的有效利用。举个本专业的例子，比如在奶牛基因层面寻找与产奶量相关的主效基因，我们可以首先对奶牛全基因组进行扫描，尽管我们获得了所有表型信息和基因信息，但是由于数据量庞大，这就需要采用大数据技术，进行分析比对，挖掘主效基因。例子还有很多。
6、大数据的意义和前景。总的来说，大数据是对大量、动态、能持续的数据，通过运用新系统、新工具、新模型的挖掘，从而获得具有洞察力和新价值的东西。以前，面对庞大的数据，我们可能会一叶障目、可见一斑，因此不能了解到事物的真正本质，从而在科学工作中得到错误的推断，而大数据时代的来临，一切真相将会展现在我么面前。

G. 大数据不适合处理的10件事情

大数据不适合处理的10件事情

许多企业领导人开始接纳大数据处理并期待神奇和奇迹，但却发现大数据带来新的复杂性--且从中获益所需要付出的努力要预计中的多得多。

1:解决你的业务问题

大数据不会处理业务问题。人们可以做的，就是要坐下来，在开始使用大数据之前，讨论决定放弃大数据，就使用商业智能取得共识。

2:帮助你管理数据

IBM公司宣称：每一天都会产生 250万字节的数据，其中大部分属于大数据。不出预料，世界范围内企业所需要管理的数据量呈现指数级增长，由于缺乏清晰有效地数据存储和使用策略，数据将不断堆积，每个企业都陷于数据管理的工作。

3:缓解减轻你的安全忧虑

对于许多公司来说，确保大数据的安全访问仍然是一个开放式的课题。这是因为对于大数据安全实践的定义远没有系统数据和记录保护这样明确。我们正处在这样的一个时间点上，也就是IT与最终用户一起来？？确定：谁可以访问哪些级别的大数据，并可以进行相应地分析。

4:关键IT技能缺乏

大数据处理数据库管理、服务器管理、软件开发、业务分析技能短缺，许多IT部门关键IT技能的缺失会不断成为企业的负担。

5:减少遗留系统的价值

如果有的话，遗留系统记录会较之任何大数据更具有价值。通常情况下，正是这些遗留系统可以为大数据分析提供重要线索，用于回答重要的业务问题。

6:简化数据中心

大数据分析需要并行处理计算机集群和传统IT事务处理和数据仓库系统等不同风格的系统管理，这就意味着能量、冷却、软件硬件消耗，运转这些系统所需要的技巧也不尽相同

7:提高数据质量

传统事务处理系统美妙之处在于其拥有固定长度的数据字段以及全面的数据编辑和验证发方式，这有助于得到一个相对干净的表格呈现。大数据不是这样，他们是非结构化的数据，可以表现为几乎任何形式。这让大数据的质量成为一个令人头痛的难题。数据质量至关重要，如果你没有它，就不能信任数据查询的结果。

8:验证当前的投资回报率（ROI）

衡量系统投资回报率最常用的方法是监测交易速度，然后推断其获利能力（例如酒店每分钟有多少新的预订）。对于大数据处理来说，交易速度不是好的衡量指标，大数据缓存和运行分析可能需要数小时甚至数天才可以杀青。衡量大数据处理有效性的一个最好的指标应该是利用率，它应该保持在90%以上（相比于交易系统，其利用率可能只有20%）。对于大数据来说，确定新的ROI指标尤为重要，因为你还有说服CFO以及其他业务部门的领导。

9:减小“噪音”

95%以上的大数据属于“噪音”,对于商业智能的贡献很小或几乎没有。通过数据筛选来进行企业掘金，帮助企业业务进步，这是一个非常艰巨的任务。

10:每天工作时间

多年来，大学和研究中心一直运用大数据实验，试图解答基因组、药物研究以及是否有其他星球生命等令人难以捉摸问题的答案。虽然其中一些算法和查询产生结果更多还是不确定的，大学和研究对于环境的研究也尚无定论，但这不是企业可以接受的，因此，IT和企业关键决策者需要对预期进行调整和管理。

以上是小编为大家分享的关于大数据不适合处理的10件事情的相关内容，更多信息可以关注环球青藤分享更多干货

H. 大数据可否被神化

大数据可否被神化
大数据的发展速度让人瞠目结舌，大数据应用的快速深入也引起业界广泛关注，如今，大数据总量的增长主要归功于非结构化数据的增长。
广义的非结构化数据也包括了半结构化和多结构化数据，目前普遍被认为占到总量的85%以上，而且增速比结构化数据快得多。低信息密度的非结构化数据是大数据的一大挑战，而挑战才是机会，业界巨擘们创造了很多新的概念来迎接非结构化数据，NoSQL数据库就是其中最亮丽的一个。
对此，数据库行业的老法师Mike Stonebraker对此耿耿于怀，不惜力推“血统”更纯正的NewSQL数据库；Sybase公司的CTO Irfan Khan甚至说大数据（这个新概念）根本就是个大谎言，声称他们的数据仓库工具早就能分析包括非结构化数据在内的大数据。
实际上，这类总量数据的预测，对于存储和网络企业的投资者来说，无疑能提升信心，但对其他人来说，没有太大意义。他们更关心的是个体行业、企业甚至个人数据的状况。
由此，毋庸置疑，必须要对大数据有清醒的认识。大数据是一种新的数据形态和实践，它不是取代当前主流的数据应用，而是与之并存。并且，在今后相当长的时间内，它仍然是个新鲜事物。即使年复合增长率高达32%，到2016年全球大数据技术和服务市场总额也就是240亿美金左右（IDC在2012年底的预测）。不切实际、一窝蜂地上大数据项目不应鼓励。明明不算大数据，却偏要乔装打扮，削足适履上马Hadoop和NoSQL更不足取。
大数据也是一种战略、世界观和习惯。即使今天没有大体量的数据，还是可以尽可能自觉、客观、全面地测量世界，为未来的大数据实践做准备。对于一个企业或系统来说，真正的挑战在数据采集而非存储。
微信在设计之初就把数据监控精细化，并纳入基础框架，这是意识和实力的体现。有多少公司像彭博社那样“如饥似渴”地采集数据？它能够雇佣一个卫星每周对位于俄克拉何马的美国最大原油储备库拍照，根据油罐浮动顶的阴影长度来判断原油储备量的变化。所以，成功者有成功的必然性。
其实“数据即价值”的价值观早已存在，Value不是大数据专享的属性，小数据照样有大价值。大数据的功劳在于唤醒大家的意识和觉悟。同样，从数据中发现价值的实践由来已久，横跨数据库、统计学和机器学习交叉学科的数据分析是大数据分析的基础，但传统的数据分析实践是无法适应大数据的发展的。
大数据虽然价值巨大，但是不能盲目神化大数据，有些人认为大数据是能够包治百病的灵丹妙药，也有些人认为大数据是包装旧观念而已，将大数据矮化，这两种观点都是不可取的，对部分人来说，大数据已经是个客观存在和竞争优势；对绝大多数人来说，大数据可以是一种“从现在做起”的世界观，是一种未雨绸缪、决战未来的战略，这样才是正确对待大数据的态度。