大数据时代的思维方式包括

① 什么是大数据时代的思维

什么是大数据时代的思维

一百多年前，汽车行业是第一个真正引入大规模生产概念的行业。那些以前买不起车的美国工薪阶层，突然承担得起汽车这个富人的专属玩具了。福特T型车让成千上万美国家庭拥有汽车。但大规模制造也有其局限性，福特先生说过，你可以买到各种色彩的车，但红色、绿色都不可能，只能是黑色。大规模生产让数以百计的人买得起商品，但商品本身却是一模一样的。

我们面临这样一个矛盾：手工制作的产品漂亮无比却非常昂贵；与此同时，量产化的商品价格低廉，但无法完全满足消费者的需求。

我认为下一波的改革是大规模定制，为大量客户定制产品和服务，成本低、又兼具个性化。比如消费者希望他买的车有红色、绿色，厂商有能力满足要求，但价格又不至于像手工制作那般让人无法承担。

因此，在厂家可以负担得起大规模定制带去的高成本的前提下，要真正做到个性化产品和服务，就必须对客户需求有很好的了解，这背后就需要依靠大数据技术。

数据能告诉我们，每一个客户的消费倾向，他们想要什么，喜欢什么，每个人的需求有哪些区别，哪些又可以被集合到一起来进行分类。大数据是数据数量上的增加，以至于我们能够实现从量变到质变的过程。举例来说，这里有一张照片，照片里的人在骑马。这张照片每一分钟，每一秒都要拍一张，但随着处理速度越来越快，从1分钟一张到1秒钟1张，突然到1秒钟10张后，就产生了电影。当数量的增长实现质变时，就一张照片变成了一部电影。

让我来告诉大家，美国有一家创新企业Decide.com。它可以帮助人们做购买决策，告诉消费者什么时候买什么产品，什么时候买最便宜。预测产品的价格趋势。这家公司背后的驱动力就是大数据。他们在全球各大网站上搜集数以十亿计的数据，然后帮助数以十万计的用户省钱，为他们的采购找到最好的时间，提高生产率，降低交易成本，为终端的消费者带去更多价值。

在这类模式下，尽管一些零售商的利润会进一步受挤压，但从商业本质上来讲，可以把钱更多地放回到消费者的口袋里，让购物变得更理性。这是依靠大数据催生出的一项全新产业。这家为数以十万计的客户省钱的公司，在几个星期前，被ebay以高价收购。

再举一个例子，SWIFT是全球最大的支付平台，在该平台上的每一笔交易都可以进行大数据的分析。他们可以预测一个经济体的健康性和增长性。比如，该公司现在为全球性客户提供经济指数，这又是一个大数据服务。

大数据有三大特点: 更多，更乱，但内部有关系可循。

如果拍一张照片，我需要对着某一个人，好比说拍陈部长的照片，如果焦点只对准他，那其他的人物在照片里就会模糊掉。我会得到陈部长的所有信息，但是其他观众的信息就过滤掉了。我们采集信息的时候也要做决策，到底要回答什么问题，采集什么数据，因为一旦数据采集完毕，就无法重新问另外的问题。

但今天我们已经拥有全新的照相技术了，一张照片里可以把对角所有事物，包括所有的数据、光线都会被拍摄进去。这样，我任意点一个地方，它都能变得清晰。

为什么要这么做呢？方便决策。

我可以在照片生成之后再决定我究竟要什么，因为这些数据包含所有的答案。不要把自己限制于眼前的问题，要为有前瞻性，把其他有可能出现的问题也给囊括进去。这是一个非常创新的办法，同时很清晰地告诉我们大数据能够做什么。我可以跟大家分享一个秘密，如果你把照相机拿出来仔细看，可以看到这是中国制造。

在拥有如此多的数据以后，接下来我们面对的数据质量问题。

为了避免混乱，我们需要找到数据之间的关联性。

举个实际生活中的例子，大约20年前，亚马逊刚成立时，杰夫·贝索斯让50个书评员来为他卖书，他意识到不仅仅可以请人来写书评，还可以用数据技术来提供图书推荐。起初他使用的是小数据，不是大数据，把客户进行分类，比如说有人对中国旅游或者是对园艺感兴趣，系统会自动提供推荐。他的同事告诉他，刚刚开始使用这个数据推荐时，使用体验并不好；在进一步分析后，亚马逊决定不对人进行分类，而是对用户的需求分类。这个做法做法非常成功，以至于到今天，推荐系统为亚马逊带去30%的销售收入。

这就是数据收集和再处理。亚马逊有交易数据，每买一本书就是一个交易，然后对这个数据进行分析。但今天我们已不再满足于交易数据了，转而收集起沟通数据。你看了某一个书评、某一个交流会给商家更多的信息和细节。

同时，大数据也重构了传统零售业，是未来零售业变革的催化剂。比如使用谷歌眼镜，消费者不需要屏幕了，因为下一代的眼镜会更好地理解消费者看到什么，知道如何更好地抓住人们的视线。对于零售商而言，消费者眼中看到的信息是极具价值的资产。卖家就可以了解大家在看什么样的广告，什么样的产品，在路过橱窗时究竟看了一些什么。

数据的产生和收集本身并没有直接产生服务，最具价值的部分在于：当这些数据在收集以后，会被用于不同的目的，数据被重新再次使用。

大数据的一大优点就是数据可以被重复使用。比方说这家公司实时车辆交通数据采集商Inrix，该公司目前有1亿个手机端用户。Inrix可以帮助你开车，避开堵车，为司机呈现路的热量图，红的就表面堵车。如果只提供数据，这个产品没什么特色，

但值得一提的是，Inrix并没有用交警的数据，这个软件的每位用户在使用过程中会给服务器发送实时数据，比如走的多快，走到哪里，这样每个客户都是探测器。

这里还有更大的秘密，Inrix可以重复使用数据。比如它了解到周末堵车时，哪里有堵车哪里有更好的销售，他们就可以把这样的数据提供给投资公司，投资公司根据这些数据对零售业再投资，这样的服务以前是从来不存在的。

那么，大数据可以如何为创新企业所用？

你觉得之前成立新公司需要大笔资金，但事实并非如此。Inrix一开始并没有钱，如果你想在大数据时代获得成功，你已经不需要大的生产基地，大的仓库了。你只需数据，只要拥有数据，对其进行分析就可以了。有云存储的话，这个成本就更低。Inrix在成立之初根本没有服务器和电脑，他们只是租用了云服务，也不需要很多的启动资金，他们只是有这样一个产品想法。

大数据时代的思维方式是：每天早上起来想一下，这么多数据我能用来干什么，这些价值在哪里可以找到，能不能找到一个别人以前都没有做过的事情。你的想法和思路，是最重要的资产。

大数据的思维方式也可以帮助政府为大家提供更好更有效的服务，好比说我们可以通过大数据来确定哪些地方会有火灾。以前防火检查员只有13%的时间可以准备预测，现在他们找到火灾隐患的概率达到了70%，比以前提高了6倍。将效率提高6倍是一个巨大无比的进步，未来的公共服务业可以由此获得更多便利。

Target是一家非常大的美国零售公司，他们已有大数据的分析。

有一天，一个电话打进来，是一位非常生气的客户，这个客户说公司送给他17岁的女儿一个折扣券，这个产品是尿布或者是避孕药，这位客户说：“我17岁的女孩子根本不需要，我需要你来道歉。”几天以后，客户自己跑来道歉，他说你说的很准，我的女儿真的怀孕了。因为怀孕的女性会有不同的生活习惯，会买不同的东西，我们自己有时候都不知道他们已经怀孕了，而Target反而知道了。

这家公司就用这些信息为客户推荐产品，然后给折扣券。为什么要讲这个例子呢？因为美国很多客户感到紧张，Target有这样的能力来了解他们的生活中究竟发生了一些什么。

这意味着大数据的另一个关键点，要提高客户对你的信任。

举个例子，大数据时代美国运通有这样一个功能，你给他们打电话的话，他们会知道你是谁，好比说你的电话号码跟你的姓名相关。如果在电话里说：你好吗？维克托先生，我能为你做什么，这会吓着客户，因为他不知道为什么你知道他的名字。营造信任很重要。我相信你的过程中，也希望你们相信我，所以我们做大数据分析的时候，客户需要能够信任服务供应商，而服务供应商也需要表现出来为什么他是值得信任的。

这样一个信任也不应该被打碎，企业应该要知道哪些事情可以做，哪些事情不能做，客户的信任将是最珍贵的资产。

什么样的服务行业会从大数据中获益？

其实所有的服务行业都可能从中获益，即便是你觉得和大数据没有关系的也可以从中获益，好比说医疗服务、教育、学习。

我正在写一本新的书，明年的上半年会出版，还是大数据以及相关的服务业。明年你就知道了，这本书里面会提到大数据对服务业很重要，因为服务业将会面对巨大的改变，这不仅仅是效率，大数据会为各行各业带来效率，而大数据对于服务业来说不仅仅是效率，我们更多看到将是创新。我们会有越来越多的创新想法，来提供新的产品和服务，这样的话可以让经济更好地发展，我们以前是从来没有看到过的。

以上是小编为大家分享的关于什么是大数据时代的思维的相关内容，更多信息可以关注环球青藤分享更多干货

② 大数据时代,大学生应该具备什么样的大数据思维

在大数据时代，身为一个大学生应该具有的大数据思想如下：
1.要学会利用所有的数据，而不是部分数据，要知道这是全体数据，而不是随机抽样
2.接受不准确性，唯有接受不准确性，才能打开另一扇门，就是不是准确性，而是混合的，混杂的
3.不是所有的都要知道现象背后的原因，而是要让数据它自己“发言”，这种关系既不是因果关系，也不是必然关系
大数据是当下比较高级的一种技术，而且发展越来越全面，涉及了很多的领域。它的实质是收集，整理海量数据，当代大学生身处大数据时代，应该具有收集整理数据的思维，通过对于收集、运算，推动新兴技术的产生与发展，为造福人类而不断努力奋斗。

③ 大数据对人们思维模式的影响有哪些

大数据对人们思维模式的影响内容包括：

• 数据驱动：大数据时代，人们越来越倾向于使用数据来驱动决策和行动，而不是凭直觉和经验。

• 可视化思维：大数据时代，人们通过可视化工具来理解和分析数据，更容易理解和记忆。

• 统计思维：大数据时代，人们需要具备统计思维，能够分析和理解大量数据。

• 模型思维：大数据时代，人们需要具备模型思维，能够建立数学模型来描述和预测数据。

• 从数据中寻找规律：大数据时代，人们需要具备数据挖掘和机器学习的能力，从大量数据中寻找规律和洞察关系。

• 协同思维：大数据时代，人们需要具备协同思维，能够与不同领域专家合作共同分析和解决问题。

总之，大数据对人们思维模式的影响包括但不限于上述几点，它需要人们具备更强的数学和统计学知识、编程能力、数据库知识、可视化能力、统计思维、模型思维、数据挖掘能力和协同思维等。

④ 大数据思维包括哪些主要内容

一、数据核心原理

从“流程”核心转变为“数据”核心

大数据时代，计算模式也发生了转变，从“流程”核心转变为“数据”核心。hadoop体系的分布式计算框架已经是“数据”为核心的范式。非结构化数据及分析需求，将改变IT系统的升级方式：从简单增量到架构变化。大数据下的新思维——计算模式的转变。

例如：IBM将使用以数据为中心的设计，目的是降低在超级计算机之间进行大量数据交换的必要性。大数据下，云计算找到了破茧重生的机会，在存储和计算上都体现了数据为核心的理念。大数据和云计算的关系：云计算为大数据提供了有力的工具和途径，大数据为云计算提供了很有价值的用武之地。而大数据比云计算更为落地，可有效利用已大量建设的云计算资源，最后加以利用。

科学进步越来越多地由数据来推动，海量数据给数据分析既带来了机遇，也构成了新的挑战。大数据往往是利用众多技术和方法，综合源自多个渠道、不同时间的信息而获得的。为了应对大数据带来的挑战，我们需要新的统计思路和计算方法。
二、数据价值原理

由功能是价值转变为数据是价值

大数据真正有意思的是数据变得在线了，这个恰恰是互联网的特点。非互联网时期的产品，功能一定是它的价值，今天互联网的产品，数据一定是它的价值。

例如：大数据的真正价值在于创造，在于填补无数个还未实现过的空白。有人把数据比喻为蕴藏能量的煤矿，煤炭按照性质有焦煤、无烟煤、肥煤、贫煤等分类，而露天煤矿、深山煤矿的挖掘成本又不一样。与此类似，大数据并不在“大”，而在于“有用”，价值含量、挖掘成本比数量更为重要。不管大数据的核心价值是不是预测，但是基于大数据形成决策的模式已经为不少的企业带来了盈利和声誉。
三、全样本原理

从抽样转变为需要全部数据样本

需要全部数据样本而不是抽样，你不知道的事情比你知道的事情更重要，但如果现在数据足够多，它会让人能够看得见、摸得着规律。数据这么大、这么多，所以人们觉得有足够的能力把握未来，对不确定状态的一种判断，从而做出自己的决定。这些东西我们听起来都是非常原始的，但是实际上背后的思维方式，和我们今天所讲的大数据是非常像的。

举例：在大数据时代，无论是商家还是信息的搜集者，会比我们自己更知道你可能会想干什么。现在的数据还没有被真正挖掘，如果真正挖掘的话，通过信用卡消费的记录，可以成功预测未来5年内的情况。统计学里头最基本的一个概念就是，全部样本才能找出规律。为什么能够找出行为规律?一个更深层的概念是人和人是一样的，如果是一个人特例出来，可能很有个性，但当人口样本数量足够大时，就会发现其实每个人都是一模一样的。

⑤ DT时代，大数据的基本思维主要体现在哪几个方面

1 大数据思维的整体性
随着科技的不断创新，进入大数据时代的同时必然带动着大数据思维由一元思维升级至二元思维，目前根据人类思维的转变模式进行分析，其依然进行至多元思维状态，即追求和谐稳定社会的模式，但是研究大数据思维的发展进程发现，大数据的二元思维模式是一种高效率并适合现今社会发展的思维模式，其追求效率性、相关性、概率性，为创新发展提高了效率。根据当下社会的需求及其社会的快节奏发展，大数据思维已然在各领域发展处于主导地位，由其基本特征层面分析，大数据思维主要特征为整体性，整体性的理论基础在于人类认识世界的能力在自然观中的不断变革而体现，现今社会通过人类对于整体数据的整合及分析能力进行体现，大数据时代，整体性大数据思维模式成为解决问题的首选为必然趋势及结果，其原因在于整体性思维模式能够更加高效的完成复杂的数据统计及分析。以我国人口普查为例，我国近三次人口普查时间间隔为十年，而面对我国庞大的人口数量，大数据思维在数据统计中占领了绝对优势，据悉我国人口普查总投入超过六亿元人民币，以2010年进行的人口普查数据分析，我国耗费了巨大的人力财力以及时间，倘若运用大数据进行人口普查，以其优势进行仅使用百分之一的抽样调查进行数据分析，将大大减少人口普查为政府带来的难题。
2 大数据思维的互联性
“一切皆可量化。”道格拉斯。相对微观层面分析大数据思维特征，较为典型的为切合现今社会及科技发展的量化互联思维，量化为具体或明确目标的一种表述，而互联代表着两种事物间的连接，其作为大数据思维微观层面的一种表达方式，更加说明大数据思维的重要性，知名投资人孙正义对于大数据时代的发展提出：“要么数字化，要么死亡。”直接地表达出大数据思维目前所处的地位，研究发现，数字信息成为时代发展的代表已成为必然趋势，而量化思维为数字化特征带来的必然思维结果，换言之，量化可以解释为共性语言描述和解释世界的一种方式，其体现在于充分运用最新技术手段，对于各个领域进行信息全面定量采集以及信息互通，打通信息间隔阂，并进行全新的信息整合，实现分析实用性及数据科学性，创造更据价值的数据应用和信息资产。目前，大数据的运用不仅体现在网络平台当中，同时在人们的细微生活中、就业环境以及生态保护范围内都做到了广泛适用，gartner公司于2015年运用大数据分析出当下及未来人们就业环境，其调查结果表明，2015年全球范围内数据岗位的需求量高达440万，而2018年全球范围内仅大数据就业背景管理人员的缺乏将高达150万人，案例表明，全球范围的人才紧缺将成为必然趋势并不断增加，该案列清晰的体现出大数据环境下大数据思维的量化互联性，并且为未来就业环境做出了精准的预测。
3 大数据思维的价值性
由大数据思维的本质进行分析，大数据思维具有价值化特征，大数据时代信息的不断整合及分析已然使得信息及数据量化及互联转变为多维度的发展状态，换言之，大数据思维渗透至各个领域及行业的不同维度是大数据发展的初始动机和直接目的，现今社会看待其价值化特征将其价值性总结为大数据思维的本质，同时，万物的量化互联性及其整体性使得其价值性影响了多维度的发展，由此凸显了数据及大数据思维的创造性及重要性。通过对于事实的研究证明，大数据时代背景下，其价值化特征及其价值性的意义正在不断演进并处于不断被挖掘的状态，各个领域大数据思维模式相继被接受和适用也是大数据发展带来的益处之一，随着大数据思维的不断开发和研究，其运用不仅在处理数据分析上实行了高效率，也对于事件及数据的预测上实现了精准并具有概率性的分析结果，google公司于2008年运用大数据思维对于流感爆发地点及人数进行准确预测的经典案列分析，大数据思维对于社会发展体现出其必要的价值性，并且改变了社会对于大数据的看法，可谓大数据的运用成功到达了一个全新的高度，Google公司通过对于数十亿网络搜索请求的数据整合，对世界各地区的流感做出预测，该项目的成功引起了各国对于大数据的使用，同时带动了人们的大数据思维及思考模式，将大数据思维上升至被社会认可的高度。
根据现今社会发展现状分析，客观角度说明我国以基本进入大数据时代，大数据思维的特征已然体现在社会各领域当中，并且伴随着多维度的运用，因此大数据思维全面运用指日可待，高级思维带动我国科技及经济的发展势在必行。随着人工智能的不断推出以及数据分析的不断升级，并且基于大数据思维为社会带来的发展前景研究，大数据思维引领我国科技发展已成为未来的必然趋势。

⑥ 大数据所带来的四种思维方式的转变

随着近年来大数据技术的快速发展，大数据所创造的价值深刻改变了我们的生活、工作和思维方式。大数据研究专家舍恩伯格指出，大数据时代，人们对待数据的思维方式会发生如下三个变化：

事实上，大数据时代带给人们的思维方式的深刻转变远不止上述三个方面。大数据思维最关键的转变在于从自然思维转向智能思维，使得大数据像具有生命力一样，获得类似于“人脑”的智能，甚至智慧。

以下将介绍大数据技术所带来的四种思维方式的转变。

社会科学研究社会现象的总体特征，以往的采样方法一直是主要数据获取手段，这是人类在无法获得总体数据信息条件下的无奈选择。在大数据时代，人们可以获得与分析更多的数据，甚至是与之相关的所有数据，而不再依赖于采样，从而可以带来更全面的认识，可以更清楚地发现样本无法揭示的细节信息。

在大数据时代，随着数据收集、处理、存储、分析技术的突破性发展，我们可以更加方便、快捷、动态地获得研究对象有关的所有数据，而不再因诸多限制不得不采用样本研究方法，相应地，思维方式也应该从之前的样本思维转向总体性思维，从而能够更加直观、全面、立体、系统地认识总体状况。

在大数据时代之前，由于收集的样本信息量比较少，所以必须确保记录下来的数据尽量结构化、精确化，否则，分析得出的结论在推及总体上就会“南辕北辙”的现象，导致数据的准确性大大降低，从而造成分析的结论与实际情况背道而驰，因此，就必须十分注重数据样本的精确思维。

然而，在大数据时代，得益于大数据技术的突破，大量的结构化、非结构化、异构化的数据能够得到储存、处理、计算和分析，这一方面提升了我们从海量数据中获取知识和洞见的能力，另一方面也对传统的精确思维造成了挑战。

在大数据时代，思维方式要从精确思维转向容错性思维，当拥有海量即时数据时，绝对的精准不再是追求的主要目标，适当忽略微观层面上的精确度，容许一定程度的错误与混杂，反而可以在宏观层面拥有更好的知识和洞察力。

在大数据世界未出现时，人们往往执着于现象背后的因果关系，试图通过有限样本数据来剖析其中的内在关联关系。数据量小的另一个缺陷就是有限的样本数据无法反映出事物之间的普遍性的关联关系。而在大数据时代，人们可以通过大数据挖掘技术挖掘与分析出事物之间隐蔽的关联关系，获得更多的认知与洞见，运用这些认知与洞见就可以帮助我们捕捉现在和预测未来，而建立在关联关系分析基础上的预测分析正是大数据的核心议题之一。通过关注线性的关联关系及复杂的非线性关联关系，可以帮助人们看到很多以前不曾注意的数据之间存在的某些联系，还可以掌握以前无法理解的复杂技术和社会动态，关联性关系甚至可以超越因果关系，成为我们了解这个世界的更好视角。

在大数据时代，思维方式要从因果思维转向相关思维，努力颠覆千百年来人类形成的传统思维模式和固有偏见，才能更好地分享大数据带来的深刻洞见。

不断提高机器的自动化、智能化水平始终是人类社会长期不懈努力的方向。计算机的出现极大地推动了自动控制、人工智能和机器学习等新技术的发展，“智能机器人”技术研发也取得了突飞猛进的成果并开始一定应用。应该说，自进入到信息社会以来，人类社会的自动化、智能化水平已得到明显提升，但始终面临瓶颈而无法取得突破性进展，机器的思维方式仍属于线性、简单、物理的自然思维，智能化水平仍不尽如人意。但是，大数据时代的到来，可以为提升机器智能带来契机，通过机器学习可以从数据中获取有价值的学习数据，大数据将有效的推进机器思维方式由自然思维转向智能化思维，这才是大数据思维转变的关键所在、核心内容。

众所周知，人脑之所以具有智能、智慧，就在于它能够对周遭的数据信息进行全面收集、逻辑判断和归纳总结，获得有关事物或现象的认识与见解。同样，在大数据时代，随着物联网、云计算、社会计算、可视技术等的突破发展，大数据系统也能够自动地搜索所有相关的数据信息，并进而类似“人脑”一样主动、立体、逻辑地分析数据、做出判断、提供洞见，那么，无疑也就具有了类似人类的智能思维能力和预测未来的能力。“智能、智慧”是大数据时代的显著特征，大数据时代的思维方式也要求从自然思维转向智能思维，不断提升机器或系统的社会计算能力和智能化水平，从而获得具有洞察力和新价值的东西，甚至类似于人类的“智慧”。

大数据开启了一个重大的时代转型。大数据技术正在改变我们传统的生活以及理解世界的方式，成为新发明和新服务的源泉，而更多的改变正蓄势待发。大数据时代将带来深刻的思维转变，大数据不仅将改变每个人的日常生活和工作方式，改变商业组织和社会组织的运行方式，而且将从根本上奠定国家和社会治理的基础数据，彻底改变长期以来国家与社会诸多领域存在的“不可治理”状况，使得国家和社会治理更加透明、有效和智慧。

⑦ 数据驱动的思维方式包含哪五个方面

每日干货好文分享丨请点击+关注

欢迎关注天善智能微信公众号，我们是专注于商业智能BI，大数据，数据分析领域的垂直社区。

对商业智能BI、数据分析挖掘、大数据、机器学习，python，R感兴趣同学加微信：fridaybifly，邀请你进入头条数据爱好者交流群，数据爱好者们都在这儿。

本文作者：天善智能联合创始人&运营总监 吕品，微信：tianshanlvpin，原文发表于天善智能服务号，欢迎讨论交流。

开篇语

看过不少讲解大数据思维的文章，文章的一些观点能够带给我很多的启发，很有见地也很受用。在跟一些企业的负责人聊起大数据项目规划和建设的时候，发现大家对大数据并不缺少自己的认识和看法，只是这些认识和看法没有被系统性的组织起来，形成一个比较有深度的思考问题、解决问题的套路。

这篇文章结合我在和一些朋友沟通过程中看到的一些问题，将大数据思维和价值做了一些聚焦和分解。我来抛砖引玉，希望这篇文章能够让大家从另外的一个角度去了解和思考一下到底什么是大数据思维和价值。

这篇文章适合企业高层、即将或者正在规划大数据项目、思考如何对大数据进行顶层设计、大数据项目管理人员一读。作为补充，我在此也推荐几篇文章以丰富大家思考问题的维度（角度）：

【概念篇】大数据思维十大核心原理

【分析篇】趋势 | 大数据应用落地分析

【案例篇】深入解读民生银行阿拉丁大数据生态圈如何养成

【案例篇】大数据如何聚焦业务价值，美的大数据建设的启发

本文作者：吕品 天善智能联合创始人

本文整理自 2017年3月3日 美云智数新品发布会数据云分论坛吕品的演讲内容

人人必谈大数据

说到大数据，大家并不陌生，从各种自媒体、线上线下沙龙，包括生活中大家经常提起。早在 2010 年之前，国内的很多互联网公司都已经在处理 “大数据”，只不过那时对大数据还没有一个清晰的定义。2013 年起，我们注意到在国内大数据这个词开始火了，火到什么程度？ 举个例子：我每次回家，家里的亲人朋友都在问我是做什么的，我说我们是搞商业智能 BI 的，基本上听不懂。什么把数据变为信息、信息产生决策，什么 ETL、报表，几乎是懵圈的。后来提了一句，我们有一个技术网站，里面都是玩数据的，比如大数据、数据分析、数据挖掘...。“大数据啊！大数据我知道！”，我问什么是大数据，回答很简洁干脆：“大数据就是数据大呗！”。

其实这种理解不能说错，只能说不全面，但是从某种角度上来说大数据还是比较深入人心的，“大数据”这三个字起到了一个很好的名词普及作用，至少不会像商业智能 BI 那样很难用一句或者几句话让大家有个哪怕是很基础的概念。

大数据 4V

我们经常提到的大数据四大特征：4个V

Volume 数据容量大：数据量从 GB 到 TB 到 PB 或以上的级别。
Variety 数据类型多：企业在解决好内部数据之后，开始向外部数据扩充。同时，从以往处理结构化的数据到现在需要处理大量非结构化的数据。社交网络数据采集分析、各种日志文本、视频图片等等。
Value 价值高，密度低：数据总量很大，但真正有价值的数据可能只有那么一部分，有价值的数据所占比例很小。就需要通过从大量不相关的、各种类型的数据中去挖掘对未来趋势和模型预测分析有价值的数据，发现新的规律和新的价值。
Velocity 快速化：数据需要快速处理和分析。2010年前后做过一个美国医疗保险的数据迁移项目，有一个 ETL 需要处理该公司几十年的历史文件和历史数据，文件数据量很大，并且逻辑非常复杂，一个流程几十个包，一趟下来 35 个小时执行完毕。这种情形如果放在现在的互联网比如电商平台很显然是不允许的。比如像电商促销、或者要打促销价格战，实时处理传统的 BI 是无法完成的。对有这种实时处理实时分析要求的企业来说，数据就是金钱，时间就是生命。
我相信上面提到的大数据的四个 V、核心特征还是比较容易理解的。如果我们不是站在技术层面去聊的话，大家对大数据或多或少都会有一些比较接近和类似的看法，并且在理解和认识上基本也不会有太大的偏差。

但是当我们谈到大数据，大家真正关心的问题在哪里呢？ 从技术角度大家可能关心的是大数据的架构、大数据处理用到了什么样的技术。但是站在一个企业层面，特别是在着手考察或者规划大数据项目建设的负责人、企业高层来说，更多关心的应该是下面这几个问题：

1. 大数据到底能帮我们企业做什么，或者说能够带给我们企业什么变化。上了大数据对我们有什么用，会有什么样的改变，是经营成本下降、还是帮我们把产品卖的更多？

2. 我们的企业现在能不能上大数据？如果不能上大数据，为什么，那又需要怎么做？

3. 我们企业也想跟随潮流上大数据，问题是要怎么做。需要准备什么，关于投入、人才、还缺什么、需要用到什么样的技术？

4. 我们怎么验证这个大数据项目是成功还是失败，我们判断的标准是什么？

我相信这些问题都是大家比较关心的一些点，包括我自己。我们目前还是以 BI 分析为主，但我们也会去爬一些外部的数据，后面也在规划大数据相关的一些项目和开发。

当然大数据这个话题是非常大的，我们很难从一个或者两个角度把这些问题回答的非常全面。但是我觉得有一点是我们的企业高层或者决策者可以注意的：在规划和考虑大数据的时候需要具备一定的大数据思维，或者说是面对大数据时我们所要具备的考虑问题和看问题的角度。

大数据思维方式

大数据思维方式我简单概括为两个方面：第一个是以数据为核心、数据驱动的思维方式。第二个是业务核心，业务场景化的思维方式。

以数据为核心、数据驱动的思维方式包含这几个方面：

1. 尽可能完善自己的数据资源。我们手上握有什么样的数据资源，我们数据资源的质量如何？

企业需要关注和梳理我们有什么样的数据，以前是关注企业的流程，IT的流程、业务流程再造。现在大多数企业这些 IT 基础和应用的建设都已经完成了，更加关心的应该是在我们的企业里到底握有什么样的数据资源，在不同的行业我们的数据主题是不一样的。

比如电商零售行业，我们考虑更多的可能是消费数据、涉及到用户、产品、消费记录。因为我们可以围绕这些数据比如做用户画像、精准营销、定制化的产品、产品的市场定位分析等等。

比如制造生产行业，我们涉及更多的数据可能是产品本身、我们的生产流程、供应商等。因为我们可以围绕这些数据比如做我们的生产质量检查、降低生产成本、工艺流程再造等。

只有了解我们目前自身的数据资源，才能知道我们还缺少哪些数据资源。而这些缺少的数据资源从哪里来，如何获得，就是我们在规划大数据项目的时候是需要解决的。如果缺乏这种意识，等在规划和上大数据项目的时候你的大数据资源非常有限的。

2. 增加数据触点、尽可能多的去收集数据，增加数据收集和采集渠道。大数据的建设和大数据分析它是一个迭代的过程，很多的分析场景都是在不断的探索中找出来的，它有一定的不确定性。正是因为这种不确定性所以才需要我们尽可能收集更多的数据。

现在是移动互联网时代，人人都是数据的生产者和制造者。比如每天的社交数据、互联网点击网络的数据、刷卡消费的数据、电信运营、互联网运营数据。像我们的制造和生产行业，有自动化的传感器、生产流水线、自动设施的数据等。有些数据放在以前可能不值钱，但是现在看呢？这些数据现在或者在将来的某一天就会变得很有价值。

比如像我最开始提到的那家美国医疗保险公司，我看过他们的 COBOL 代码注释都有是七几年、八几年前的。他们积累了几十年的数据，突然在 2010 年前后开始意识到数据的价值了，开始通过数据进行一些变现了。之前知道这些数据的价值吗？不知道，但是尝试到数据的甜头，比如做自己的数据分析，咨询机构购买一些脱敏的数据，或者给咨询机构提供数据做市场研究用途。

所以大数据的构建不会是一天两天的，这个过程会持续很长的时间，我们需要为将来做准备。所以如果你的公司连个最简单的业务系统，IT 应用系统都没有，数据连存放的地方都没有，怎么能够上大数据呢？不合理。

数据越多，数据种类越丰富，我们观察数据的角度维度就越丰富，我们利用大数据从中就能够发掘出以前更多没有看到的东西。

3. 数据开放和共享思维。这一点在我们国内其实说起来很容易，但是实际上很难。

去年的时候我去看了一个市公安局的大数据项目（可参看这篇文章 政府大数据面临的问题和阻力在哪里？），他们有两点意识非常好：

1）非常清楚的知道自己拥有哪些数据资源。比如市公安局以及下属分局、各个支队各个应用系统的数据：基础的人口管理、信访、犯罪信息、情报。包括数据监控所涉及到的铁路、网吧、民航购票、ETC 卡口等。

2）为了纳入更多的社会化数据资源、实现全行业的数据覆盖，他们准备接入交通、服务、科技信息化、教育、社保、民政等各个行业的数据。包括他们给下面的单位下了数据的指标，每个单位或者每个民警都有这种收集数据的指标，比如哪个单位今天上传了什么样的多少数据，每个月哪个单位上传的最多，这都是很好的数据收集的意识。

但问题在哪里？问题在于很多机构比如银行受国家政策限制很多数据是没有办法共享的、还有像教育机构，我凭什么把数据给你，在行政上大家是并级的机构。

所以这个时候就需要考虑数据开放和共享的思维，在满足数据安全性的基础之上我们可以不可以考虑数据互换共享的可能。公安局有的数据一定是教育机构没有的数据，那么同样的教育机构有的数据，公安机构也不一定有。如果两者数据在某种程度上形成共享，在保证数据安全和不冲突的情况下是可以创造出更多的社会价值的。比如公安局可以提供教育机构关于各个地区犯罪率的信息，包括交通安全事故多发地等，教育机构可以针对

⑧ 大数据思维方式主要有

主要有分类、回归分析、聚类、关联规则、特征、变化和偏差分析、Web页挖掘等，它们分别从不同的角度对数据进行挖掘。
分类是找出数据库中一组数据对象的共同特点并按照分类模式将其划分为不同的类，其目的是通过分类模型，将数据库中的数据项映射到某个给定的类别。
回归分析方法反映的是事务数据库中属性值在时间上的特征，产生一个将数据项映射到一个实值预测变量的函数，发现变量或属性间的依赖关系，其主要研究问题包括数据序列的趋势特征、数据序列的预测以及数据间的相关关系等。