㈠ 对大数据的理解与思考
对大数据的理解与思考
首先,大数据的到来,对人们的观念将带来深远的影响。
我们以前习惯认为:找到现象背后的原因,比清楚现象是什么更重要。通过“塔吉特怀孕预测”的例子可以看到,通过关联分析、聚类分析等数据挖掘方法,大家很容易找到事物之间的关系。但是,这些大数据分析结果,并不会直接告诉我们,事物之间为什么存在这些关系。在不清楚为什么存在这些关系之前,又的确看到了这些关系带来了价值;所以,在大数据应用领域就需要改变以前的思考方。即:先找到“是什么”再去找“为什么”;清楚是什么,与搞清楚为什么同等重要。
手工统计时代,出于收集全部数据非常困难或代价巨大的原因,很多数据分析都是采用抽样数据;但是,现在不同了,随着信息技术的发展,现在很多领域都能够方便的收集到全量数据。诸如无纸化办公的兴起、信息系统的使用、电子商务的发展等等,都为收集全量数据提供了便捷的条件。那么,这时候数据的“样本”=“全体数据”。这相对以前来说,也是革命性的影响。
在抽样分析时代,个别样本的质量甚至决定结果的质量。在大数据时代,这也变了,可以允许个别数据的不精确,甚至错误。举个简单例子来说明这个道理,比如在温室大棚里放一只温度计,当这只温度计有问题时,整个温度都是不准确的。若在大棚里均匀分布十几只温度计,其中一只有问题,对温室大棚温度的统计结果无碍大事,基本可以忽略其影响。
其次,大数据应用,影响商业变革和社会进步。
大数据应用正改变着企业的业务发展方式。比如:京东、天猫通过对交易数据的“二次利用”,寻找目标客户、定向推荐商品。也正是这些数据的二次利用给他们提供了大量价值,促进了这些企业的发展,推动着他们在营销、供应链与客户服务等领域的管理变革。同时,交易数据并不因为二次利用,而降低其价值;这也是,大数据应用与传统资源使用不同的地方。
数据的“混搭”分析,推动着商业发展和社会的进步。比如历史天气信息与航班误点信息,这两个不同领域的信息一块儿分析,便可以推算未来几天航班的误点率。再比如,通过神经中枢肿瘤患病率和手机使用时间长短之间的大数据关联分析,来研究神经中枢肿瘤患病率是否与手机使用时间长短有关系等等。
大数据的应用,也促生了很多商业机会。随着大数据时代的到来,形成了很多大数据拥有公司,以及大数据技术公司;数据与技术的结合变促生了很多大数据应用,因此带来了很多商业机会。例如,现在很多商业银行对自己大量客户的交易信息分析,规划新的理财产品,与其他商家合作,联合搞定向促销等等。
再次,大数据时代不再有个人隐私,将形成新的信息安全机制。
现在还经常听到诸如某某窥探我的隐私之类的话语,但是,在大数据时代几乎没有个人隐私,这不是骇人听闻。因为,现在微博、搜索引擎、社交网络、电商购物,已经成了我们生活中必不可少的一部分。根据每个人在互联网上留下的痕迹,通过大数据分析,很容易分析出一个人的爱好、习惯、性格、癖好等等。所以,大家都被“第三只眼”实时监控着,在大数据时代,几乎没有个人隐私!
没有个人隐私,是否就代表每个人可以随便传播别人隐私了呢?答案当然是否定的。因为传播别人隐私是不道德的,甚至是违法的。所以,现在新的信息安全规则正在重新定位,其中一个基调是:让数据使用者承担责任,不能滥用别人的隐私;我个人感觉这也比较合理。
总结
大数据只是“新概念”,并不是“新事物”。过去数据就存在,只是我们没有收集这些数据。但是,现在收集了这些数据,这个世界变得不一样了;它更新了人们过去对数据应用的认识,加快了商业和社会发展的新陈代谢,从中也让大家也看到了很多机会。大数据时代,已经到来。极目远眺,也看不到尽头。
㈡ 大数据的思维方式遵循因果逻辑推理,对吗
大数据时来代,人们对待源数据的思维方式会发生如下三个变化:第一,人们处理的数据从样本数据变成全部数据;第二,由于是全样本数据,人们不得不接受数据的混杂性,而放弃对精确性的追求;第三,人类通过对大数据的处理,放弃对因果关系的渴求,转而关注相关关系。大数据思维最关键的转变在于从自然思维转向智能思维,使得大数据像具有生命力一样,获得类似于“人脑”的智能。
㈢ 写给创业者十个大数据观点
写给创业者十个大数据观点
历经多种以数据为资源的创业公司,笔者深感大数据题材创业是高富帅的行为,对于创业者来说不但要拥有大数据的思维,帮客户创造价值,还要更好了解大数据的生态系统,不要想着成为什么平台,甚至设想成为数据生态里面的重要基础设施提供者,某个行业的领导者,而更多是要考虑如何先成为数据时代的收益者之一。
根据观察,笔者梳理了大数据的观点,写给创业者以供参考。
1.关于大数据赚钱
大数据的价值是没有问题的,可是它的商业价值是依赖用户数的;
简单举例:100元发掘了10元价值,如果销售给8个人,亏20,销售给80个人赚700,利润极高
这就是说,数据驱动的生意价值密度比较低,依赖用户数构建生意体系,一旦做大将是暴力,因为价值的复制性成本趋近于零。
2.关于大数据商业模式
目前的大数据仍停留在概念系统建设的初级阶段,解决现有数据量增加、处理速度快速处理的问题,很少有大数据平台真正运用自身的大数据,完成真正的产品创新,而非渠道的拓展。
就技术收益而言,营销的:
商品推荐、广告推荐、阅读推荐、人才推荐、旅游推荐搜索悠优化都是有收益的;就安全而言:有合规、预警和智能巡检,是可以节省成本的、提高效率的;就产品创新而言,没有见到实物的产品创新案例;UGP(用户创造产品)平台会比较酷。
就目前已经赚钱的搜索业务,安全业务,舆情,情报,营销业务都是成功的案例,还有很多,靠大家切入,记住提供应用,不要搞系统。那是大公司干的事情。
3.关于大数据的普世价值
发现大数据的价值,如同发现新文明!
数据是群众智慧,将协助个体进行科学决策!
和之前的数据科学相比现在的DT能够实时在线,预测未来趋势!
企业层面将更加科学的倒逼企业的人财物产供销体系等
开放数据、是人类历史上最伟大的进步!
对于数据的价值认知不应该停留在商业领域,各行各业都需要数据驱动,各个学科也需要,我们人类在通过数据不断量化这个宇宙。
4.大数据与营销
科学和艺术的有机结合
数据更快、更准,艺术更富有感染力!
科学提升在理性范围内、艺术则非理性!
大数据目前贡献最多的还是在营销!
艺术价值>数据机制
数据对于营销效果是N%的提高,艺术是几十,几百,成千上万的提升,在数据时代一个好的营销是将数据与艺术结合的结果。
5.大数据的最大价值:大数据+物体=智能
心中有数为智慧、物中有数可智能!
数据给人类提供了造物的素材,使人有了学习上帝造物的本领;
大数据渗透到了所有场景,让物体智能,行为智能,谁学习谁受益,请用大数据帮助XX进行变革造句(大数据辅助说话,治病,吃饭,旅游,吵架);
这是大数据的核心价值,在这个哪些硬件需要什么样的数据,如何去满足这种数据需求,如何节省资源,如何提高数据利用率,如何考虑硬件之间的数据交换和流动才是最重要的。终端决定后台,消费者决定市场!智能硬件是大数据的最终用武之地。
6.没有数据照样可以大数据
智慧高于知识,智慧是动态的,它可以随时产生(实时计算)的:你的心态,初心,勇敢,创新思维,工作环境人际关系都是条件,我们从数据,信息,知识,到智慧产生都是大数据处理的结果,古人没有数据但是产生了智慧,所以大数据思维不应局限在数据层面。
7.关于大数据的最佳商业模式
免费数据,收费api,会不是大数据最佳的商业模式?
大数据的最佳商业模式也许就是大数据交易。
8.大数据对企业的价值
助理业务生命周期管理:
各行各业都有大数据驱动的业务变革,任何一个行业
从社会化客户---原始的线索客户-----线索-机会-----
订单-产品设计--服务-----口碑------社会化客户,
整个商务的闭环都需要数据参与其中的。
助理数据生命周期管理:
从数据产生--数据采集--数据传输--数据存储--数据处理--数据分析--数据发布、展示和应用--产生新数据"整个数据效能价值的闭环。都需要数据参与其中。
9.当大数据智能PK自然
后大数据时代也许是自然科学的,现在峰会必谈大数据,而大数据之后能,笔者以为会谈自然科学,自然创造万物,数据只是自然的产物之一;
10.大数据与易经
思考:推理VS演绎,用01计算机技术釆集了部分数据,应用了一些数学算法,选择了一种经验场景,推理出一种结论,釆集不全,算法不准,场景不对,推理有误。
研究了一,生二,二生了三,三生了万物,掌握易经的古代人能掐会算,预测,演绎有根。这就是祖先的易经文明,演绎可能预知所有情况;
易经说,一时二运三风水四积阴德五读书,这就是已经对于社会的大数据结论。易经就是大数据思维。
以上十个观点,是笔者的一些点滴思考,有志于以数据题材创业的朋友,我还想和大家沟通的是对于大数据的市场需求要有所了解。从价值的角度来说,数据分三六九等,第一方数据,第二方数据,第三方数据。从目前来看,企业的第一方数据处理(hadoop等生态会是大需求,美国的战略是开源,中国的战略是数据开放和OEM跟进,也有很多自有技术的厂商)是目前最迫切的需求,以第一方数据分析为需求的(BI等工具)求是第二需求,提高安全控制的是第三需求。其次第二方数据的应用。融合企业自身业务的,加快业务协作的,整合利用业务合作方的数据的应用和技术是这一类需求。最后一类需求就是购买第三方数据拓展业务的需求,要么改善产品体验,要么进行客户拓展。这类需求促进大数据流动起来,是推动大数据流动性,产业链完善的主要动力。
以上是小编为大家分享的关于写给创业者十个大数据观点的相关内容,更多信息可以关注环球青藤分享更多干货
㈣ 大数据时代对思维方式的改造
大数据时代对思维方式的改造
大数据将对整个社会的全面发展带来全新的动力。作为一种伟大的革命性动力,大数据的运行及其作用的发挥,需要我们做好各方面的准备,而这其中的一个关键,是与社会体制变革相适应的人们的思想变革。质而言之,就是大数据时代要求人们的思维方式进行一次深刻改造。
目前,在报刊文献和各种媒体中,大数据这个概念,几乎是处处可见、不绝于耳;同时,学术界的学术研究,使人们对大数据的理性认识水平不断提高。有学者认为,2012年世界迎来了大数据元年,而2013年则是中国的大数据元年。正是因为如此,从世界到中国的学术界,特别是科技界,大多数人都比较一致地认为,我们已经进入到大数据时代——一个全新的信息时代。
大数据将为整个社会的全面发展带来全新的动力。大数据的运行及其作用的发挥,一方面需要相应的社会条件,另一方面它也必然会创造出自己所需要的全新的社会条件。很显然,要迎接这样的革命性的新科技时代,需要我们做好各方面的准备,而这其中的一个关键,是与社会体制变革相适应的人们的思想变革。质而言之,就是大数据时代要求人们的思维方式进行一次深刻的改造。
大数据时代需要实证思维
这个问题的解决,首先是需要我们对大数据这个概念有一个真正的科学认识。现在的一些权威性研究性机构和文献,都在试图对大数据进行学术性的界定,其观点,大体上比较一致。什么是大数据呢?美国、英国等国家的有关专门机构和专业刊物上,对大数据概念的内涵都提出了自己的解释,我国的有关机构,特别是专业学者,也同时提出了自己的一些独立学术见解。综合起来看,基本观点主要是,所谓大数据是指一般传统工具无法处理的海量的、高增长率、多样化的信息资源;大数据反映的是网络时代的一种客观存在,即那些难以用传统工具认知的有巨大挑战性质的数据;大数据是指那种无法在一定时间内用常规软件工具处理的数据集合;如此等等。因为大数据作为一种巨量的数据集,能够从其中挖掘出各种有价值的信息,所以日益受到重视。
从这些界定中可以看出,大数据是超出了传统意义上的、极其巨大的、具有特殊价值的数据信息资源。但是,对大数据这样的界定,仍然是一种实体性质的描述,所以,还不能说是揭示了它的本质。那么,大数据的本质究竟是什么呢?在我看来,所谓“大数据”,已经不是一种具体的物理时空概念,而是一种哲学理论层次上的科学概念,也就是说,大数据本身已经具有了高度的理论抽象性质。据此,我们还可以大胆做出这样的判断:大数据已经不是一种具体的物质实体,本质上是一种抽象的哲学概念。面对着物质发展的这个崭新世界——大数据,我们那些常规的认识方式,已经不可能深刻认识它的特殊本质特征了,这就决定了在大数据时代,我们在认识领域必须来一次思维方式的根本性改造。
大数据作为人类实践和认识的一种特殊形式、特殊成果,要求我们对长期以来形成的经验主义主观演绎思维方式进行认真改造,牢固形成客观理性的实证思维方式。
作为现代科学认识形式的大数据,标志着自然科学已经走进了理性认识即理论认识的领域,这本身意味着在这个问题上,我们必须克服方法论上的经验主义,而代之以客观理性的实证思维方式。对这一点,恩格斯是有先见之明的。他说过:“经验自然科学积累了如此庞大数量的实证的知识材料,因而在每一个研究领域中系统地和依据其内在联系来整理这些材料,简直成了不可推卸的工作。于是,自然科学便走上理论的领域,而在这里经验的方法不中用了,在这里只有理论思维才管用。”
如果我们认真思考一下就可以明白,对作为现代科技发展高级阶段的大数据的研究和运用,仍然靠以经验主义为基础的那种演绎思维方式来进行,不走进理性的思辨思维即理论领域中去,显然是不行了。这就是说,在面对着大数据这个现代高科技形式,思维方式的根本改造,已经是不能回避的事情了。当然,在这里,我们所面对的大数据,毕竟是处理信息数据这样的客观问题,所以,不能搬用纯粹的理论思维,而必须运用以理性为基础的实证思维方式。这里所说的理性实证思维,是指以理论形态的信息数据这样的客观根据,来证明结论的真理性。认识论的经验教训告诉我们,这样的思维方式,能够在更高的理论层次上达到追求真理的目的,从而避免经验主义思维方式的弊端。
大数据时代塑造开放性思维
大数据这样特殊的高新科技发展形式,它的正常运行和充分作用发挥,另一个重要条件,是要求我们克服各种各样实际上的封闭性思维方式,树立起真实的开放性思维方式。
很显然,大数据时代思维方式的这种改造,是由大数据本身的本质特征决定的。我们可以看到,无论是一个地区、一个国家,还是在世界范围,大数据的形成和运行,是以一种真正的开放形态存在着的。我们甚至可以这样说,不管是在什么样的范围里,没有真正开放的社会环境,就不可能有大数据这样高科技形式的真正存在,这样的现代高科技也不可能发挥它的特殊作用。
我们这里所说的大数据的开放性,是指它本身的无限发展特点。我们可以想象,就任何一个数据集合本身而言,无论是在时间上还是在空间上,不存在一种量的框框,因为它总是处在一种不断的生生息息的发展过程中。这就决定了大数据的存在和运行是没有边界局限的,也就是说,对大数据来说,不存在地区界限、国家界限;这个事实本身也在告诉我们,任何一种大数据、每一种数据本身是开放性的存在,各种数据之间也必然是互相开放着的,否则,它们就不成其为大数据了。实践证明,大数据这种彻底的开放性本质,对思维方式的改造是具有革命意义的。
大数据的这种特殊本质,要求我们必须以完全开放的心态对待它的运行和发展,从而形成与大数据本身相一致的广阔思想视野,这样才能把大数据真正视为各个地区、各个民族、各个国家的共同财富,互通有无、共有共享。这恰恰是真正的开放性思维方式的本质要求。
大数据时代所要求的开放性思维方式改造,对于我们目前的社会科学研究,特别是马克思主义研究,是非常重要的,而且也是社会科学深入发展的一个契机。因为,我们在这方面的许多研究工作,实际上还是在封闭的状态中进行的,特别是在世界范围内,更是如此。事实证明,这样的研究方式,无异于把自己禁锢在某种理论框架中走投无路,或者是陷入某种思想深坑不能自拔。出路何在?在广阔的开放视野中,放眼世界,走人类文明发展的共同道路。
大数据时代呼唤多元性思维
大数据科技形式的正常运行、其作用的充分发挥,还有一个重要条件,这就是要求我们把一元性思维方式改造为充满活力的多元性思维方式。事实证明,由大数据催生的这种思维方式改造,其意义远远超出了大数据的运用范围,它的深刻影响将在各个方面显示出来。
大数据为什么会催生思维方式的这种根本性的改造呢?这里涉及对大数据之“大”的科学理解问题。一般来说,数据之“大”,与数据之“多”是具有相同意思的。当然,这里说的“多”,并不仅仅是个实体量的概念,而是数据——信息之质与量统一的表现形式。这就是说,大数据不仅是一种极为巨大数量的信息群,而且同时也是各种各样不同性质数据形成的信息集。这样,就必然形成各种各样不同性质数据的独立并存,这就是我们称之为大数据的多元性存在之本来意义。很显然,大数据存在和运行多元性的这个客观事实,要求我们对其所应该形成的正确思想反映,在逻辑上只能是多元性思维方式,而绝不应该是单一性思维方式。
为了适应大数据时代的要求,甚至可以说,为了迎接高新科技时代的到来,我们必须对一元性思维方式进行根本改造,代之以多元性思维方式。从本质上看,所谓“大数据”,是一个实际上的多元世界,丰富多彩的世界,异彩纷呈的世界,个性鲜明的世界,因而是一个充满了活力的世界。这个科学技术发展的事实,必然要求我们改变陈旧的思维方式,破除一元性思维方式,确立起一种能够正确反映这个新科技时代的世界本来面目的那种多元性思维方式。
改革开放以来的鲜活经验告诉我们,面对着充满活力的现代社会,特别是高新科技带来的勃勃生机,必须下决心改造各种陈旧的思维方式,更快地确立多元性思维方式。
在现代科技发展中,通过思维方式的改造,特别是确立开放性、多元性思维方式,其意义不仅有益于科技事业发展本身,而且还会推动社会的发展。因为这种开放性、多元性思维方式的形成,意味着整个社会正在朝着自由人的联合体这一历史性方向前进。虽然这只是一个起步,但是,却具有极为深远的历史意义。
㈤ 如何理解大数据时代的思维转变
大数据是一种状态。在这种状态中,我们面对的数据是海量的。因为现代科技的发展,我们有了对海量数据存储和处理的技术,而且这些技术还会不断发展完善。更重要的是我们对各种数据的处理方法和态度都发生了转变,我们开始积极地发掘并利用各种数据。在这个时代,数据已经成为一种非常重要的资源。
㈥ 大数据定义、思维方式及架构模式
大数据定义、思维方式及架构模式
一、大数据何以为大
数据现在是个热点词汇,关于有了大数据,如何发挥大数据的价值,议论纷纷,而笔者以为,似乎这有点搞错了原因与结果,就象关联关系,有A的时候,B与之关联,而有B的时候,A却未必关联,笔者还是从通常的4个V来描述一下我所认为的大数据思维。
1、大数据的量,数据量足够大,达到了统计性意义,才有价值。笔者看过的一个典型的案例就是,例如传统的,收集几千条数据,很难发现血缘关系对遗传病的影响,而一旦达到2万条以上,那么发现这种影响就会非常明显。那么对于我们在收集问题时,是为了发现隐藏的知识去收集数据,还是不管有没有价值地收集,这还是值得商榷的。其实收集数据,对于数据本身,还是可以划分出一些标准,确立出层级,结合需求、目标来收集,当然有人会说,这样的话,将会导致巨大的偏差,例如说丧失了数据的完整性,有一定的主观偏向,但是笔者以为,这样至少可以让收集到的数据的价值相对较高。
2、大数据的种类,也可以说成数据的维度,对于一个对象,采取标签化的方式,进行标记,针对需求进行种类的扩充,和数据的量一样,笔者认为同样是建议根据需求来确立,但是对于标签,有一个通常采取的策略,那就是推荐标签和自定义标签的问题,分类法其实是人类文明的一大创举,采取推荐标签的方式,可以大幅度降低标签的总量,而减少后期的规约工作,数据收集时扩充量、扩充维度,但是在数据进入应用状态时,我们是希望处理的是小数据、少维度,而通过这种推荐、可选择的方式,可以在标准化基础上的自定义,而不是毫无规则的扩展,甚至用户的自定义标签给予一定的限制,这样可以使维度的价值更为显现。
3、关于时效性,现在进入了读秒时代,那么在很短的时间进行问题分析、关联推荐、决策等等,需要的数据量和数据种类相比以前,往往更多,换个说法,因为现在时效性要求高了,所以处理数据的方式变了,以前可能多人处理,多次处理,现在必须变得单人处理、单次处理,那么相应的信息系统、工作方式、甚至企业的组织模式,管理绩效都需要改变,例如笔者曾经工作的企业,上了ERP系统,设计师意见很大,说一个典型案例,以往发一张变更单,发出去工作结束,而上了ERP系统以后,就必须为这张变更单设定物料代码,设置需要查询物料的存储,而这些是以前设计师不管的,又没有为设计师为这些增加的工作支付奖励,甚至因为物料的缺少而导致变更单不能发出,以至于设计师工作没有完成,导致被处罚。但是我们从把工作一次就做完,提升企业的工作效率角度,这样的设计变更与物料集成的方式显然是必须的。那么作为一个工作人员,如何让自己的工作更全面,更完整,避免王府,让整个企业工作更具有时间的竞争力,提高数据的数量、种类、处理能力是必须的。
4、关于大数据价值,一种说法是大数据有大价值,还有一种是相对于以往的结构化数据、少量数据,现在是大数据了,所以大数据的单位价值下降。笔者以为这两种说法都正确,这是一个从总体价值来看,一个从单元数据价值来看的问题。而笔者提出一个新的关于大数据价值的观点,那就是真正发挥大数据的价值的另外一个思路。这个思路就是针对企业的问题,首先要说什么是问题,笔者说的问题不是一般意义上的问题,因为一说问题,大家都以为不好、错误等等,而笔者的问题的定义是指状态与其期望状态的差异,包括三种模式,
1)通常意义的问题,例如失火了,必须立即扑救,其实这是三种模式中最少的一种;
2)希望保持状态,
3)期望的状态,这是比原来的状态高一个层级的。
我们针对问题,提出一系列解决方案,这些解决方案往往有多种,例如员工的培训,例如设备的改进,例如组织的方式的变化,当然解决方案包括信息化手段、大数据手段,我们一样需要权衡大数据的方法是不是一种相对较优的方法,如果是,那么用这种手段去解决,那么也就是有价值了。例如笔者知道的一个案例,一个企业某产品部件偶尔会出现问题,企业经历数次后决定针对设备上了一套工控系统,记录材料的温度,结果又一次出现问题时,进行分析认为,如果工人正常上班操作,不应该有这样的数据记录,而经过与值班工人的质询,值班工人承认其上晚班时睡觉,没有及时处理。再往后,同样的问题再没有再次发生。
总结起来,笔者以为大数据思维的核心还是要落实到价值上,面向问题,收集足够量的数据,足够维度的数据,达到具有统计学意义,也可以满足企业生产、客户需求、甚至竞争的时效要求,而不是一味为了大数据而大数据,这样才是一种务实、有效的正确思维方式,是一线大数据的有效的项目推进方式,在这样的思维模式基础上,采取滚雪球方式,把大数据逐步展开,才真正赢来大数据百花齐放的春天。
二、大数据思维方式
大数据研究专家舍恩伯格指出,大数据时代,人们对待数据的思维方式会发生如下三个变化:
1)人们处理的数据从样本数据变成全部数据;
2)由于是全样本数据,人们不得不接受数据的混杂性,而放弃对精确性的追求;
3)人类通过对大数据的处理,放弃对因果关系的渴求,转而关注相关关系。
事实上,大数据时代带给人们的思维方式的深刻转变远不止上述三个方面。笔者认为,大数据思维最关键的转变在于从自然思维转向智能思维,使得大数据像具有生命力一样,获得类似于“人脑”的智能,甚至智慧。
1、总体思维
社会科学研究社会现象的总体特征,以往采样一直是主要数据获取手段,这是人类在无法获得总体数据信息条件下的无奈选择。在大数据时代,人们可以获得与分析更多的数据,甚至是与之相关的所有数据,而不再依赖于采样,从而可以带来更全面的认识,可以更清楚地发现样本无法揭示的细节信息。
正如舍恩伯格总结道:“我们总是习惯把统计抽样看作文明得以建立的牢固基石,就如同几何学定理和万有引力定律一样。但是,统计抽样其实只是为了在技术受限的特定时期,解决当时存在的一些特定问题而产生的,其历史不足一百年。如今,技术环境已经有了很大的改善。在大数据时代进行抽样分析就像是在汽车时代骑马一样。
在某些特定的情况下,我们依然可以使用样本分析法,但这不再是我们分析数据的主要方式。”也就是说,在大数据时代,随着数据收集、存储、分析技术的突破性发展,我们可以更加方便、快捷、动态地获得研究对象有关的所有数据,而不再因诸多限制不得不采用样本研究方法,相应地,思维方式也应该从样本思维转向总体思维,从而能够更加全面、立体、系统地认识总体状况。
2、容错思维
在小数据时代,由于收集的样本信息量比较少,所以必须确保记录下来的数据尽量结构化、精确化,否则,分析得出的结论在推及总体上就会“南辕北辙”,因此,就必须十分注重精确思维。然而,在大数据时代,得益于大数据技术的突破,大量的非结构化、异构化的数据能够得到储存和分析,这一方面提升了我们从数据中获取知识和洞见的能力,另一方面也对传统的精确思维造成了挑战。
舍恩伯格指出,“执迷于精确性是信息缺乏时代和模拟时代的产物。只有5%的数据是结构化且能适用于传统数据库的。如果不接受混乱,剩下95%的非结构化数据都无法利用,只有接受不精确性,我们才能打开一扇从未涉足的世界的窗户”。也就是说,在大数据时代,思维方式要从精确思维转向容错思维,当拥有海量即时数据时,绝对的精准不再是追求的主要目标,适当忽略微观层面上的精确度,容许一定程度的错误与混杂,反而可以在宏观层面拥有更好的知识和洞察力。
3、相关思维
在小数据世界中,人们往往执着于现象背后的因果关系,试图通过有限样本数据来剖析其中的内在机理。小数据的另一个缺陷就是有限的样本数据无法反映出事物之间的普遍性的相关关系。而在大数据时代,人们可以通过大数据技术挖掘出事物之间隐蔽的相关关系,获得更多的认知与洞见,运用这些认知与洞见就可以帮助我们捕捉现在和预测未来,而建立在相关关系分析基础上的预测正是大数据的核心议题。
通过关注线性的相关关系,以及复杂的非线性相关关系,可以帮助人们看到很多以前不曾注意的联系,还可以掌握以前无法理解的复杂技术和社会动态,相关关系甚至可以超越因果关系,成为我们了解这个世界的更好视角。舍恩伯格指出,大数据的出现让人们放弃了对因果关系的渴求,转而关注相关关系,人们只需知道“是什么”,而不用知道“为什么”。我们不必非得知道事物或现象背后的复杂深层原因,而只需要通过大数据分析获知“是什么”就意义非凡,这会给我们提供非常新颖且有价值的观点、信息和知识。也就是说,在大数据时代,思维方式要从因果思维转向相关思维,努力颠覆千百年来人类形成的传统思维模式和固有偏见,才能更好地分享大数据带来的深刻洞见。
4、智能思维
不断提高机器的自动化、智能化水平始终是人类社会长期不懈努力的方向。计算机的出现极大地推动了自动控制、人工智能和机器学习等新技术的发展,“机器人”研发也取得了突飞猛进的成果并开始一定应用。应该说,自进入到信息社会以来,人类社会的自动化、智能化水平已得到明显提升,但始终面临瓶颈而无法取得突破性进展,机器的思维方式仍属于线性、简单、物理的自然思维,智能水平仍不尽如人意。
但是,大数据时代的到来,可以为提升机器智能带来契机,因为大数据将有效推进机器思维方式由自然思维转向智能思维,这才是大数据思维转变的关键所在、核心内容。众所周知,人脑之所以具有智能、智慧,就在于它能够对周遭的数据信息进行全面收集、逻辑判断和归纳总结,获得有关事物或现象的认识与见解。同样,在大数据时代,随着物联网、云计算、社会计算、可视技术等的突破发展,大数据系统也能够自动地搜索所有相关的数据信息,并进而类似“人脑”一样主动、立体、逻辑地分析数据、做出判断、提供洞见,那么,无疑也就具有了类似人类的智能思维能力和预测未来的能力。
“智能、智慧”是大数据时代的显著特征,大数据时代的思维方式也要求从自然思维转向智能思维,不断提升机器或系统的社会计算能力和智能化水平,从而获得具有洞察力和新价值的东西,甚至类似于人类的“智慧”。
舍恩伯格指出,“大数据开启了一个重大的时代转型。就像望远镜让我们感受宇宙,显微镜让我们能够观测到微生物一样,大数据正在改变我们的生活以及理解世界的方式,成为新发明和新服务的源泉,而更多的改变正蓄势待发”。
大数据时代将带来深刻的思维转变,大数据不仅将改变每个人的日常生活和工作方式,改变商业组织和社会组织的运行方式,而且将从根本上奠定国家和社会治理的基础数据,彻底改变长期以来国家与社会诸多领域存在的“不可治理”状况,使得国家和社会治理更加透明、有效和智慧。
㈦ 来点逆反思维 什么不是大数据
来点逆反思维:什么不是大数据
如果大数据是一种潮流,那这个3年前火起来的概念应该早过时了。但大数据不仅是一种潮流。事实证明,各种细分行业的人们,仍热衷于谈论它,而且在长期的将来,还得持续挖掘。
谈论大数据可以引申出一切,谈论一切最终又会归于大数据。像马云说的,我们所处的时代,已经由IT转向了DT(Data Technology)时代。大数据是网络世界的土壤和空气,转而进入我们的血液和思维。
于深圳软件产业基地创新谷举办的环球旅讯第四期开放日TDAY,主题即“旅游业玩转大数据+”,来看活动上讨论了些什么。
大国企:用大数据打破集团下的业务艰墙
夏轶介绍,锦江电商要做大数据,除了有跟上对近年来风潮的原因,更本质的原因,还在于作为大国企的锦江电商,各种业务及其用户之间存在长期的隔离,正如他PPT里展示的那样,本该打通的,却被坚实的无形之墙给阻得死死的。以及集团下各品牌互为孤岛,没有形成理论上应该存在的多品牌互助优势。于是他们需要借由开发大数据功能来进行联通和交叉,以提升效率。
夏轶介绍,事实上大数据的应用,让他们个性化精准营销的效率,相比以前的“手动”,提高了80%之多。
对于使用大数据的心得,夏轶说,有一些事实上的关联,是人看不出的,因此需要用数据来印证。而数据与外部数据的合作,能产生价值,外部数据对于使用者越是未知,这种合作产生的价值可能就越大,“大数据最大的价值是看不到价值”,夏轶说。
在发展大数据过程中,夏轶也遇到了难题,即他所在的传统企业而且是大型国企,业务数据结构比较凌乱,数据采集和清洗存在困难。
在分享的后半部分,夏轶拿出了一些有趣的图表,比如当酒店房价高于300时,双鱼座表现出的消费能力最强(原因或许是最容易受到广告的影响),巨蟹座最分裂,而摩羯座最“勤俭持家”,济南、天津、郑州的人,去北京的人数相当高……
那么,这就是传说中的大数据吗?这些洞察结论,应该怎么利用?埋个伏笔,下面的环节将会讨论到。
分析能力>分析工具
接下来上台的E-Bizcamp 创始人兼CEO 顾青。据顾青透露,准备环球旅讯TDAY演讲的PPT,花费了他50个小时!内容非常丰富,以下是为各位读者精选的要点:
1、大数据是不是骗人的?
大数据到底有没有用?顾青以一只小猪为例:按照大数据的思维,小猪把自己所有与自己的有关的数据都统计处理了,由此算出自己还有很长的寿命。结果第二天小猪却被宰了,被宰之前,小猪骂道:“尼玛,大数据都是骗人的”。问题出在哪里?
大数据失灵了吗?在顾青看来,可能恰恰是因为数据不够大,小猪漏算了它父母寿命这个维度。
2、Google为什么强?
在互联网早期,曾经有150个左右的收费搜索引擎,如今,主流的仅剩下Google、Bing、网络数家,其中Google之强大又是毋庸置疑的。那么,Google凭什么强?
顾青介绍,在登录状态下,Google会收集用户在其他网站上的访问行为数据,从而为用户呈现出个性化的搜索结果。“在2010年之前,搜索引擎之间拼的是算法和技术,而到一定阶段后,算法都差不多了,而Google拥有的用户数据,这成为它在竞争中胜出的关键”。
由此,顾青总结,对于发展大数据而言,收集用户行为数据是至关重要的。
3、移动端更应该注重分析
如果说传统网页几乎只有一个来源即PC浏览器的话,那在移动时代,手机、Pad甚至是智能手表等多设备,以及App、H5网页、微信等多渠道……数据来源种类急剧增多,这时候,商家往往不能清晰分析,从未不能做出应用优化。
4、大数据事业,90%资金应投入给人员培训
在顾青看来,对于大数据,分析能力比分析工具更为重要。因此他提出了投资大数据事业的10/90原则:10%投资于工具,90%投资于人。顾青认为,应该培育有分析思考能力的团队,鼓励小团队管理自己的分析工作,最终更加关注分析和结果,而不是报告。
云PMS+点评大数据,住中+住后,让预测更精准
作为云PMS厂商的绿云与酒店大数据公司众荟进行了主题为“大数据+云PMS”的演讲。众荟拥有用户在酒店留下的点评信息,由此可以获得用户的喜好,比如一位用户点评过游泳池、枕头,就说明该用户对相应方面是有需求或者敏感的。
再看绿云这边,他们可以从住中获得客户的喜好信息,比如喜欢高楼层房间、需要SPA等。两者相结合,就可以更加深度全面的获得用户画像,从而做出更精准的预测和推荐。
最后的环节是座谈,亚朵酒店副总裁朱林海、IDeaS大中华区咨询总经理王越、TalkingData合伙人&高级副总裁蒋奇以及南方航空电子商务部的一位高层人士,共同坐而论道大数据。
南航:航空公司与乘客有50多个接触点可开发
南航电商的高层人士首先发言:航空公司目前具有常旅客系统、积分系统、收益管理系统等几个经典的数据系统,在此基础上,还希望通过捕捉乘客在航空公司官网、呼叫中心留下的痕迹,包括投诉,来存储更多、更复杂、更实时的数据。
该嘉宾还介绍,航空公司的整个服务流程理论上与乘客有50多个接触点,如果能通过这些信息点,采集更多维度的信息,则能让服务更细化和周到。
亚朵:《头脑特工队》就是大数据的故事
亚朵酒店讲技术问题也带着人文范。亚朵副总裁朱林海信手拈来最近上映的电影《头脑特工队》,“这就是个大数据的故事,人脑里面5个小人对应5种情绪,有点像我们说的喜怒哀乐”。
亚朵酒店的一大特色是大堂都带有书吧,住客可以免费借阅,在这件事情上,他们累计了一定的数据。“我们发现有的店记录了,有的店没做记录。结束最多的,是西安的高新店,我们分析了一下,原来这家店的书吧很漂亮。陕西人爱读书,上海人、广东人这方面不行……”,不过朱林海也很清醒地说:“当然,我这可能不叫大数据。”
最后做通信出身的朱林海谈了他对目前大数据发展的三点观感:1、数据还不够大,2、维度太少,想降维都没得降,3、太功利,几乎所有大数据都是围绕着交易的。
TalkingData:光收集罗列数据不叫大数据
TalkingData合伙人&高级副总裁蒋奇从专业大数据技术服务公司的角度指出,光收集罗列数据是没有意义的,到最后归纳出来有用的是“标签”,而专门的大数据公司,则掌握着各行各业的众多标签。
蒋奇指出,数据的收集不等于数据分析,把数据都罗列出来不等于大数据。
IDeaS:大数据要指向具体问题
IDeaS大中华区咨询总经理王越与蒋奇的思路很接近,王越说:“如果大数据预测到酒店因为某个原因可以涨价,那到底应该涨多少?双床房涨多少?大床房涨多少?为什么要涨100,而不是98或者102?大数据应该解决具体的问题,而不是说泛泛的所谓大数据。”
王越还表示,企业运用大数据,应该要指向具体的问题,是想要用大数据来解决客服问题,还是提升收益管理,这个有必要搞清楚。
这时候主持人环球旅讯CEO李超提问,有一些很大的企业,比如海航,有飞机有酒店,按理来说,最应该进行数据的打通,比如搭了海航的飞机,有延误,去到海航的酒店,就可以给客人一个房间升级。但是为什么没有打通?
对此,王越的回答是,这不是技术,而是工作机制和流程的问题。
以上是小编为大家分享的关于来点逆反思维 什么不是大数据的相关内容,更多信息可以关注环球青藤分享更多干货
㈧ 什么叫大数据思维大数据思维解释
大数据思维是指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合,是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。
大数据与“小数据”的根本区别在于大数据采用全样思维方式,小数据强调抽样。抽样是数据采集、数据存储、数据分析、数据呈现技术达不到实际要求,或成本远超过预期的情况下的权宜之计。随着技术的发展,在过去不可能获取全样数据,不可能存储和分析全样数据的情况都将一去不复返。大数据年代是全样的年代,抽样的场景将有利于小,最终消失在历史长河中。
㈨ 大数据主义者如何看待理论,因果与规律
大数据的兴抄起,给传统的科学哲学带来许多新挑战,特别是对诸如科学理论的作用、因果关系、科学规律等科学哲学的核心问题提出了有别于传统的新观点。齐磊磊博士概括总结了大数据相关学者的论述,在《哲学动态》杂志发表了题为《大数据经验主义——如何看待理论、因果与规律》的重要文章[1]。她在文中提出了大数据经验主义的概念,并系统提炼了大数据经验主义的科学哲学观点,这是大数据哲学的重要提炼和概括。她认为,大数据经验主义是一种新经验主义(以下简称为大数据主义),并将其观点概括为三点:1.在科学理论问题上,大数据主义认为“理论已经终结”,否定科学理论对科学发现的作用;2.在关系到科学存亡的因果性问题上,大数据主义否定因果性的存在,提出由相关性取代因果性;3.在世界的本质问题上,大数据主义否定世界的规律性,认为世界的本质是混乱的。树立起大数据主义的靶子之后,齐磊磊进行了批判,并明确提出反对大数据主义对大数据的神化。
㈩ 辩论 大数据时代利弊 正方:利大于弊 反方:弊大于利 我是反方
你先要明白什么是大数据,去网络下
我可以向对方提哪些问题?
1 隐私会被泄露
2 大数据不能预测一切,如果太依靠数据预测,人类会丢失一些创造性思维
3 大数据本身就是机器学习,看看各种科幻片,人类太依靠机器人,会有什么样的后果
人的创造性思维,是任何机器无法模拟的