A. 大数据中存在哪些误区
1.大数据是新时代的新玩意
事实上,数据分析一点也不新。早从数百年前的启蒙时代,学者们便已开始遵循科学方法,一步步拆解事物形成背后的原因。科学家先观察,取得并分析数据,归纳出假说,然后再经过不断实证,逐渐形成定律。因此我们说的大数据,充其量只是科学方法的应用。
2.100TB以上才叫大数据
数据的大小,事实上没有明确的界线。更重要的,数据的大小,不一定有意义。数据大,也不代表一定能做出准确的预测─假设你拥有地球70亿人口的姓名、性别、生日、身高、体重、肤色、视力,以及他们的上网行为等种种数据,如果题目是要预测他们明年的收入分布,这个庞大的资料库,恐怕还是无法帮上你什么。所以数据在精不在多,重点是要达成的任务,不是储存的数量。
3.数据非常客观
采集数据的软硬件,是人为设计的,因此不可能做到绝对的客观。手机停留在某个画面,就代表你在欣赏这个内容吗?很难说,或许你只是在跟旁边的朋友聊天。对某个发文点赞,就代表你真心喜欢这则资讯吗?也很难说,说不定只是喜欢发文的人,或是手滑不小心按到。
4.数据可以告诉你不知道的内幕
就像字面显现的,数据只能告诉你不知道的数据。但它究竟代表什么样的内幕,必须要靠归纳者自行去解读。举例来说,分析你的App使用者资料后,发现21-30岁女性族群占比最大,这可能代表着你的App对这种人最有吸引力,但也可能代表当初推广团队在发广告时,比较针对这样的族群。究竟事实是什么?往往需要更进一步的综合比较、实验分析,才能逼近。
5.大数据是资讯部门的问题
大数据的收集与储存,的确可以归类为资讯部门的业务。但定义该收集什么,如何收集,收集后该如何应用,绝对是业务主导部门该负责的。要求IT部门把大数据做好,就好像要求财务部门提升公司获利一样,是本末倒置的。
关于大数据中存在哪些误区,青藤小编就和您分享到这里了。如果您对大数据工程有浓厚的兴趣,希望这篇文章可以为您提供帮助。如果您还想了解更多关于数据分析师、大数据工程师的技巧及素材等内容,可以点击本站的其他文章进行学习。
B. 揭露大数据五大误区
揭露大数据五大误区
在如此多关于大数据的炒作下,IT管理者很难知道该如何挖掘大数据的潜力。Gartner指出关于大数据的五大误区,以帮助IT管理者制定他们的信息基础设施战略。
Gartner研究总监Alexander Linden表示:“大数据提供了巨大的机会,但也带来了更大的挑战。海量的数据并没有解决数据固有的问题。IT管理者需要破除各种炒作,根据已知的事实和业务驱动的结果指导行动。”
误区1:在采用大数据方面其他人都比我超前
人们对于大数据技术和服务的兴趣达到了前所未有的高度,有73%的受访企业已经投资或者计划投资大数据。但是大多数企业机构仍然在采用大数据的初期阶段,只有13%的受访者已经部署了大数据解决方案(见图1)。
图1、2013年和2014年大数据采用的阶段
注释:Gartner向每位受访者提问,“以下哪5个阶段可以最好地描述你企业机构采用大数据的阶段?”
2014年n = 302,2013年n = 720。来源:Gartner(2014年9月)
企业结构面临最大的挑战是确定如何从大数据中获取价值,以及确定应该从哪里开始。许多企业机构卡在试点阶段,因为他们没有将技术与业务流程或者具体的使用实例联系起来。
误区2:我们有这么多的数据,我们并不需要担心一个小小的数据缺陷
IT管理者认为,目前企业管理如此多的数据使得单个的数据质量问题变得微不足道,因为“大数据法则”。这个观点认为,单个数据质量缺陷并不影响整个数据分析的结果,因为每个缺陷只是企业机构内海量数据非常小的一部分。
Gartner副总裁Ted Friedman认为:“事实上,尽管单个缺陷对于整个数据集的影响要比数据量少的时候小一些,但是因为数据更多了所有缺陷也就更多了。因此,糟糕的数据质量对于整个数据集的影响还是一样的。除此之外企业机构在大数据背景下使用的大多数数据都是来自于外部的,或者是未知结构和未知来源的。这意味着出现数据质量问题的可能性要比以前更高,因此数据质量实际上在大数据背景下变得更为重要了。”
误区3:大数据继续将消除对大数据整合的需求
一般观点认为,大数据技术——尤其是通过在用模式方法处理信息的潜力——将使得企业机构要使用多种数据模型来读取相同的数据源。很多人相信这种灵活性将让终端用户确定如何按需地将各种数据集进行转译。他们认为,这也将提供满足单个用户需求的数据访问。
在现实中,大多数信息用户重度依赖于“在写模式”,在这种场景下数据被描述、内容被预先描述,因此关于数据完整性以及与场景的相关性已经达成了统一。
误区4:为高级分析使用数据仓库是没有意义的
很多信息管理的领导者认为,构建一个数据仓库是消耗时间且没有意义的,因为高级分析使用新型的数据而不仅仅是数据仓库。
现实是,很多高级分析项目在分析过程中使用的正是数据仓库。在其他一些情况下,信息管理人必须提炼作为大数据一部分的新数据类型,使其适合于分析。他们需要确定哪些数据是相关的,如何聚合这些数据,以及数据质量的等级,而且这种数据提炼可能是发生在很多地方的,不仅仅是数据库。
误区5:数据湖将取代数据仓库
很多厂商将数据湖定义为用于分析各种来源的原始格式数据的企业数据管理平台。
现实是,厂商将数据湖定位为数据仓库的替代品或者作为客户分析技术设施关键要素是容易引发误导的。数据湖的基础技术缺乏已有数据仓库技术功能特性的成熟型和广度。Gartner研究总监Nick Heudecker表示:“数据仓库已经具有支持整个组织上下各种用户的能力。信息管理者没必要等着数据湖迎头赶上。”
C. 大数据误区有哪些
1、大数据误区——大数据≠拥有数据
很多人认为拥有数据,尤其是拥有大量数据,就是大数据。这绝对不是真的。大量的数据并不是大数据。但是,保险公司可以利用气象大数据预测自然灾害,调整自然灾害相关的保险费率,从而发展其他商业价值,形成大数据的商业环境。因此,利用大数据,甚至关联、交流,都能产生真正的价值,形成DT时代独特的大数据业务。
2、大数据误区——大数据≠报告平台
有很多公司建立了自己的报告中心,或者大屏幕演示中心,然后马上宣布他们已经实现了大数据,但这还不够。虽然报告也是大数据的一种形式,但真正的大数据业务并不是生成报告供人们指导,而是隐藏在大数据表象下的一套报告系统。在大数据的闭环系统中,一切都是数据的生产者和用户。通过自动智能闭环系统、自动学习和智能调节,提高了整体生产效率。
3、大数据误区——大数据≠计算平台
我看过一篇报道,是关于一家金融机构建立了自己的大数据系统。稍后进一步观察会发现,它已经设置了一个拥有数百台机器的Hadoop集群。大数据计算平台作为大数据应用的技术基础,是大数据闭环中非常重要和不可缺少的一部分。但是,不能说有了计算平台就有了大数据。例如,如果我买了一个锅,我不能说我有一个盘子。从锅到菜,我还需要原材料(数据),工具(加工工具)和厨师(数据处理)来完成最后的制作。
4、大数据误区——大数据≠精准营销
我见过很多创业公司在做大数据。如果你仔细观察,你会发现他们所做的是一个基于大数据、广告投资等的推荐引擎。这是大数据吗?他们所做的就是大数据的应用,可以说是大数据的一种。只是大数据的整个生态系统不能这样表达。就像大象的耳朵是大象的一部分一样,它们并不代表大象。
有哪些大数据误区?想做好大数据工程师就要注意这些,当一个新的数据洞察或者大数据应用出现的时候,很多人认为拥有数据,尤其是拥有大量数据,就是大数据。这绝对不是真的,你能处理好吗?如果您还担心自己入门不顺利,可以点击本站其他文章进行学习。
D. 大数据有哪些误区
误区1、大数据学习技术驱动论:大数据的核心目标是数据驱动的智能化,要内解决具体的问题,学习之容前要明确问题,理解问题,所谓问题导向、目标导向,这个明确之后再研究和选择合适的技术加以应用,这样才有针对性。大数据学习应该是业务驱动。
误区2、大数据学习重复造轮子:IT前沿领域的开源化已成不可逆转的趋势,Android开源让智能手机平民化,让我们跨入了移动互联网时代,智能硬件开源将带领跨入物联网时代,以Hadoop和Spark为代表的大数据开源生态加速了去IOE(IBM、ORACLE、EMC)进程,倒逼传统IT巨头拥抱开源,谷歌和OpenAI联盟的深度学习开源(以Tensorflow,Torch,Caffe等为代表)正在加速人工智能技术的发展。所以大数据学习要善用开源。
误区3、大数据学习求大求全:大数据技术庞大复杂,我们的精力很有限,短时间内很难掌握多个领域的大数据理论和技术,学习过程中应要把握好碎片化和系统性的关系。大数据学习要以点带面。
E. 大数据治理存在哪些误区
误区一:客户需求不明确
客户既然请厂商来帮助自己做数据治理,必定是看到了自己的数据存在种种问题。但是做什么,怎么做,做多大的范围,先做什么后做什么,达到什么样的目标,业务部门、技术部门、厂商之间如何配合做······很多客户其实并没有想清楚自已真正想解决的问题。数据治理,难在找到一个切入点。
误区二:数据治理是技术部门的事
数据问题产生的原因,往往是业务>技术,如:数据来源渠道多,责任不明确,导致同一份数据在不同的信息系统有不同的表述;业务需求不清晰,数据填报不规范或缺失,等等。很多表面上的技术问题,如ETL过程中某代号变更导致数据加工出错,影响报表中的数据正确性等,在本质上其实还是业务管理的不规范。
误区三:大而全的数据治理
出于投资回报的考虑,客户往往倾向于做一个覆盖全业务和技术域的、大而全的数据治理项目。从数据的产生,到加工、应用、销毁,数据的整个生命周期他们希望都能管到。从业务系统,到数据中心,到数据应用,里面的每个数据他们希望都能被纳入到数据治理的范围中来。
关于大数据治理存在哪些误区,青藤小编就和您分享到这里了。如果你对大数据工程有浓厚的兴趣,希望这篇文章能够对你有所帮助。如果您还想了解更多数据分析师、大数据工程师的技巧及素材等内容,可以点击本站的其他文章进行学习。