『壹』 数据仓库,大数据和云计算有什么区别和联系
您好,上海蓝盟为您解答。
首先简单的看一下云计算与大数据的概念.
1)云计算:云计算本质上是一种计算资源集中分布和充分共享的效用计算模式,其中集中是为了计算资源的集约化管理,分布是便于扩展计算能力.集中分布式是针对云服务提供商的,充分共享是针对用户,在云计算中,虽然对于每个云用户来说都拥有一台超级计算机,但本质上,这些用户是充分共享了云服务商所提供的计算服务.而效用计算更多的是一种商业模式,就是用户按所需服务来付费.
2)在前面的博文中,对大数据有个讨论,简单的说,大数据的特点就是数据量大(虽然很多人都把大数据定义在T级别以上,其实我觉得这是有问题的,大数据的大其实应该是个相对概念,是相对于当前的存储技术和计算能力的),数据应用需求大,计算量大.数据量大是最基本的,需求大其实包含了需求的数量、多样性和实时性.计算量大是因为数据量大和需求量大和算法复杂(检索,推荐,模式识别)所致.大数据的这种特点使得我们很难找到通用的处理模式来解决大数据所面临的问题,我们只能针对不同的需求采用不同的处理方法,这也是大数据处理比较困难的症结所在。无论是传统的数据库还是最近兴起的NoSQL数据库,在大数据存储和处理方面其实都是有非常大的局限性的,所以分布式计算才在大数据处理中大兴其道。Hadoop虽然提供了比较完整的一套处理模式,但相对于大数据所面临的应用需求的多样性而言,能处理的问题域也是十分有限的。
数据库和数据仓库的概念,大家google一下就可以了,接下来,我们看看它们之间的关系:
1)数据库和数据仓库都是数据的一种存储方式,大数据处理更多的是一种需求(问题),而云计算是一种比较综合的需求(问题)解决方案。
2)由于云计算本身的特性,天生就面临大数据处理(存储、计算等)问题,因为云计算的基本架构模式是C/S模式,其中S相对集中,而C是广泛分布。所有用户的数据和绝大部分的计算都是在S端完成的(数据量大,计算量大),加上用户也天然具有多样性(地域,文化,需求,个性化等),因此需求(也包括计算量)就非常大。
3)云计算当然会涉及到数据的存储技术,但数据库技术对于云计算来说要视具体的情况来分析:
A)对于IaaS而言,数据库技术不是必需的,也不是必备的功能;
B)对于PaaS来说,数据库功能应该是必备的功能
C)对于SaaS而言,必然会用到数据库技术(包括传统关系数据库和NoSQL数据库)。
而对于数据仓库技术,并不是云计算所必需的,但由于云数据的信息价值极大,类似一座金矿,我想云服务商是不可能放过从这些金矿中提取金子的.
4)大数据首先所面临的问题就是大数据的存储问题,一般都会综合运用各种存储技术(文件存储,数据库存储),当然,你完全用文件存储或者数据库存储来解决,也是没问题的。与云计算类似,数据仓库技术不是必需的,但对于数据仓库技术对于结构化数据进行淘金还是非常有用的,当然,你不用数据仓库技术也可以,比如Hadoop模式。
在云计算和大数据处理中,最基础的技术其实是分布式计算技术。而对于构建分布式计算而言,多线程,同步,远程调用(RPC,RMI等),进程管理与通信是其基本技术点。分布式计算编程是一种综合性应用编程,不仅需要有基本的技术点,还需要一定的组织管理知识。
就目前来说,云计算和大数据处理其实都没有形成一个统一的标准和定义。希望我的回复对您有所帮助。
『贰』 哪位大哥能解释大数据与数据仓库之间的关系(求告知)
相较而言,大数据数据量和一般数据仓库数据量不在一个量级;大数据的数据类型偏多,任何的信息都能成为数据;
大数据中存在的价值较高,但如果没有准确的分析挖掘,还是白扯
『叁』 大数据的影响
大数据将会对社会发展产生深远的影响,具体表现在以下几个方面:大数据决策成为一种新的决策方式;大数据成为提升国家治理能力的新途径;大数据应用促进信息技术与各行业的深度融合;大数据开发推动新技术和新应用的不断涌现。
有专家指出,大数据将会在未来10年改变几乎每一个行业的业务功能。互联网、银行、保险、交通、材料、能源、服务等行业领域,不断累积的大数据将加速推进这些行业与信息技术的深度融合,开拓行业发展的新方向。比如,大数据可以帮助快递弊宴公司选择运费成本最低的最佳行车路径,协助投资者选择收益最大化的股票投资组合,辅助零售商有效定位目标客户群体,帮助互联网公司实现广告精准投放,还可以让电力公司做好配送电计划确保电网安全等。总之,大数据所触及的每个角落,我们的社会生产和生活都会因之而发生巨大而深刻的变化。
4.大数据开发推动新技术和新应用的不断唯拦涌现
大数据的应用需求,是大数据新技术开发的源泉。在各种应用需求的强烈驱动下,各种突破性的大数据技术将被不断提出并得到广泛应用,数据的能量也将不断得到释放。在不远的将来,原来那些依靠人类自身判断力的领域应用,将逐渐被各种基于大数据的应用所取代。比如,今天的汽车保险公司,只能凭借少量的车主信息,对客户进行简单类别划分,并根据客户的汽车出险次数给予相应的保费优惠方案,客户选择哪家保险公司都没有太大差别。随着车联网的出现,“汽车大数据”将会深刻改变汽车保险业的商业模式,如果某家商业保险公司能够获取客户车辆的相关细节信息,并利用事先构建的数学模型对客户等级进行更加细致的判定,给予更加个性化的“一对一”优惠方案,那么,毫无疑问,这家保险公司将具备明显的市场竞争优势,获得更多客户的青睐。
『肆』 谁能说说数据仓库,数据挖掘,BI三者之间的区别和联系的相关推荐
数据仓库(DW)属于BI的一部分,一般来说DW就是BI这个房子的地基了. 做好DW才好进而分析利用内,让数据容产生价值. DW没做好,整个BI项目很容易垮掉.
BI包括ETL, DW和相应的Reporting System. 因为现在一般的公司动不动说上个BI系统,都是要从DW建模开始做,然后做ETL,最后做对应的Reporting System. 虽然最终领导们只看到了他们想要的报表,但是这一套系统是需要DW和ETL的支持的。
数据挖掘(DM)是一门新兴的技术,在BI 中会常用到数据挖掘的技术。数据挖掘涉及到的是数据库、统计学、机器学习、数据分析、可视化等等。
三者之间紧密联系,但是属于三个不同的概念范畴。
『伍』 数据仓库和大数据一样吗,概念好抽像啊
不一样。
数据仓库,是为企业所有级别的决策制定过程,提供所有类型数据版支持的战权略集合。它是单个数据存储,出于分析性报告和决策支持目的而创建。 为需要业务智能的企业,提供指导业务流程改进、监视时间、成本、质量以及控制。
大数据,是指无法在可承受的时间范围内用常规软件工具进行捕捉、管理和处理的数据集合。大数据不用随机分析法(抽样调查)这样的捷径,而采用所有数据进行分析处理。大数据的5V特点:Volume(大量)、Velocity(高速)、Variety(多样)、Value(价值)Veracity(真实性)。
从我个人的理解来说,数据仓库是个体的数据存储,是分散的;而大数据是一个集合概念,它的目的在于准确的分析和定位。比如,你打开经常用的浏览器会发现网页上很多推荐都是你曾经浏览过的,或者是你比较感兴趣的,这就是大数据的应用。
以上,希望帮到你!