Ⅰ 大数据的内涵是什么
中国发展门户网讯 随着新一代信息技术的迅猛发展和深入应用,数据的数量、规模不断扩大,数据已日益成为土地、资本之后的又一种重要的生产要素,和各个国家和地区争夺的重要资源,谁掌握数据的主动权和主导权,谁就能赢得未来。奥巴马政府将数据定义为“未来的新石油”,认为一个国家拥有数据的规模、活性及解释运用的能力将成为综合国力的重要组成部分,对数据的占有和控制将成为继陆权、海权、空权之外的另一个国家核心权力。此后,一个全新的概念——大数据开始风靡全球。
大数据的概念与内涵
“大数据”的概念早已有之,1980年著名未来学家阿尔文携拦•托夫勒便在《第三次浪潮》一书中,将大数据热情地赞颂为携唤“第三次浪潮的华彩乐章”。但是直到近几年,“大数据”才与“云计算”、“物联网”一道,成为互联网信息技术行业的流行词汇。2008年,在谷歌成立10周年之际, 著名的《自然》杂志出版了一期专刊,专门讨论未来的大数据处理相关的一系列技术问题和挑战,其中就提出了“Big Data”的概念。2011年5 月,在“云计算相遇大数据” 为主题的EMC World 2011 会议中,EMC 也抛出了Big Data概念。所以,很多人认为,2011年是大数据元年。
此后,诸多专家、机构从不同角度提出了对大数据理解。当然,由于大数据辩隐凯本身具有较强的抽象性,目前国际上尚没有一个统一公认的定义。维基网络认为大数据是超过当前现有的数据库系统或数据库管理工具处理能力,处理时间超过客户能容忍时间的大规模复杂数据集。全球排名第一的企业数据集成软件商Informatica认为大数据包括海量数据和复杂数据类型,其规模超过传统数据库系统进行管理和处理的能力。亚马逊网络服务(AWS)、大数据科学家JohnRauser提到一个简单的定义:大数据就是任何超过了一台计算机处理能力的庞大数据量。网络搜索的定义为:"大数据"是一个体量特别大,数据类别特别大的数据集,并且这样的数据集无法用传统数据库工具对其内容进行抓取、管理和处理。互联网周刊的定义为:"大数据"的概念远不止大量的数据(TB)和处理大量数据的技术,或者所谓的"4个V"之类的简单概念,而是涵盖了人们在大规模数据的基础上可以做的事情,而这些事情在小规模数据的基础上是无法实现的。换句话说,大数据让我们以一种前所未有的方式,通过对海量数据进行分析,获得有巨大价值的产品和服务,或深刻的洞见,最终形成变革之力。
综合上述不同的定义,我们认为,大数据至少应包括以下两个方面:一是数量巨大,二是无法使用传统工具处理。因此,大数据不是关于如何定义,最重要的是如何使用。它强调的不仅是数据的规模,更强调从海量数据中快速获得有价值信息和知识的能力。
大数据4V特征
一般认为,大数据主要具有以下四个方面的典型特征:规模性(Volume)、多样性(Varity)、高速性(Velocity)和价值性(Value),即所谓的“4V”。
1.规模性。大数据的特征首先就体现为“数量大”,存储单位从过去的GB到TB,直至PB、EB。随着信息技术的高速发展,数据开始爆发性增长。社交网络(微博、推特、脸书)、移动网络、各种智能终端等,都成为数据的来源。淘宝网近4亿的会员每天产生的商品交易数据约20TB;脸书约10亿的用户每天产生的日志数据超过300TB。迫切需要智能的算法、强大的数据处理平台和新的数据处理技术,来统计、分析、预测和实时处理如此大规模的数据。
2.多样性。广泛的数据来源,决定了大数据形式的多样性。大数据大体可分为三类:一是结构化数据,如财务系统数据、信息管理系统数据、医疗系统数据等,其特点是数据间因果关系强;二是非结构化的数据,如视频、图片、音频等,其特点是数据间没有因果关系;三是半结构化数据,如HTML文档、邮件、网页等,其特点是数据问的因果关系弱。
3.高速性。与以往的档案、广播、报纸等传统数据载体不同,大数据的交换和传播是通过互联网、云计算等方式实现的,远比传统媒介的信息交换和传播速度快捷。大数据与海量数据的重要区别,除了大数据的数据规模更大以外,大数据对处理数据的响应速度有更严格的要求。实时分析而非批量分析,数据输入、处理与丢弃立刻见效,几乎无延迟。数据的增长速度和处理速度是大数据高速性的重要体现。
4.价值性。这也是大数据的核心特征。现实世界所产生的数据中,有价值的数据所占比例很小。相比于传统的小数据,大数据最大的价值在于通过从大量不相关的各种类型的数据中,挖掘出对未来趋势与模式预测分析有价值的数据,并通过机器学习方法、人工智能方法或数据挖掘方法深度分析,发现新规律和新知识,并运用于农业、金融、医疗等各个领域,从而最终达到改善社会治理、提高生产效率、推进科学研究的效果。
大数据六大发展趋势
虽然大数据目前仍处在发展的起步阶段,尚存在着诸多的困难与挑战,但我们相信,随着时间的推移,大数据未来的发展前景非常可观。
1.数据将呈现指数级增长
近年来,随着社交网络、移动互联、电子商务、互联网和云计算的兴起,音频、视频、图像、日志等各类数据正在以指数级增长。据有关资料显示,2011年,全球数据规模为1.8ZB,可以填满575亿个32GB的iPad,这些iPad可以在中国修建两座长城。到2020年,全球数据将达到40ZB,如果把它们全部存入蓝光光盘,这些光盘和424艘尼米兹号航母重量相当。美国互联网数据中心则指出,互联网上的数据每年将增长50%,每两年便将翻一番,目前世界上90%以上的数据是最近几年才产生的。
2.数据将成为最有价值的资源
在大数据时代,数据成为继土地、劳动、资本之后的新要素,构成企业未来发展的核心竞争力。《华尔街日报》在一份题为《大数据,大影响》的报告宣传,数据已经成为一种新的资产类别,就像货币或黄金一样。IBM执行总裁罗睿兰认为指出,“数据将成为一切行业当中决定胜负的根本因素,最终数据将成为人类至关重要的自然资源。”随着大数据应用的不断发展,我们有理由相信大数据将成为机构和企业的重要资产和争夺的焦点谷歌、苹果、亚马逊、阿里巴巴、腾讯等互联网巨头正在运用大数据力量获得商业上更大的成功,并且将会继续通过大数据来提升自己的竞争力。
3.大数据和传统行业智能融合
通过对大数据收集、整理、分析、挖掘, 我们不仅可以发现城市治理难题,掌握经济运行趋势,还能够驱动精确设计和精确生产模式,引领服务业的精确化和增值化,创造互动的创意产业新形态。麦当劳、肯德基以及苹果公司等旗舰专卖店的位置都是建立在数据分析基础之上的精准选址。网络、阿里、腾讯等通过对海量数据的掌握和分析,为用户提供更加专业化和个性化的服务。在智慧城市建设不断深入的情况下,大数据必将在智慧城市中发挥越来越重要的作用。由城市数字化到智慧城市,关键是要实现对数字信息的智慧处理,其核心是引入了大数据处理技术,大数据将成为智慧城市的核心智慧引擎。智慧金融、智慧安防、智慧医疗、智慧教育、智慧交通、智慧城管等,无不是大数据和传统产业融合的重要领域。
4.数据将越来越开放
大数据是人类的共同资源、共同财富,数据开放共享是不可逆转的历史潮流。随着各国政府和企业对开放数据带来的社会效益和商业价值认识的不断提升,全球必将很快掀起一股数据开放的热潮。事实上,大数据的发展需要全世界、全人类的共同协作,变私有大数据为公共大数据,最终实现私有、企业自有、行业自有的全球性大数据整合,才不至形成一个个毫无价值的“数据孤岛”。大数据越关联越有价值,越开放越有价值。尤其是公共事业和互联网企业的数据开放数据将越来越多。目前,美欧等发达国家和地区的政府都在政府和公共事业上的数据做出了表率。中国政府也将一方面带头力促数据公开共享,另一方面,还通过推动建设各类大数据服务交易平台,为数据使用者提供丰富的数据来源和数据的应用。
5.大数据安全将日受重视
大数据在经济社会中应用日益广泛的同时,大数据的安全也必将受到更多的重视。大数据时代,在我们用数据挖掘和数据分析等大数据技术获取有价值信息的同时,“黑客”也可以利用这些大数据技术最大限度地收集更多有用信息,对其感兴趣的目标发起更加“精准的”攻击。近年来,个人隐私、企业商业信息甚至是国家机密泄露事件时有发生。对此,美欧等发达国家纷纷制定完善了保护信息安全、防止隐私泄露等相关法律法规。可以预见,在不久的将来,其他国家也会迅速跟进,以更好地保障本国政府、企业乃至居民的数据安全。
6.大数据人才将备受欢迎
随着大数据的不断发展及其应用的日益广泛,包括大数据分析师、数据管理专家、大数据算法工程师、数据产品经理等在内的具有丰富经验的数据分析人员将成为全社会稀缺的资源和各机构争夺的人才。据著名国际咨询公司Gartner预测,2015年全球大数据人才需求将达到440万人,而人才市场仅能够满足需求的三分之一。麦肯锡公司则预测美国到2018年需要深度数据分析人才44万—49万,缺口为14万—19万人。有鉴于此,美国通过国家科学基金会,鼓励研究性大学设立跨学科的学位项目,为培养下一代数据科学家和工程师做准备,并设立培训基金支持对大学生进行相关技术培训,召集各个学科的研究人员共同探讨大数据如何改变教育和学习等。英国、澳大利亚、法国等国家也类似地对大数据人才的培养做出专项部署。IBM 等企业也开始全面推进与高校在大数据领域的合作,力图培养企业发展需要的既懂业务知识又具分析技能的复合型数据人才。(武锋:国家信息中心)
Ⅱ 大数据是什么意思,大数据概念怎么理解
大数据(big data),指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合,是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。
对于“大数据”(Big data)研究机构Gartner给出了这样的定义。“大数据”是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力来适应海量、高增长率和多样化的信息资产。
麦肯锡全球研究所给出的定义是:一种规模大到在获取、存储、管理、分析方面大大超出了传统数据库软件工具能力范围的数据集合,具有海量的数据规模、快速的数据流转、多样的数据类型和价值密度低四大特征。
大数据技术的战略意义不在于掌握庞大的数据信息,而在于对这些含有意义的数据进行专业化处理。换而言之,如果把大数据比作一种产业,那么这种产业实现盈利的关键,在于提高对数据的“加工能力”,通过“加工”实现数据的“增值”。
从技术上看,大数据与云计算的关系就像一枚硬币的正反面一样密不可分。大数据必然无法用单台的计算机进行处理,必须采用分布式架构。它的特色在于对海量数据进行分布式数据挖掘。但它必须依托云计算的分布式处理、分布式数据库和云存储、虚拟化技术。
随着云时代的来临,大数据(Big data)也吸引了越来越多的关注。分析师团队认为,大数据(Big data)通常用来形容一个公司创造的大量非结构化数据和半结构化数据,这些数据在下载到关系型数据库用于分析时会花费过多时间和金钱。大数据分析常和云计算联系到一起,因为实时的大型数据集分析需要像MapRece一样的框架来向数十、数百或甚至数千的电脑分配工作。
大数据需要特殊的技术,以有效地处理大量的容忍经过时间内的数据。适用于大数据的技术,包括大规模并行处理(MPP)数据库、数据挖掘、分布式文件系统、分布式数据库、云计算平台、互联网和可扩展的存储系统。
最小的基本单位是bit,按顺序给出所有单位:bit、Byte、KB、MB、GB、TB、PB、EB、ZB、YB、BB、NB、DB。
Ⅲ 大数据指的是什么
大数据是什么?
在很多人的眼里大数据可能是一个很模糊的概念,但是,在日常生活中大数据有离我们很近,我们无时无刻不再享受着大数据所给我们带来的便利,个性化,人性化。全面的了解大数据我们应该从四个方面简单了解。定义,结构特点,我们身边有哪些大数据,大数据带来了什么,这四个方面了解。
那么“大数据”到底是什么呢?
在麦肯锡全球研究所给出的定义中指出:大数据即是一种规模大到在获取,存储,管理,分析方面大大超出了传统数据库软件工具能力范围的数据集合。简单而言大数据是数据多到爆表。大数据的单位一般以PB衡量。那么PB是多大呢?1GB=1024MB ,1PB=1024GB才足以称为大数据。
如图:
衡量单位一览表
其次,大数据具有什么样的特点和结构呢?
大数据从整体上看分为四个特点,
第一,大量。
衡量单位PB级别,存储内容多。
第二,高速。
大数据需要在获取速度和分析速度上要及时迅速。保证在短时间内更多的人接收到信息。
第二,多样。
数据的来源是各种渠道上获取的,有文本数据,图片数据,视频数据等。因此数据是多种多样的。
第三,价值。
大数据不仅仅拥有本身的信息价值,还拥有商业价值。大数据在结构上还分为:结构化,半结构化,非结构化。结构化简单来讲是数据库,是由二维表来逻辑表达和实现的数据。非结构化即数据结构不规则或不完整,没有预定义的数据模型。由人类产生的数据大部分是非结构化数据。
Ⅳ 什么是大数据 大数据是什么意思
大数据是一种规模大到在获取、存储、管理、分析方面大大超出了传统数据库软件工具能力范围的数据集合,具有海量的数据规模、快速的数据流转、多样的数据类型和价值密度低四大特征。
从技术上看,大数据与云计算的关系就像一枚硬币的正反面一样密不可分。大数据必然无法用单台的计算机进行处理,必须采用分布式架构。它的特色在于对海量数据进行分布式数据挖掘。但它必须依托云计算的分布式处理、分布式数据库和云存储、虚拟化技术。
(4)大数据的内涵以下理解扩展阅读
大数据的价值体现在以三方面:
1、对大量消费者提供产品或服务的企业可以利用大数据进行精准营销;
2、做小而美模式的中小微企业可以利用大数据做服务转型;
3、面临互联网压力之下必须转型的传统企业需要与时俱进充分利用大数据的价值。
Ⅳ 大数据的三重内涵
大数据的三重内涵
大数据在业内并没有统一的定义。不同厂商、不同用户,站的角度不同,对大数据的理解也不一样。麦肯锡报告中对大数据的基本定义是:大数据是指其大小超出了典型数据库软件的采集、储存、管理和分析等能力的数据集合。赛迪智库指出,大数据是一个相对的概念,并没有一个严格的标准限定多大规模的数据集合才称得上是大数据。事实上,随着时间推移和数据管理与处理技术的进步,符合大数据标准的数据集合的规模也在并将继续增长。同时,对于不同行业领域和不同应用而言,“大数据”的规模也不统一。
虽然“大数据”直接代表的是数据集合这一静态对象,但赛迪智库经过深入研究认为,目前所提到的“大数据”,并不仅仅是大规模数据集合本身,而应当是数据对象、技术与应用三者的统一:
1.从对象角度看,大数据是大小超出典型数据库软件采集、储存、管理和分析等能力的数据集合。需要注意的是,大数据并非大量数据简单、无意义的堆积,数据量大并不意味着一定具有可观的利用前景。由于最终目标是从大数据中获取更多有价值的“新”信息,所以必然要求这些大量的数据之间存在着或远或近、或直接或间接的关联性,才具有相当的分析挖掘价值。数据间是否具有结构性和关联性,是 “大数据”与“大规模数据”的重要差别。
2.从技术角度看,大数据技术是从各种各样类型的大数据中,快速获得有价值信息的技术及其集成。“大数据”与“大规模数据”、“海量数据”等类似概念间的最大区别,就在于“大数据”这一概念中包含着对数据对象的处理行为。为了能够完成这一行为,从大数据对象中快速挖掘更多有价值的信息,使大数据“活起来”,就需要综合运用灵活的、多学科的方法,包括数据聚类、数据挖掘、分布式处理等,而这就需要拥有对各类技术、各类软硬件的集成应用能力。可见,大数据技术是使大数据中所蕴含的价值得以发掘和展现的重要工具。
3.从应用角度看,大数据是对特定的大数据集合、集成应用大数据技术、获得有价值信息的行为。正由于与具体应用紧密联系,甚至是一对一的联系,才使得“应用”成为大数据不可或缺的内涵之一。
需要明确的是,大数据分析处理的最终目标,是从复杂的数据集合中发现新的关联规则,继而进行深度挖掘,得到有效用的新信息。如果数据量不小,但数据结构简单,重复性高,分析处理需求也仅仅是根据已有规则进行数据分组归类,未与具体业务紧密结合,依靠已有基本数据分析处理技术已足够,则不能算作是完全的“大数据”,只是“大数据”的初级发展阶段。