信息数据大数据

『壹』 大数据是什么

大数据是什么意思呢?
如果从字面意思来看，大数据指的是巨量数据。那么可能有人会问，多大量级的数据才叫大数据?不同的机构或学者有不同的理解，难以有一个非常定量的定义，只能说，大数据的计量单位已经越过TB级别发展到PB、EB、ZB、YB甚至BB级别。
最早提出“大数据”这一概念的 是全球知名咨询公司麦肯锡，它是这样定义大数据的：一种规模大到在获取、存储、管理、分析方面大大超出了传统数据库软件工具能力范围的数据集合,具有海量的数据规模、快速的数据流转、多样的数据类型以及价值密度低四大特征。
研究机构Gartner是这样定义大数据的：“大数据”是需要新处理模式才能具有更强的决策力、洞察发现力和流转优化能力来适应海量、高增长率和多样化的信息资产。若从技术角度来看，大数据的战略意义不在于掌握庞大的数据，而在于对这些含有意义的数据进行专业化处理，换言之，如果把大数据比作一种产业，那么这种产业盈利的关键在于提高对数据的“加工能力”，通过“加工”实现数据的“增值”。

『贰』 什么是大数据

大数据（big data），指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合，是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。具有海量的数据规模、快速的数据流转、多样的数据类型和价值密度低的四大特征。

大数据的5V特点（IBM提出）：Volume（大量）、Velocity（高速）、Variety（多样）、Value（低价值密度）、Veracity（真实性）。

大数据最核心的价值就是在于对于海量数据进行存储和分析；大数据技术的战略意义不在于掌握庞大的数据信息，而在于对这些含有意义的数据进行专业化处理。换而言之，如果把大数据比作一种产业，那么这种产业实现盈利的关键，在于提高对数据的“加工能力”，通过“加工”实现数据的“增值”。

『叁』 信息安全,数据科学与大数据技术 哪个专业更好

两个专业都很好，主要看哪一个更适合你。

这两个专业都属于前景很好的专业，面对这种情况，建议了解这两个专业主要学习什么及就业方向是什么再来进行选择。

信息安全专业的就业方向主要是去毕业生可在政府机关、国家安全部门、银行、金融、证券、通信等领域从事各类信息安全系统、计算机安全系统的研究、设计、开发和管理工作，也可在IT领域从事计算机应用工作。

数据科学与大数据技术相对于信息安全来说，此专业属于比较新的一种专业，还有许多未知的技术正在探索中，前途一片光明。数据科学与大数据技术的就业方向主要是大数据技术、大数据研究、数据管理、数据挖掘、算法工程、应用开发。

可以根据自己的需求和兴趣还有未来职业规划进行选择。每个专业存在都有它的道理，有些专业是为企业而生，有些则是国家发展需要，大数据和信安这两个专业本质上都是计算机类，看你感兴趣的方向，选择即可。

信息安全专业需要掌握的知识面：

1、掌握从事专业工作所需的数学（特别是离散数学）、自然科学知识，以及经济学与管理学知识。

2、系统掌握专业基础理论知识和专业知识，经历系统的专业实践，理解计算学科的基本概念、知识结构、典型方法，建立数字化、算法、模块化与层次化等核心专业意识。

3、掌握计算学科的基本思维方法和研究方法，具有良好的科学素养和强烈的工程意识或研究探索意识，并具备综合运用所掌握的知识、方法和技术解决复杂的实际问题及对结果进行分析的能力。

4、具有终身学习意识，能够运用现代信息技术获取相关信息和新技术、新知识，持续提高自己的能力。

5、了解计算学科的发展现状和趋势，具有创新意识，并具有技术创新和产品创新的初步能力。

6、了解与专业相关的职业和行业的重要法律、法规及方针与政策，理解工程技术与信息技术应用相关的伦理基本要求，在系统设计过程中能够综合考虑经济、环境、法律、安全、健康、伦理等制约因素。

7、具有组织管理能力、表达能力、独立工作能力、人际交往能力和团队合作能力。

『肆』 什么是大数据

中国发展门户网讯 随着新一代信息技术的迅猛发展和深入应用，数据的数量、规模不断扩大，数据已日益成为土地、资本之后的又一种重要的生产要素，和各个国家和地区争夺的重要资源，谁掌握数据的主动权和主导权，谁就能赢得未来。奥巴马政府将数据定义为“未来的新石油”，认为一个国家拥有数据的规模、活性及解释运用的能力将成为综合国力的重要组成部分，对数据的占有和控制将成为继陆权、海权、空权之外的另一个国家核心权力。此后，一个全新的概念——大数据开始风靡全球。
大数据的概念与内涵
“大数据”的概念早已有之，1980年著名未来学家阿尔文•托夫勒便在《第三次浪潮》一书中,将大数据热情地赞颂为“第三次浪潮的华彩乐章”。但是直到近几年,“大数据”才与“云计算”、“物联网”一道，成为互联网信息技术行业的流行词汇。2008年，在谷歌成立10周年之际， 著名的《自然》杂志出版了一期专刊，专门讨论未来的大数据处理相关的一系列技术问题和挑战，其中就提出了“Big Data”的概念。2011年5 月，在“云计算相遇大数据” 为主题的EMC World 2011 会议中，EMC 也抛出了Big Data概念。所以，很多人认为，2011年是大数据元年。
此后，诸多专家、机构从不同角度提出了对大数据理解。当然，由于大数据本身具有较强的抽象性，目前国际上尚没有一个统一公认的定义。维基网络认为大数据是超过当前现有的数据库系统或数据库管理工具处理能力，处理时间超过客户能容忍时间的大规模复杂数据集。全球排名第一的企业数据集成软件商Informatica认为大数据包括海量数据和复杂数据类型，其规模超过传统数据库系统进行管理和处理的能力。亚马逊网络服务(AWS)、大数据科学家JohnRauser提到一个简单的定义：大数据就是任何超过了一台计算机处理能力的庞大数据量。网络搜索的定义为："大数据"是一个体量特别大，数据类别特别大的数据集，并且这样的数据集无法用传统数据库工具对其内容进行抓取、管理和处理。互联网周刊的定义为："大数据"的概念远不止大量的数据（TB）和处理大量数据的技术，或者所谓的"4个V"之类的简单概念，而是涵盖了人们在大规模数据的基础上可以做的事情，而这些事情在小规模数据的基础上是无法实现的。换句话说，大数据让我们以一种前所未有的方式，通过对海量数据进行分析，获得有巨大价值的产品和服务，或深刻的洞见，最终形成变革之力。
综合上述不同的定义，我们认为，大数据至少应包括以下两个方面：一是数量巨大，二是无法使用传统工具处理。因此，大数据不是关于如何定义，最重要的是如何使用。它强调的不仅是数据的规模，更强调从海量数据中快速获得有价值信息和知识的能力。
大数据4V特征
一般认为，大数据主要具有以下四个方面的典型特征：规模性（Volume）、多样性（Varity）、高速性（Velocity）和价值性（Value）,即所谓的“4V”。
1．规模性。大数据的特征首先就体现为“数量大”，存储单位从过去的GB到TB，直至PB、EB。随着信息技术的高速发展，数据开始爆发性增长。社交网络（微博、推特、脸书）、移动网络、各种智能终端等，都成为数据的来源。淘宝网近4亿的会员每天产生的商品交易数据约20TB；脸书约10亿的用户每天产生的日志数据超过300TB。迫切需要智能的算法、强大的数据处理平台和新的数据处理技术，来统计、分析、预测和实时处理如此大规模的数据。
2．多样性。广泛的数据来源，决定了大数据形式的多样性。大数据大体可分为三类：一是结构化数据，如财务系统数据、信息管理系统数据、医疗系统数据等，其特点是数据间因果关系强；二是非结构化的数据，如视频、图片、音频等，其特点是数据间没有因果关系；三是半结构化数据，如HTML文档、邮件、网页等，其特点是数据问的因果关系弱。
3．高速性。与以往的档案、广播、报纸等传统数据载体不同，大数据的交换和传播是通过互联网、云计算等方式实现的，远比传统媒介的信息交换和传播速度快捷。大数据与海量数据的重要区别，除了大数据的数据规模更大以外，大数据对处理数据的响应速度有更严格的要求。实时分析而非批量分析，数据输入、处理与丢弃立刻见效，几乎无延迟。数据的增长速度和处理速度是大数据高速性的重要体现。
4.价值性。这也是大数据的核心特征。现实世界所产生的数据中，有价值的数据所占比例很小。相比于传统的小数据，大数据最大的价值在于通过从大量不相关的各种类型的数据中，挖掘出对未来趋势与模式预测分析有价值的数据，并通过机器学习方法、人工智能方法或数据挖掘方法深度分析，发现新规律和新知识，并运用于农业、金融、医疗等各个领域，从而最终达到改善社会治理、提高生产效率、推进科学研究的效果。
大数据六大发展趋势
虽然大数据目前仍处在发展的起步阶段，尚存在着诸多的困难与挑战，但我们相信，随着时间的推移，大数据未来的发展前景非常可观。
1．数据将呈现指数级增长
近年来，随着社交网络、移动互联、电子商务、互联网和云计算的兴起，音频、视频、图像、日志等各类数据正在以指数级增长。据有关资料显示，2011年，全球数据规模为1.8ZB，可以填满575亿个32GB的iPad，这些iPad可以在中国修建两座长城。到2020年，全球数据将达到40ZB，如果把它们全部存入蓝光光盘，这些光盘和424艘尼米兹号航母重量相当。美国互联网数据中心则指出,互联网上的数据每年将增长50%,每两年便将翻一番,目前世界上90%以上的数据是最近几年才产生的。
2．数据将成为最有价值的资源
在大数据时代，数据成为继土地、劳动、资本之后的新要素，构成企业未来发展的核心竞争力。《华尔街日报》在一份题为《大数据，大影响》的报告宣传，数据已经成为一种新的资产类别，就像货币或黄金一样。IBM执行总裁罗睿兰认为指出,“数据将成为一切行业当中决定胜负的根本因素,最终数据将成为人类至关重要的自然资源。”随着大数据应用的不断发展，我们有理由相信大数据将成为机构和企业的重要资产和争夺的焦点谷歌、苹果、亚马逊、阿里巴巴、腾讯等互联网巨头正在运用大数据力量获得商业上更大的成功，并且将会继续通过大数据来提升自己的竞争力。
3．大数据和传统行业智能融合
通过对大数据收集、整理、分析、挖掘, 我们不仅可以发现城市治理难题，掌握经济运行趋势，还能够驱动精确设计和精确生产模式，引领服务业的精确化和增值化，创造互动的创意产业新形态。麦当劳、肯德基以及苹果公司等旗舰专卖店的位置都是建立在数据分析基础之上的精准选址。网络、阿里、腾讯等通过对海量数据的掌握和分析,为用户提供更加专业化和个性化的服务。在智慧城市建设不断深入的情况下，大数据必将在智慧城市中发挥越来越重要的作用。由城市数字化到智慧城市，关键是要实现对数字信息的智慧处理，其核心是引入了大数据处理技术，大数据将成为智慧城市的核心智慧引擎。智慧金融、智慧安防、智慧医疗、智慧教育、智慧交通、智慧城管等，无不是大数据和传统产业融合的重要领域。
4．数据将越来越开放
大数据是人类的共同资源、共同财富，数据开放共享是不可逆转的历史潮流。随着各国政府和企业对开放数据带来的社会效益和商业价值认识的不断提升，全球必将很快掀起一股数据开放的热潮。事实上，大数据的发展需要全世界、全人类的共同协作，变私有大数据为公共大数据，最终实现私有、企业自有、行业自有的全球性大数据整合，才不至形成一个个毫无价值的“数据孤岛”。大数据越关联越有价值，越开放越有价值。尤其是公共事业和互联网企业的数据开放数据将越来越多。目前，美欧等发达国家和地区的政府都在政府和公共事业上的数据做出了表率。中国政府也将一方面带头力促数据公开共享，另一方面，还通过推动建设各类大数据服务交易平台，为数据使用者提供丰富的数据来源和数据的应用。
5．大数据安全将日受重视
大数据在经济社会中应用日益广泛的同时，大数据的安全也必将受到更多的重视。大数据时代，在我们用数据挖掘和数据分析等大数据技术获取有价值信息的同时，“黑客”也可以利用这些大数据技术最大限度地收集更多有用信息，对其感兴趣的目标发起更加“精准的”攻击。近年来，个人隐私、企业商业信息甚至是国家机密泄露事件时有发生。对此，美欧等发达国家纷纷制定完善了保护信息安全、防止隐私泄露等相关法律法规。可以预见，在不久的将来，其他国家也会迅速跟进，以更好地保障本国政府、企业乃至居民的数据安全。
6．大数据人才将备受欢迎
随着大数据的不断发展及其应用的日益广泛，包括大数据分析师、数据管理专家、大数据算法工程师、数据产品经理等在内的具有丰富经验的数据分析人员将成为全社会稀缺的资源和各机构争夺的人才。据著名国际咨询公司Gartner预测，2015年全球大数据人才需求将达到440万人，而人才市场仅能够满足需求的三分之一。麦肯锡公司则预测美国到2018年需要深度数据分析人才44万—49万，缺口为14万—19万人。有鉴于此，美国通过国家科学基金会，鼓励研究性大学设立跨学科的学位项目，为培养下一代数据科学家和工程师做准备，并设立培训基金支持对大学生进行相关技术培训，召集各个学科的研究人员共同探讨大数据如何改变教育和学习等。英国、澳大利亚、法国等国家也类似地对大数据人才的培养做出专项部署。IBM 等企业也开始全面推进与高校在大数据领域的合作，力图培养企业发展需要的既懂业务知识又具分析技能的复合型数据人才。（武锋：国家信息中心）

『伍』 简述什么是大数据

大数据是指那些数据量特别大、数据类别特别复杂的数据集，这种数据集不回能用传答统的数据库进行转存、管理和处理，是需要新处理模式才能具有更强大的决策力、洞察发现力和流程优化能力的海量、高增差率和多样化的信息资产。

大数据的主要特点就是数据量大、数据处理速度快、数据真实性高、数据类别复杂等，它们合起来被称为4大数据也可以应用在警察预测犯罪的发生、预测选举结果，同时还能通过手机定位数据和交通数据建立城市规划，现在医疗行业也在做大数据的分析。

(5)信息数据大数据扩展阅读：

社会发展速度非常快，科技也很发达，信息的流通和人们之间的交流也非常密切，而大数据就是这个时代高科技的产物。对于大部分行业而言，怎么运用这些大规模数据是赢得竞争的关键，但同时，大数据在经济发展中的意义不能取代一切对于社会问题的理性思考。

数据行业非常的受欢迎，人才需要求量也非常大，而且企业给大数据工程师的薪资比一般工程师的薪资也要高很多。

『陆』 大数据是什么多大的数据叫大数据

多大的数据才算“大数据”
什么是大数据有一个故事，说的是一位顾客订购披萨时，披萨店可以立即调出这位顾客的许多信息，比如送披萨上门必有的家庭、单位等地址和电话，顾客的消费习惯从而推荐适合他的披萨种类，顾客名下的银行卡透支情况从而确定他的支付方式，甚至顾客要自取披萨时，还能根据顾客名下车辆的停放位置预估他的到店时间等等。
从这个故事，我们可以看出大数据的一些关键特征，比如容量大、类型多、关联性强、有价值等等。“大数据是以高容量、多样性、存取速度快、应用价值高为主要特征的数据集合，正快速发展为对数量巨大、来源分散、格式多样的数据进行采集、存储和关联分析，从中发现新知识、创造新价值、提升新能力的新一代信息技术和服务业态。”工信部信息化和软件服务业司副司长李冠宇接受经济日报·中国经济网记者采访时说。

『柒』 什么样的数据算是大数据

选择答案D，完整的题目D选项是价值密度高。所以选择答案D，因为大数据的数据价值密度不是很高，可以用低来形容。

大数据是无法圆岩在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合，是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。

“大数据”是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能昌衡力来适应海量、高增长率和多样化的信息资产。

(7)信息数据大数据扩展阅读：

大数据的特征：

1、数据的大小决定所考虑的数据的价值和潜在的信息、数据类型的多样性。

2、指获得数据的速度、妨碍了处理和有效地管理数据的过程。

3、数据的质量、数据量巨大，来源多渠道。

4、合理运用大数据，以低成本创造高价值。

大数据技术的战略意义不在于掌握庞大的数据信息，而在于对这些含有意义的数据进行专业化耐腔做处理。换而言之，如果把大数据比作一种产业，那么这种产业实现盈利的关键，在于提高对数据的“加工能力”，通过“加工”实现数据的“增值”。

大数据需要特殊的技术，以有效地处理大量的容忍经过时间内的数据。适用于大数据的技术，包括大规模并行处理（MPP）数据库、数据挖掘、分布式文件系统、分布式数据库、云计算平台、互联网和可扩展的存储系统。

参考资料来源：网络-大数据

『捌』 大数据的五大特点是什么

IBM提出了大数据”5V”特点：

一、Volume：数据量大，包括采集、存储和计算的量都非常大。大数据的枯迅中起始计量单位至少是P（1000个T）、E（100万个T）或Z（10亿个T）。

二、Variety：种类和来源多样化。包括结构化、半结构化和非结构化数昌宽据，具体表现为网络日志、音频、视频、图片、没山地理位置信息等等，多类型的数据对数据的处理能力提出了更高的要求。

三、Value：数据价值密度相对较低，或者说是浪里淘沙却又弥足珍贵。随着互联网以及物联网的广泛应用，信息感知无处不在，信息海量，但价值密度较低，如何结合业务逻辑并通过强大的机器算法来挖掘数据价值，是大数据时代最需要解决的问题。

四、Velocity：数据增长速度快，处理速度也快，时效性要求高。比如搜索引擎要求几分钟前的新闻能够被用户查询到，个性化推荐算法尽可能要求实时完成推荐。这是大数据区别于传统数据挖掘的显著特征。

五、Veracity：数据的准确性和可信赖度，即数据的质量。
————————————————
版权声明：本文为CSDN博主「arsaycode」的原创文章.........

『玖』 大数据是什么

作者：李丽
链接：https://www.hu.com/question/23896161/answer/28624675
来源：知乎
著作权归作者所有。商业转载请联系作者获得授权，非商业转载请注明出处。

"大数据"是一个体量特别大，数据类别特别大的数据集，并且这样的数据集无法用传统数据库工具对其内容进行抓取、管理和处理。 "大数据"首先是指数据体量(volumes)?大，指代大型数据集，一般在10TB?规模左右，但在实际应用中，很多企业用户把多个数据集放在一起，已经形成了PB级的数据量；其次是指数据类别(variety)大，数据来自多种数据源，数据种类和格式日渐丰富，已冲破了以前所限定的结构化数据范畴，囊括了半结构化和非结构化数据。接着是数据处理速度（Velocity）快，在数据量非常庞大的情况下，也能够做到数据的实时处理。最后一个特点是指数据真实性（Veracity）高，随着社交数据、企业内容、交易与应用数据等新数据源的兴趣，传统数据源的局限被打破，企业愈发需要有效的信息之力以确保其真实性及安全性。
"大数据"是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。从数据的类别上看，"大数据"指的是无法使用传统流程或工具处理或分析的信息。它定义了那些超出正常处理范围和大小、迫使用户采用非传统处理方法的数据集。
亚马逊网络服务（AWS）、大数据科学家JohnRauser提到一个简单的定义：大数据就是任何超过了一台计算机处理能力的庞大数据量。
研发小组对大数据的定义："大数据是最大的宣传技术、是最时髦的技术，当这种现象出现时，定义就变得很混乱。" Kelly说："大数据是可能不包含所有的信息，但我觉得大部分是正确的。对大数据的一部分认知在于，它是如此之大，分析它需要多个工作负载，这是AWS的定义。当你的技术达到极限时，也就是数据的极限"。 大数据不是关于如何定义，最重要的是如何使用。最大的挑战在于哪些技术能更好的使用数据以及大数据的应用情况如何。这与传统的数据库相比，开源的大数据分析工具的如Hadoop的崛起，这些非结构化的数据服务的价值在哪里。
二、大数据分析
从所周知，大数据已经不简简单单是数据大的事实了，而最重要的现实是对大数据进行分析，只有通过分析才能获取很多智能的，深入的，有价值的信息。那么越来越多的应用涉及到大数据，而这些大数据的属性，包括数量，速度，多样性等等都是呈现了大数据不断增长的复杂性，所以大数据的分析方法在大数据领域就显得尤为重要，可以说是决定最终信息是否有价值的决定性因素。基于如此的认识，大数据分析普遍存在的方法理论有哪些呢？
1、可视化分析
大数据分析的使用者有大数据分析专家，同时还有普通用户，但是他们二者对于大数据分析最基本的要求就是可视化分析，因为可视化分析能够直观的呈现大数据特点，同时能够非常容易被读者所接受，就如同看图说话一样简单明了
2、数据挖掘算法
大数据分析的理论核心就是数据挖掘算法，各种数据挖掘的算法基于不同的数据类型和格式才能更加科学的呈现出数据本身具备的特点，也正是因为这些被全世界统计学家所公认的各种统计方法（可以称之为真理）才能深入数据内部，挖掘出公认的价值。另外一个方面也是因为有这些数据挖掘的算法才能更快速的处理大数据，如果一个算法得花上好几年才能得出结论，那大数据的价值也就无从说起了。
3、预测性分析能力
大数据分析最终要的应用领域之一就是预测性分析，从大数据中挖掘出特点，通过科学的建立模型，之后便可以通过模型带入新的数据，从而预测未来的数据。
4、数据质量和数据管理
大数据分析离不开数据质量和数据管理，高质量的数据和有效的数据管理，无论是在学术研究还是在商业应用领域，都能够保证分析结果的真实和有价值。
大数据分析的基础就是以上五个方面，当然更加深入大数据分析的话，还有很多很多更加有特点的、更加深入的、更加专业的大数据分析方法。
三、大数据技术
1、数据采集：ETL工具负责将分布的、异构数据源中的数据如关系数据、平面数据文件等抽取到临时中间层后进行清洗、转换、集成，最后加载到数据仓库或数据集市中，成为联机分析处理、数据挖掘的基础。
2、数据存取：关系数据库、NOSQL、SQL等。
3、基础架构：云存储、分布式文件存储等。
4、数据处理：自然语言处理(NLP，NaturalLanguageProcessing)是研究人与计算机交互的语言问题的一门学科。处理自然语言的关键是要让计算机"理解"自然语言，所以自然语言处理又叫做自然语言理解(NLU，NaturalLanguage Understanding)，也称为计算语言学(Computational Linguistics。一方面它是语言信息处理的一个分支，另一方面它是人工智能(AI, Artificial Intelligence)的核心课题之一。
5、统计分析：假设检验、显著性检验、差异分析、相关分析、T检验、方差分析、卡方分析、偏相关分析、距离分析、回归分析、简单回归分析、多元回归分析、逐步回归、回归预测与残差分析、岭回归、logistic回归分析、曲线估计、因子分析、聚类分析、主成分分析、因子分析、快速聚类法与聚类法、判别分析、对应分析、多元对应分析（最优尺度分析）、bootstrap技术等等。
6、数据挖掘：分类
（Classification）、估计（Estimation）、预测（Prediction）、相关性分组或关联规则（Affinity grouping or
association rules）、聚类（Clustering）、描述和可视化、Description and Visualization）、复杂数据类型挖掘(Text,
Web ,图形图像，视频，音频等)
7、模型预测：预测模型、机器学习、建模仿真。
8、结果呈现：云计算、标签云、关系图等。
四、大数据特点
要理解大数据这一概念，首先要从"大"入手，"大"是指数据规模，大数据一般指在10TB(1TB=1024GB)规模以上的数据量。大数据同过去的海量数据有所区别，其基本特征可以用4个V来总结(Vol-ume、Variety、Value和Veloc-ity)，即体量大、多样性、价值密度低、速度快。
1、
数据体量巨大。从TB级别，跃升到PB级别。
2、
数据类型繁多，如前文提到的网络日志、视频、图片、地理位置信息，等等。
3、
价值密度低。以视频为例，连续不间断监控过程中，可能有用的数据仅仅有一两秒。
4、
处理速度快。1秒定律。最后这一点也是和传统的数据挖掘技术有着本质的不同。物联网、云计算、移动互联网、车联网、手机、平板电脑、PC以及遍布地球各个角落的各种各样的传感器，无一不是数据来源或者承载的方式。
大数据技术是指从各种各样类型的巨量数据中，快速获得有价值信息的技术。解决大数据问题的核心是大数据技术。目前所说的"大数据"不仅指数据本身的规模，也包括采集数据的工具、平台和数据分析系统。大数据研发目的是发展大数据技术并将其应用到相关领域，通过解决巨量数据处理问题促进其突破性发展。因此，大数据时代带来的挑战不仅体现在如何处理巨量数据从中获取有价值的信息，也体现在如何加强大数据技术研发，抢占时代发展的前沿。
五、大数据处理
大数据处理之一：采集
大数据的采集是指利用多个数据库来接收发自客户端（Web、App或者传感器形式等）的数据，并且用户可以通过这些数据库来进行简单的查询和处理工作。比如，电商会使用传统的关系型数据库MySQL和Oracle等来存储每一笔事务数据，除此之外，Redis和MongoDB这样的NoSQL数据库也常用于数据的采集。
在大数据的采集过程中，其主要特点和挑战是并发数高，因为同时有可能会有成千上万的用户来进行访问和操作，比如火车票售票网站和淘宝，它们并发的访问量在峰值时达到上百万，所以需要在采集端部署大量数据库才能支撑。并且如何在这些数据库之间进行负载均衡和分片的确是需要深入的思考和设计。
大数据处理之二：导入/预处理
虽然采集端本身会有很多数据库，但是如果要对这些海量数据进行有效的分析，还是应该将这些来自前端的数据导入到一个集中的大型分布式数据库，或者分布式存储集群，并且可以在导入基础上做一些简单的清洗和预处理工作。也有一些用户会在导入时使用来自Twitter的Storm来对数据进行流式计算，来满足部分业务的实时计算需求。
导入与预处理过程的特点和挑战主要是导入的数据量大，每秒钟的导入量经常会达到百兆，甚至千兆级别。
大数据处理之三：统计/分析
统计与分析主要利用分布式数据库，或者分布式计算集群来对存储于其内的海量数据进行普通的分析和分类汇总等，以满足大多数常见的分析需求，在这方面，一些实时性需求会用到EMC的GreenPlum、Oracle的Exadata，以及基于MySQL的列式存储Infobright等，而一些批处理，或者基于半结构化数据的需求可以使用Hadoop。
统计与分析这部分的主要特点和挑战是分析涉及的数据量大，其对系统资源，特别是I/O会有极大的占用。
大数据处理之四：挖掘
与前面统计和分析过程不同的是，数据挖掘一般没有什么预先设定好的主题，主要是在现有数据上面进行基于各种算法的计算，从而起到预测（Predict）的效果，从而实现一些高级别数据分析的需求。比较典型算法有用于聚类的Kmeans、用于统计学习的SVM和用于分类的NaiveBayes，主要使用的工具有Hadoop的Mahout等。该过程的特点和挑战主要是用于挖掘的算法很复杂，并且计算涉及的数据量和计算量都很大，常用数据挖掘算法都以单线程为主。
整个大数据处理的普遍流程至少应该满足这四个方面的步骤，才能算得上是一个比较完整的大数据处理
六、大数据应用与案例分析
大数据应用的关键，也是其必要条件，就在于"IT"与"经营"的融合，当然，这里的经营的内涵可以非常广泛，小至一个零售门店的经营，大至一个城市的经营。以下是关于各行各业，不同的组织机构在大数据方面的应用的案例，在此申明，以下案例均来源于网络，本文仅作引用，并在此基础上作简单的梳理和分类。
大数据应用案例之：医疗行业
[1] Seton Healthcare是采用IBM最新沃森技术医疗保健内容分析预测的首个客户。该技术允许企业找到大量病人相关的临床医疗信息，通过大数据处理，更好地分析病人的信息。
[2] 在加拿大多伦多的一家医院，针对早产婴儿，每秒钟有超过3000次的数据读取。通过这些数据分析，医院能够提前知道哪些早产儿出现问题并且有针对性地采取措施，避免早产婴儿夭折。
[3] 它让更多的创业者更方便地开发产品，比如通过社交网络来收集数据的健康类App。也许未来数年后，它们搜集的数据能让医生给你的诊断变得更为精确，比方说不是通用的成人每日三次一次一片，而是检测到你的血液中药剂已经代谢完成会自动提醒你再次服药。
大数据应用案例之：能源行业
[1] 智能电网现在欧洲已经做到了终端，也就是所谓的智能电表。在德国，为了鼓励利用太阳能，会在家庭安装太阳能，除了卖电给你，当你的太阳能有多余电的时候还可以买回来。通过电网收集每隔五分钟或十分钟收集一次数据，收集来的这些数据可以用来预测客户的用电习惯等，从而推断出在未来2~3个月时间里，整个电网大概需要多少电。有了这个预测后，就可以向发电或者供电企业购买一定数量的电。因为电有点像期货一样，如果提前买就会比较便宜，买现货就比较贵。通过这个预测后，可以降低采购成本。

[2] 维斯塔斯风力系统，依靠的是BigInsights软件和IBM超级计算机，然后对气象数据进行分析，找出安装风力涡轮机和整个风电场最佳的地点。利用大数据，以往需要数周的分析工作，现在仅需要不足1小时便可完成。
大数据应用案例之：通信行业
[1] XO Communications通过使用IBM SPSS预测分析软件，减少了将近一半的客户流失率。XO现在可以预测客户的行为，发现行为趋势，并找出存在缺陷的环节，从而帮助公司及时采取措施，保留客户。此外，IBM新的Netezza网络分析加速器，将通过提供单个端到端网络、服务、客户分析视图的可扩展平台，帮助通信企业制定更科学、合理决策。
[2] 电信业者透过数以千万计的客户资料，能分析出多种使用者行为和趋势，卖给需要的企业，这是全新的资料经济。
[3] 中国移动通过大数据分析，对企业运营的全业务进行针对性的监控、预警、跟踪。系统在第一时间自动捕捉市场变化，再以最快捷的方式推送给指定负责人，使他在最短时间内获知市场行情。
[4] NTT docomo把手机位置信息和互联网上的信息结合起来，为顾客提供附近的餐饮店信息，接近末班车时间时，提供末班车信息服务。

『拾』 如何理解信息与数据的区别

信息与数据的区别具体如下：

一、概念不同

1、数据是信息的表现形式和载体，可以是符号、文字、数字、语音、图像、视频等。

2、信息是数据的内涵，信息是加载于数据之上，对数据作具有含义的解释。

二、特点不同

1、信息

（1）消息x发生的概率P（x）越大，信息量越小；反之，发生的概率越小，信息量就越大。可见，信息量（我们用I来表示）和消息发生的概率是相反的关系。

（2）当概率为1时，百分百发生的事，信息量为0。

2、数据

数据可以是连续的值，比如声音、图像，称为模拟数据。也可以是离散的，如符号、文字，称为数字数据。

三、分类不同

1、数据

按性质分为

（1）定位的，如各种坐标数据。

（2）定性的，如表示事物属性的数据（居民地、河流、道路等）。

（3）定量的，反映事物数量特征的数据，如长度、面积、体积等几何量或重量、速度等物理量。

（4）定时的，反映事物时间特性的数据，如年、月、日、时、分、秒等。

2、信息

（1）信息的表示、传播、储存必须依附于某种载体，载体就是承载信息的事物。

（2）信息是可以加工和处理的。信息也可以从一种形态转换成另一种形态。

（3）信息可以脱离它所反映的事物被存储和保留和传播。

（4）信息是可以传递和共享的。信息可以被重复使用而不会像物质和能源那样产生损耗。

（5）信息具有时效性。

(10)信息数据大数据扩展阅读：

数据和信息之间是相互联系的。数据是反映客观事物属性的记录，是信息的具体表现形式。数据经过加工处理之后，就成为信息；而信息需要经过数字化转变成数据才能存储和传输。