A. 什么是大数据,通俗的讲
有人说大数据技术是第四次技术革命,这个说法其实不为过。
很多人只是听过大数据这个词或者是简单知道它是什么,那么它是什么呢,在这里就通俗点来说一下个人对大数据的理解。
大数据,很明显从字面上理解就是大量的数据,海量的数据。大,意思就是数据的量级很大,不上TB都不好意思说是大数据。数据,狭义上理解就是12345那么些数据,毕竟计算机底层是二进制来存的,那么在大数据领域,数据就不仅仅包括数字这些,它可以是所有格式的东西,比如日志,音频视频,文件等等。
所以,大数据从字面上理解就是海量的数据,技术上它包括这些海量数据的采集,过滤,清洗,存储,处理,查看等等部分,每一个部分包括一些大数据的相关技术框架来支持。
举个例子,淘宝双十一的总交易额的显示,后面就是大数据技术的支持,全国那么多淘宝用户的交易记录汇聚到一起,数据量很大,而且要做到实时的展现,就需要强有力的大数据技术来处理了。
数据量一大,那么得找地方来存,一个服务器硬盘可以挂多少,肯定满足不了这么大的数据量存储啊,所以,分布式的存储系统应运而生,那就是HDFS分布式文件系统。简单的说,就是把这么大的数据分开存在甚至几百甚至几千台服务器上,那么管理他们的系统就是HDFS文件系统,也是大数据技术的最基本的组件。
有地方存了,需要一些分布式的数据库来管理查询啊,那就有了Hbase等,还需要一些组件来计算分析这些数据啊,maprece是最基本的计算框架,其他的计算框架Spark和Storm可以完成实时的处理,其中HDFS和MapRece组成了Hadoop1.
总之,一切都是数据。我们的历史,是不是都是大量的数据保存下来的,现在我们也是大数据的生活,天天有没有接到骚扰电话还知道你姓什么,你查话费什么的从几亿人的数据中查到你的信息,大数据生活。未来,大数据将更深刻的渗透到生活中。
B. 大数据究竟是什么
大数复据(big data),IT行业术。,是指无法在制一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合。是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。
用最通俗的语言跟你解释一下。
举个例子,你想要买一双鞋,打开淘宝搜索了半天,感觉不太合适,然后又一想,晚点买也可以,于是退出了淘宝,打开了抖音,开始看某些土味视频。
当你下一次打开淘宝的时候,淘宝一定会给你推荐各种新款式的鞋,并且会给你推送相关的活动。而你每次打开抖音,看到的大部分都是土味视频。
其原因就是因为你在淘宝上用了大部分时间去搜索鞋子,淘宝通过测算觉得你对鞋子感兴趣,于是你每次进淘宝都会给你推荐鞋子。除非你下次用更多的时间去搜索另外一个东西。而抖音觉得你比较喜欢土味视频,因此这种视频便一直出现。
C. “大数据”是什么意思请举例说明。
大数据(big data),指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合,是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。例如:洛杉矶警察局和加利福尼亚大学合作利用大数据预测犯罪的发生;google流感趋势(Google Flu Trends)利用搜索关键词预测禽流感的散布;统计学家内特.西尔弗(Nate Silver)利用大数据预测2012美国选举结果。
大数据理论:
1、理论是认知的必经途径,也是被广泛认同和传播的基线。在这里从大数据的特征定义理解行业对大数据的整体描绘和定性;从对大数据价值的探讨来深入解析大数据的珍贵所在;洞悉大数据的发展趋势;从大数据隐私这个特别而重要的视角审视人和数据之间的长久博弈。
2、技术是大数据价值体现的手段和前进的基石。在这里分别从云计算、分布式处理技术、存储技术和感知技术的发展来说明大数据从采集、处理、存储到形成结果的整个过程。
3、实践是大数据的最终价值体现。在这里分别从互联网的大数据,政府的大数据,企业的大数据和个人的大数据四个方面来描绘大数据已经展现的美好景象及即将实现的蓝图。
D. 大数据是什么意思,大数据概念怎么理解
大数据(big data),指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合,是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。
对于“大数据”(Big data)研究机构Gartner给出了这样的定义。“大数据”是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力来适应海量、高增长率和多样化的信息资产。
麦肯锡全球研究所给出的定义是:一种规模大到在获取、存储、管理、分析方面大大超出了传统数据库软件工具能力范围的数据集合,具有海量的数据规模、快速的数据流转、多样的数据类型和价值密度低四大特征。
大数据技术的战略意义不在于掌握庞大的数据信息,而在于对这些含有意义的数据进行专业化处理。换而言之,如果把大数据比作一种产业,那么这种产业实现盈利的关键,在于提高对数据的“加工能力”,通过“加工”实现数据的“增值”。
从技术上看,大数据与云计算的关系就像一枚硬币的正反面一样密不可分。大数据必然无法用单台的计算机进行处理,必须采用分布式架构。它的特色在于对海量数据进行分布式数据挖掘。但它必须依托云计算的分布式处理、分布式数据库和云存储、虚拟化技术。
随着云时代的来临,大数据(Big data)也吸引了越来越多的关注。分析师团队认为,大数据(Big data)通常用来形容一个公司创造的大量非结构化数据和半结构化数据,这些数据在下载到关系型数据库用于分析时会花费过多时间和金钱。大数据分析常和云计算联系到一起,因为实时的大型数据集分析需要像MapRece一样的框架来向数十、数百或甚至数千的电脑分配工作。
大数据需要特殊的技术,以有效地处理大量的容忍经过时间内的数据。适用于大数据的技术,包括大规模并行处理(MPP)数据库、数据挖掘、分布式文件系统、分布式数据库、云计算平台、互联网和可扩展的存储系统。
最小的基本单位是bit,按顺序给出所有单位:bit、Byte、KB、MB、GB、TB、PB、EB、ZB、YB、BB、NB、DB。
E. 什么是大数据 大数据是什么意思
大数据是一种规模大到在获取、存储、管理、分析方面大大超出了传统数据库软件工具能力范围的数据集合,具有海量的数据规模、快速的数据流转、多样的数据类型和价值密度低四大特征。
从技术上看,大数据与云计算的关系就像一枚硬币的正反面一样密不可分。大数据必然无法用单台的计算机进行处理,必须采用分布式架构。它的特色在于对海量数据进行分布式数据挖掘。但它必须依托云计算的分布式处理、分布式数据库和云存储、虚拟化技术。
(5)什么叫做大数据视角下扩展阅读
大数据的价值体现在以三方面:
1、对大量消费者提供产品或服务的企业可以利用大数据进行精准营销;
2、做小而美模式的中小微企业可以利用大数据做服务转型;
3、面临互联网压力之下必须转型的传统企业需要与时俱进充分利用大数据的价值。
F. 【《大数据时代》读书笔记2】大数据视角下,一切皆可“量化”
“大数据”视角,并非近年来的新事物,回顾历史,早已有之。只是当时,“大数据”这个词,尚未产生。
19世纪,“量化”之于航海。 19世纪还是航海经验靠口口相传、有些甚至被证明是错误的年代,航海家莫里通过量化分析制作的导航图,是大数据的最早实践之一。在因为马车事故造成腿部残疾后,年轻的海军军官莫里离开了海上工作,来到了图表和仪器厂。在这个后来被证明是他福地的地方,在翻阅、整理库房里存放的航海书籍、地图、图表、航海日志后,莫里将这些记录进行数据整合,把整个大西洋按经纬度分成五块,并按月份标出温度、风速和风向,为找到更有效的航海路线提供参考。之后,为了提高精确度,莫里创建了一个标准的表格来记录航海数据,并在所有海军舰艇及部分商船上使用,通过分析这些数据,一些利于航行的天然航线被找到,为海军及商船减少了三分之一的航海路程。远在信息数字化之前,人工的数据运用已经充分展示了其实效。随着数据存储和处理能力的不断提高,“大数据”技术的运用领域也不断扩展。
20世纪,“量化”之于投资。 在金融领域,“量化”这个词经常以“量化投资”等词组形式出现,指的是通过数量化方式及计算机程序化发出买卖指令,以获取稳定收益为目的的交易方式,其实质在于替代传统的定性分析,以数据为支撑作出投资决策。“量化投资”在海外的发展已有30多年的历史,其投资业绩稳定,市场规模和份额不断扩大,得到了越来越多投资者认可。金融领域是数据相对集中和易感知的领域,但量化的舞台,远不止于此。
21世纪,“量化”之于坐姿研究。 日本先进工业技术研究所的越水重臣教授将量化用于坐姿研究,通过对人坐着时的身形、姿势和重量分布等的数据化,产生独属于每个乘坐者的精确数据资料,并根据人体对座位的压力差异识别出乘坐者身份,准确率达到98%。这项技术可作为汽车防盗系统,通过这个系统,汽车可以识别驾驶者是否为车主并设置相应安全措施。数据的提取,只有你想不到,没有提取不到,关键在于如何提取、如何利用。
数据化,不是数字化。 前者,是指把现象转变为可制表分析的量化形式的过程;后者,指的是把模拟数据转换成用0和1表示的二进制码。在数字化时代来临之时,在脑海中对这两个概念有清晰概念十分重要。数据化的关注重点是在“I(信息)”上,而数字化则关注“T(技术)”。数字化的发展,提高了数据化的可行性。
“数据化”文字。 谷歌的数字图书馆,是文字数据化的典范。通过文字的数据化,人可以用之阅读,机器也可以用之分析。谷歌运用这些数据化了的文本来改进它的机器翻译服务,从几年前相当于高中水平的翻译水准,到如今的令人惊叹,着实超越了英语水平不断退化的某笔者(容某笔者先找个地儿蹲着哭一会儿)。
“数据化”方位。 手机的广泛运用,让人的实时位置信息也可以被数据化,位置信息的数据化,催生了许多新价值。比如无线数据科技公司Jana的创始人伊格尔,他使用了来100多个国家的超过200个无线运营商的手机数据,既关注家庭主妇平均每周去几次洗衣店,也试图回答关于疾病如何传播等问题。新的用途不断产生,既可以用于商业,也可以用于社会研究。
“数据化”沟通。 个人化是数据化的前沿,facebook将关系数据化,twitter将情绪数据化,linkedin将个人经历数据化,这些社交网络平台,以各种方式将个人及其沟通数据化,并存储了海量的用户数据。初步的运用,例如Derwent Capital对冲基金对微博数据文本的分析,获得了股市投资的信号,虽然由于隐私问题,数据的使用还远未成熟,但我们不难想象,当数据被充分运用,世间万物是否已不再是世间万物,而是海量的数据呢?
当看到一切皆可量化这句话,还是持一定的保留态度。因为,太过绝对。但似乎,这只是一种理念的传递,为了表达数据化的重要性而已。大数据视角,提供了看世界的另外一个角度,但绝不是唯一视角。
G. 大数据是什么意思 大数据包括什么
大数据,在近几年越来越受到人们的关注,尽管大数据概念已经在各个行业中应用逐渐变得广泛起来,但是对于大多数的人来说,大数据概念在他们眼里还是模糊不清的,那么,什么叫大数据?大数据是什么意思呢?我查询整理了相关资料,希望能够帮助到大家!
由于计量、记录、预测生产生活过程的需要,人类对数据探寻的脚步从未停歇,从原始数据的出现,到科学数据的形成,再到大数据的诞生,走过了漫漫长路。
2011年5月,麦肯锡研究院发布报告——Big data: The nextfrontier for innovation, competition, and proctivity,第一次给大数据做出相对清晰的定义:“大数据是指其大小超出了常规数据库工具获取、储存、管理和分析能力的数据集。”
2015年8月31日,国务院《促进大数据发展行动纲要》指出:“大数据是以容量大、类型多、存取速度快、应用价值高为主要特征的数据集合,正快速发展为对数量巨大、来源分散、格式多样的数据进行采集、存储和关联分析,从中发现新知识、创造新价值、提升新能力的新一代信息技术和服务业态。”
《大数据白皮书2016》称:“大数据是新资源、新技术和新理念的混合体。从资源视角看,大数据是新资源,体现了一种全新的资源观;从技术视角看,大数据代表了新一代数据管理与分析技术;从理念的视角看,大数据打开了一种全新的思维角度。”
当前,业界公认的大数据有“4V特征,即:Volume(体量大)、Variety(种类多)、Velocity(速度快)和Value(价值高)。
大数据的作用在于在庞大的全量数据的基础上,通过算法模型,得出有意义的结果,进而进行资源配置的优化、现象的发现、未来的预测等。
大数据涉及由不同设备和应用程序产生的数据,主要包括以下几个领域:
1、黑匣子数据:它是直升机,飞机和喷气机等的组件。它捕捉飞行机组的声音,麦克风和耳机的录音,以及飞机的性能信息。
2、社会媒体数据:Facebook和Twitter等社交媒体保存着全球数百万人发布的信息和观点。
3、证券交易所数据:证券交易所数据保存关于由客户在不同公司的份额上做出的“买入”和“卖出”决定的信息。
4、电网数据:电网数据保持特定节点相对于基站消耗的信息。
5、运输数据:运输数据包括车辆的型号,容量,距离和可用性。
6、搜索引擎数据:搜索引擎从不同的数据库检索大量数据。
因此,大数据包含的数据是大量、高速度和可扩展的数据,其中,数据有三种类型:
(1)结构化数据:关系数据。
(2)半结构化数据:XML数据。
(3)非结构化数据:Word,PDF,文本,媒体日志
H. 大数据的定义是什么
大数据首先是一个非常大的数据集,可以达到TB(万亿字节)甚至ZB(十万亿亿字节)。这里面的数据可能既有结构化的数据,也有半结构化和非结构化的数据,而且来自于不同的数据源。
结构化的数据是什么呢?对于接触过关系型数据库的小伙伴来说,应该一点都不陌生。对了,就是我们关系型数据库中的一张表,每行都具有相同的属性。如下面的一张表:
(子标签的次序和个数不一定完全一致)
那什么又是非结构化数据呢?这类数据没有预定义完整的数据结构,在我们日常工作生活中可能更多接触的就是这类数据,比如,图片、图像、音频、视频、办公文档等等。
知道了这三类结构的数据,我们再来看看大数据的数据源有哪些呢?归纳起来大致有五种数据源。
一是社交媒体平台。如有名气的Facebook、Twitter、YouTube和Instagram等。媒体是比较受欢迎的大数据来源之一,因为它提供了关于消费者偏好和变化趋势的宝贵依据。并且因为媒体是自我传播的,可以跨越物理和人口障碍,因此它是企业深入了解目标受众、得出模式和结论、增强决策能力的方式。
二是云平台。公有的、私有的和第三方的云平台。如今,越来越多的企业将数据转移到云上,超越了传统的数据源。云存储支持结构化和非结构化数据,并为业务提供实时信息和随需应变的依据。云计算的主要特性是灵活性和可伸缩性。由于大数据可以通过网络和服务器在公共或私有云上存储和获取,因此云是一种高效、经济的数据源。
三是Web资源。公共网络构成了广泛且易于访问的大数据,个人和公司都可以从网上或“互联网”上获得数据。此外,国内的大型购物网站,淘宝、京东、阿里巴巴,更是云集了海量的用户数据。
四是IoT(Internet of Things)物联网数据源。物联网目前正处于迅猛发展势头。有了物联网,我们不仅可以从电脑和智能手机获取数据,还可以从医疗设备、车辆流程、视频游戏、仪表、相机、家用电器等方面获取数据。这些都构成了大数据宝贵的数据来源。
五是来自于数据库的数据源。现今的企业都喜欢融合使用传统和现代数据库来获取相关的大数据。这些数据都是企业驱动业务利润的宝贵资源。常见的数据库有MS Access、DB2、Oracle、MySQL以及大数据的数据库Hbase、MongoDB等。
我们再来总结一下,什么样的数据就属于大数据呢?通常来大数据有4个特点,这就是业内人士常说的4V,volume容量、 variety多样性、velocity速度和veracity准确性。