1. 大数据的预测功能是增值服务的核心
大数据的预测功能是增值服务的核心
从走在大数据发展前沿的互联网新兴行业,到与人类生活息息相关的医疗保健、电力、通信等传统行业,大数据浪潮无时无刻不在改变着人们的生产和生活方式。大数据时代的到来,给国内外各行各业带来诸多的变革动力和巨大价值。
最新发布的报告称,全球大数据市场规模将在未来五年内迎来高达26%的年复合增长率——从今年的148.7亿美元增长到2018年的463.4亿美元。全球各大公司、企业和研究机构对大数据商业模式进行了广泛地探索和尝试,虽然仍旧有许多模式尚不明朗,但是也逐渐形成了一些成熟的商业模式。
两种存储模式为主
互联网上的每一个网页、每一张图片、每一封邮件,通信行业每一条短消息、每一通电话,电力行业每一户用电数据等等,这些足迹都以“数据”的形式被记录下来,并以几何量级的速度增长。这就是大数据时代带给我们最直观的冲击。
正因为数据量之大,数据多为非结构化,现有的诸多存储介质和系统极大地限制着大数据的挖掘和发展。为更好地解决大数据存储问题,国内外各大企业和研究机构做了许许多多的尝试和努力,并不断摸索其商业化前景,目前形成了如下两种比较成熟的商业模式:
可扩展的存储解决方案。该存储解决方案可帮助政府、企业对存储的内容进行分类和确定优先级,高效安全地存储到适当存储介质中。而以存储区域网络(SAN)、统一存储、文件整合/网络连接存储(NAS)的传统存储解决方案,无法提供和扩展处理大数据所需要的灵活性。而以Intel、Oracle、华为、中兴等为代表的新一代存储解决方案提供商提供的适用于大、中小企业级的全系存储解决方案,通过标准化IT基础架构、自动化流程和高扩展性,来满足大数据多种应用需求。
云存储。云存储是一个以数据存储和管理为核心的云计算系统,其结构模型一般由存储层、基础管理、应用接口和访问层四层组成。通过易于使用的API,方便用户将各种数据放到云存储里面,然后像使用水电一样按用量进行收费。用户不用关心数据的存储介质、网络状况以及安全性的管理,只需按需向提供方购买空间。
源数据价值水涨船高
在红红火火的大数据时代,随着数据的累积,数据本身的价值也在不断升值,这种情况很好地反应了事物由量变到质变的规律。例如有一种罕见的疾病,得病率为十万分之一,如果从小样本数据来看非常罕见,但是扩大到全世界70亿人,那么数量就非常庞大。以前技术落后,不能将该病情数字化集中研究,所以很难攻克。但是,我们现在把各种各样的数据案例搜集起来统一分析,我们很快就能攻克很多以前想象不到的科学难题。类似的例子,不胜枚举。
正是由于可以通过大数据挖掘到很多看不见的价值,源数据本身的价值也水涨船高。一些掌握海量有效数据的公司和企业找到了一条行之有效的商业路径:对源数据直接或者经过简单封装销售。在互联网领域,以Facebook、twitter、微博为代表的社交网站拥有大量的用户和用户关系数据,这些网站正尝试以各种方式对该源数据进行商业化销售,Google、Yahoo!、网络[微博]等搜索公司拥有大量的搜索轨迹数据以及网页数据,他们可以通过简单API提供给第三方并从中盈利;在传统行业中,中国联通[微博](3.44, 0.03, 0.88%)、中国电信[微博]等运营商拥有大量的底层用户资料,可以通过简单地去隐私化,然后进行销售盈利。
各大公司或者企业通过提供海量数据服务来支撑公司发展,同时以免费的服务补偿用户,这种成熟的商业模式经受住了时间的考验。但是对于任何用户数据的买卖,还需处理好用户隐私信息,通过去隐私化方式,来保护好用户隐私。
预测是增值服务的核心
在大数据基础上进行深度挖掘,所衍生出来的增值服务,是大数据领域最具想象空间的商业模式。大数据增值服务的核心是什么?预测!大数据引发了商业分析模式转变,从过去的样本模式到现在的全数据模式,从过去的小概率到现在的大概率,从而能够得到比以前更准确的预测。目前形成了如下几种比较成熟的商业模式。
个性化的精准营销。一提起“垃圾短信”,大家都很厌烦,这是因为本来在营销方看来是有价值的、“对”的信息,发到了“错”的用户手里。通过对用户的大量的行为数据进行详细分析,深度挖掘之后,能够实现给“对”的用户发送“对”的信息。比如大型商场可以对会员的购买记录进行深度分析,发掘用户和品牌之间的关联。然后,当某个品牌的忠实用户收到该品牌打折促销的短信之后,一定不是厌烦,而是欣喜。如优捷信达、中科嘉速等拥有强大数据处理技术的公司在数据挖掘、精准广告分析等方面拥有丰富的经验。
企业经营的决策指导。针对大量的用户数据,运用成熟的数据挖掘技术,分析得到企业运营的各种趋势,从而给企业的决策提供强有力的指导。例如,汽车销售公司,可以通过对网络上用户的大量评论进行分析,得到用户最关心和最不满意的功能,然后对自己的下一代产品进行有针对性的改进,以提升消费者的满意度。
总体来说,从宏观层面来看,大数据是我们未来社会的新能源;从企业微观层面来看,大数据分析和运用能力正成为企业的核心竞争力。深入研究和积极探索大数据的商业模式,对企业的未来发展有至关重要的意义。
2. 多大的数据,才能称为大数据呢
5. Veracity(真实性)
大数据就一定真实么?并没有。为什么这么说呢,想象一下当下泛滥的作弊流量吧,你还敢确保你的用户数据并没有虚假的吗?所以,大数据也是可以造假的,我们一定要有一双智慧的眼睛却辨别大数据的好坏。
3. 大数据的数据单位有哪些
大数据发展趋势
趋势一:数据的资源化
何为资源化,是指大数据成为企业和社会关注的重要战略资源,并已成为大家争相抢夺的新焦点。因而,企业必须要提前制定大数据营销战略计划,抢占市场先机。
趋势二:与云计算的深度结合
大数据离不开云处理,云处理为大数据提供了弹性可拓展的基础设备,是产生大数据的平台之一。自2013年开始,大数据技术已开始和云计算技术紧密结合,预计未来两者关系将更为密切。除此之外,物联网、移动互联网等新兴计算形态,也将一齐助力大数据革命,让大数据营销发挥出更大的影响力。
趋势三:科学理论的突破
随着大数据的快速发展,就像计算机和互联网一样,大数据很有可能是新一轮的技术革命。随之兴起的数据挖掘、机器学习和人工智能等相关技术,可能会改变数据世界里的很多算法和基础理论,实现科学技术上的突破。
趋势四:数据科学和数据联盟的成立
未来,数据科学将成为一门专门的学科,被越来越多的人所认知。各大高校将设立专门的数据科学类专业,也会催生一批与之相关的新的就业岗位。与此同时,基于数据这个基础平台,也将建立起跨领域的数据共享平台,之后,数据共享将扩展到企业层面,并且成为未来产业的核心一环。
趋势五:数据泄露泛滥
未来几年数据泄露事件的增长率也许会达到100%,除非数据在其源头就能够得到安全保障。可以说,在未来,每个财富500强企业都会面临数据攻击,无论他们是否已经做好安全防范。而所有企业,无论规模大小,都需要重新审视今天的安全定义。在财富500强企业中,超过50%将会设置首席信息安全官这一职位。企业需要从新的角度来确保自身以及客户数据,所有数据在创建之初便需要获得安全保障,而并非在数据保存的最后一个环节,仅仅加强后者的安全措施已被证明于事无补。
4. 大数据的数量级是几字节
大数据的数量级有 MB (兆字节),GB(吉字节),TB,PB,EB,它们之间的进率都是1024,即2^10。所以大数据的数量级多以TB或PB为单位,GB量级偏小。
普通个人电脑所能存储的数据,一般是几百个GB到几个TB的级别。例如,常见的固态硬盘,512GB就已经比较大了;常见的机械硬盘,可达1TB/2TB/4TB的容量。
而大数据是PB/EB级别。其实就是在TB的基础上每一级接着乘以1024。
PB(Peta Byte)— 皮字节,也就是1024TB
EB(Exa Byte)— 艾字节,也就是1024PB
ZB(Zetta Byte)— 泽字节,也就是1024EB
YB(Yotta Byte)— 尧字节,也就是1024ZB
上述的这些大的单位在日常生活中几乎接触不到,而且常人也已经无法直观地感受到这些单位能大到什么让人吃惊的程度。
5. 什么是大数据
大数据是指在一定时间内,常规软件工具无法捕捉、管理和处理的数据集合。它是一种海量、高增长、多元化的信息资产,需要一种新的处理模式,以具备更强的决策、洞察和流程优化能力。
大数据技术的战略意义不在于掌握庞大的数据信息,而在于对这些有意义的数据进行专业的处理。换句话说,如果把大数据比作一个行业,这个行业盈利的关键在于提高数据的“处理能力”,通过“处理”实现数据的“增值”。
从技术上讲,大数据和云计算的关系就像硬币的正反面一样密不可分。大数据不能用单台计算机处理,必须采用分布式架构。其特点在于海量数据的分布式数据挖掘。但它必须依赖云计算分布式处理、分布式数据库、云存储和虚拟化技术。
扩展信息:
大数据只是现阶段互联网的一个表征或特征。没有必要将其神话或保持敬畏。在以云计算为代表的技术创新背景下,这些原本看似难以收集和使用的数据开始被轻松使用。通过各行各业的不断创新,大数据将逐渐为人类创造更多的价值。
是体现大数据技术价值的手段,是进步的基石。这里从云计算、分布式处理技术、存储技术、感知技术的发展,阐述大数据从采集、处理、存储到形成结果的全过程。
实践是大数据的终极价值。在这里,我们从互联网大数据、政府大数据、企业大数据、个人大数据四个方面来描绘大数据的美好图景和将要实现的蓝图。
6. 大数据 核心问题是“人”不是“技术”
大数据:核心问题是“人”不是“技术”
“要解决数字孤岛,现在的核心问题不是技术问题,而是管理问题,法律问题。”上海超级计算中心副主任李根国博士对中国青年报记者说。
“你注意到没有,每个人的手机都变成采集器了。”这位数学专家很清楚阿里巴巴等商业公司的大数据发展异常红火。手机拥有者刚显示出对某个商品表示兴趣,30秒钟之内精确的广告就会投放过来。
李根国所在的超级计算中心一直为高精尖的科研项目提供模拟和运算的平台。2014年,上海大数据中心将在超级计算中心挂牌。李根国介绍说,政府主导的大数据将会有广泛的用途。除了人口管理外,还有空间管理,绘制城市地图,建立导航系统。上海市成立了一个和航天局合作的北斗应用有限公司,注册资金两个亿,推动北斗应用落地。在相应的信息系统里,有了传感信息后,救护车、公交车走到哪里了,管理者看得清清楚楚。此外,用大数据搜集经济运行的数据也改变着传统的政府统计。从抽样调查抽取几个样本到大数据的全样本,管理系更强,更准确。
像上淘宝一样挂号看病
何萍所在的上海申康医院发展中心,就是大数据用于公共服务的典型范例。
“我们的医疗预约平台每天产生的数据是P级。”申康医疗事业部的高级工程师、医联中心主任何萍说。1P相当于20万部5G大小的高清电影。
据何萍观察,老百姓通常是一大早看病,但往往是早上出门,真正看上病已是下午,挂号排队太慢了。有时没看上,一天就要跑几家医院。而现在,挂号可以仅需一部手机。
何萍所在的申康团队指导开发的上海三级医院预约平台上有上海所有区县的38家医院的专家信息,精确到哪个科、哪天排班都清楚可查。市民可以直接预约感兴趣的专家,预约精确到一个小时,不用过分排队。每次挂号信息的变动就会进入HIS(医院信息系统)信息里,预约成功短信知会。医保卡一刷实时互通。
市民在联网的任何一家医院看病,医生都可以在数据库中调出住院小结和处方等患者信息,医院之间并无壁垒,信息联通包括影像互认。比如病人在某家医院做过CT, 在另一家医院看病时,片子和报告会详细地显示出来。如果医生判断病情并无特别需要再做检查,比如CT显示在一个月内,他可以直接以这份非本医院的报告作为诊断依据,免去病人再受辐射之苦。
“医疗专家是紧缺资源。有时候老百姓只认大牌的专家,其他的都不知道。这就是医疗信息不对称造成的,也是通过平台可以改善的。”何萍说。他们参考淘宝的做法,为预约的市民推荐“你同样喜欢”。在有号的情况下,市民可以同步选择同类医疗专家。看完病还可以打星和评价。比方病人都想看血液专家吴孟超,但他90多岁的人了,一周就来一次,何萍他们就会推荐吴孟超的学生和师弟师妹,也都是很好的专家,患者满意,医院也实现了分流。
最大的突破还是在管理机制上
李根国认为,政府主导的大数据服务将更侧重对社会管理提供公共服务。在他看来,大数据未来发展面临的壁垒,更多来自于技术之外。他发现,一个人的基础人口数据有五十几个字段,包含年龄、性别、社保,户籍等信息。各主管单位各自掌握,往往并不共享,一个人的信息在一处更改后,在另一处不能同步更改,就会造成很多麻烦。而基层街道、区县需要弄清楚自己小区内的户籍人口,流动人口以进行管理,但却无法从掌握数据的上级部门获得相关数据。
在医疗系统工作多年的何萍觉得,最大的突破还是在管理机制上。
医疗领域多年来有着固有的思维,医院各有所属互不相认,这曾经是“搬不动的大山”。上海市基于电子信息档案的卫生系统工程,是国内首例采用美国HIS标准来运行的信息平台。这个项目在2006年启动,2008年23家市级医院联通起来,2010年卫生部和总后勤部所属的10家医院也加入进来,紧接着连接着的是4家郊区医院和属于宋庆龄基金会的医院,形成了现在38家的规模。
从社区医院一层层打通到一二三级医院,数据不能有断档。打破信息的壁垒,也对医院的管理规范提出了更高的要求。排班涉及科室、病房、门诊、查房,合理协调好以后需要提前一个月上传平台。预约精确到一个小时,牵一发动全身。一旦要变更,要把短消息及时推送出去。
“大数据在带来我们产业发展的时候,怎么防止不法分子利用?系统安全是第一位的。包括运行的物理安全,和信息安全。”李根国说。
而为公共服务时,管理上的疏忽有时会带来安全隐患。
接受采访前一天,何萍就接到一个患者的投诉电话:他的乙肝病人身份在社区医院看小毛病时显示在系统上,病人既尴尬又愤怒。实际上,系统早有规定:为了避免歧视,对于传染病的一些数据共享要求是有严格保护的,只有在问诊相关病症时才会有所显示。但在一二三级联动过程中,数据推到基层,区里没有管理好。
“上层设计好了,技术才有支撑。”何萍感慨说。这个本科硕士都攻读信息工程的标准工科女,博士选择了管理学。
大数据是台综合大戏
2003年,从测绘专业毕业的毛炜青在一线工作了一段时间以后,3天内开发完成了一个基于服务的带有GIS分析功能的地名处理软件工具,在民防办信息中心的服务器上运行,这个基于地理位置的系统为当时社会管理者提供了整个上海市的流动与常驻人口的信息地图。
“地理信息本来就是综合的。”这位上海市测绘员基础信息地理中心的总工程师、国家注册测绘师对中国青年报记者说。在测绘一线工作时,他需要对测绘地的地质、水文甚至建筑、文化都有所了解才能做到精确。而如今,他越来越多地需要与其他政府部门合作,将地理信息与人口等信息相连。据他介绍,随着一个个cbd的兴起,现在的行业新热点是获取楼内的位置信息,用数据再造一座虚拟的热闹大楼,方便火灾监控等一系列的社会管理。
他的团队并不需要如阿里巴巴等商业公司一样,24小时在线为涌进来的数据准备着,他们所做的工作主要是利用超强的计算能力,汇集和加工数据。首先,从网络上搜集的和政府提供的数据。通过技术和人工的手段来甄别:哪些有用,哪些是垃圾;接着,对汇集的数据以应用的不同进行分类,打上标签,用特定的关键字就能查到。
何萍团队近期的工作是与银联的合作。从2010年起,上海许多医院开始推行各自的充值卡,用于院内消费。和银联合作后,一张卡可以在所有医院使用,既方便患者看病,又减轻窗口工作量。卡片轻松一划完成交易,需要涉及银行之间、医院之间划拨与结算。
“我们自己做一套结算体系,既费精力,又不专业,这需要行业间的融合。”何萍说。巧的是,在不久前的一次科研性奖项的竞争中,这两家是对手。
以上是小编为大家分享的关于大数据 核心问题是“人”不是“技术”的相关内容,更多信息可以关注环球青藤分享更多干货
7. “大数据” 到底有多大
截止到2012年,数据量已经从TB(1024GB=1TB)级别跃升到PB(1024TB=1PB)、EB(1024PB=1EB)乃至ZB(1024EB=1ZB)级别。
内国际数据公司(IDC)的研容究结果表明,2008年全球产生的数据量为0.49ZB,2009年的数据量为0.8ZB,2010年增长为
1.2ZB,2011年的数量更是高达1.82ZB,相当于全球每人产生200GB以上的数据。而到2012年为止,人类生产的所有印刷材料的数据量是
200PB,全人类历史上说过的所有话的数据量大约是5EB。
IBM的研究称,整个人类文明所获得的全部数据中,有90%是过去两年内产生的。而到了2020年,全世界所产生的数据规模将达到今天的44
倍。每一天,全世界会上传超过5亿张图片,每分钟就有20小时时长的视频被分享。然而,即使是人们每天创造的全部信息——包括语音通话、电子邮件和信息在
内的各种通信,以及上传的全部图片、视频与音乐,其信息量也无法匹及每一天所创造出的关于人们自身的数字信息量。这样的趋势会持续下去。
8. 所谓大数据一般是指多大的数据量
其实首先你要区分大数据和大数据量的概念。大数据量只是一个纯粹的数据量级的问题,而现在大家所谈论的大数据主要包括搜索、新闻、博客、微博等社交网、移动电话和短信、热线电话和监控数据、通测数据等等。这些数据大多数为我们日常社交生活或是语音通信时产生。通常为TB级别,非结构化数据。而TB级别的数据用excel或者其他数据分析工具是很难展现处理的,这时就需要BI工具来应对大数据。FineBI针对大数据有专门的大数据量解决方案,可以去它的官网看看,就不附链接了
9. 大数据是什么
大数据是什么意思呢?
如果从字面意思来看,大数据指的是巨量数据。那么可能有人会问,多大量级的数据才叫大数据?不同的机构或学者有不同的理解,难以有一个非常定量的定义,只能说,大数据的计量单位已经越过TB级别发展到PB、EB、ZB、YB甚至BB级别。
最早提出“大数据”这一概念的 是全球知名咨询公司麦肯锡,它是这样定义大数据的:一种规模大到在获取、存储、管理、分析方面大大超出了传统数据库软件工具能力范围的数据集合,具有海量的数据规模、快速的数据流转、多样的数据类型以及价值密度低四大特征。
研究机构Gartner是这样定义大数据的:“大数据”是需要新处理模式才能具有更强的决策力、洞察发现力和流转优化能力来适应海量、高增长率和多样化的信息资产。若从技术角度来看,大数据的战略意义不在于掌握庞大的数据,而在于对这些含有意义的数据进行专业化处理,换言之,如果把大数据比作一种产业,那么这种产业盈利的关键在于提高对数据的“加工能力”,通过“加工”实现数据的“增值”。