『壹』 大数据攻略案例分析及结论
大数据攻略案例分析及结论
我们将迎来一个“大数据时代”。与变化相始终的中国企业,距离这场革命还有多远?而追上领先者又需要多快的步伐?
{研究结论}
怎样才能用起来大数据?障碍如何解决?中国企业家研究院对10多家在大数据应用方面的领先企业进行了采访调研,更多家企业进行了书面资料调研,我们发现:
■ 当前中国企业的大数据应用可以归类为:大数据运营、大数据产品、大数据平台三大=领域,前两者更多是企业内部的应用,后者则在于用大数据来繁荣整个平台企业群落的生态。
■ 大数据营销的本质是一个影响消费者购物前心理路径的问题,而这在大数据时代前很难做到。
■ 对于传统企业而言,要打通线上与线下营销,实现新的商业模式,如O2O等,离不开大数据。
■ 虽然大数据应用往往集中于大数据营销,但对于一些企业,大数据的应用早已超越了营销范畴,全面进入了企业供应链、生产、物流、库存、网站和店内运营等各个环节。
■ 对于大部分企业,由于数据分析人员与业务人员之间的彼此视角与思考方向不同,大数据分析和运营之间存在脱节情况,这是大数据无法用于企业运营最大的阻力
■ 对于大多数互联网公司来说,大数据量、大用户量是一个相互促进,强者越强的循环过程。
■ 对于大型互联网平台,大数据已经成为其生态循环中的血液,对于这些企业,最重要
的不是如何利用大数据改进自身运营,而是利用大数据更好地繁荣平台生态。
■ 对于平台企业,它们的大数据策略正逐渐从大数据运营,向运营大数据转变,前者和
后者的差别在于,前者只是运营改进的动力,而后者则成为企业实现未来战略的核心资源。
我们都已被反复告知:我们将迎来一个“大数据时代”。
大数据应用,将和云计算、3D打印这些技术变革一样,颠覆既有规则,并成为先行企业的制胜关键。
与变化相始终的中国企业,距离这场革命还有多远?而追上领先者又需要多快的步伐?
来自于互联网、移动互联网、物联网传感器、视频采集系统的数据正海量增长,汇成大数据的海洋,相伴的是海量数据存储、分析技术的突破性发展,所有这一切都给企业的应用带来了无限可能性。
许多企业希望将大数据用起来,带动企业的经营,但不知从哪里着手。它们不惜重金投资大数据信息系统、分析系统,聘请更多的人才,希望能从这个新趋势中获益,不过却无奈地发现,大数据仍然停留在云端,没有带来多少实际收益。它们找不到大数据与业务结合的突破口。而一些真正将大数据应用于实战的企业,却在应用过程中困难重重:大数据无法与业务结合;没有收集、分析海量数据的能力;经营人员缺少应用大数据的动力;数据来源鱼龙混杂难以使用……
中国企业家研究院对当前中国企业大数据应用的状况进行了归纳分类,以帮助企业了解实际应用大数据时的困局难点,并提供领先企业的典型案例以资借鉴。
表1
表2
大数据运营—企业提升效率的助推力
对于大多数企业而言,运营领域的应用是大数据最核心的应用,之前企业主要使用来自生产经营中的各种报表数据,但随着大数据时代的到来,来自于互联网、物联网、各种传感器的海量数据扑面而至。于是,一些企业开始挖掘和利用这些数据,来推动运营效率的提升。大数据运营应用中,大数据的应用分为三类:用于企业外部营销、用于内部运营,以及用于领导层决策。
一、大数据营销
大数据营销的本质是影响目标消费者购物前的心理路径,它主要应用在三个方面:1、大数据渠道优化,2、精准营销信息推送,3、线上与线下营销的连接。在消费者购物前,通过各种方式,直接介入其信息收集和决策过程。而这种介入,是建立在对于线上与线下海量用户数据分析的基础之上。相比传统狂轰滥炸或等客上门的营销,大数据营销无论在主动性和精准性方面,都有非常大的优势。它是目前主要的大数据应用领域。
大数据营销不仅仅是用大数据找出目标顾客,向其发布促销信息,它还可以做到:
实现渠道优化。根据用户的互联网痕迹进行渠道营销效果优化,就是根据互联网上顾客的行为轨迹来找出哪个营销渠道的顾客来源最多,哪个来源顾客实际购买量最多,是否是目标顾客等等,从而调整营销资源在各个渠道的投放。例如东风日产,它利用对顾客来源的追踪,来改进营销资源在各个网络渠道如门户网站、搜索和微博的投放。
精准营销信息推送。精准建立在对海量消费者的行为分析基础之上,消费者网络浏览、搜索行为被网络留下,线下的购买和查看等行为可以被门店的POS机和视频监控记录,再加上他们在购买和注册过程中留下的身份信息,在商家面前,正逐渐呈现出消费者信息的海洋。
一些企业通过收集海量的消费者信息,然后利用大数据建模技术,按消费者属性(如所在地区、性别)和兴趣、购买行为等维度,挖掘目标消费者,然后进行分类,再根据这些,对个体消费者进行营销信息推送。比如孕妇装品牌十月妈咪通过对自己微博上粉丝评论的大数据分析,找出评论有“喜爱”相关关键词的粉丝,然后打上标签,对其进行营销信息推送。京东商城副总经理李曦表示:“用大数据找出不同细分的顾客需求群,然后进行相应的营销,是京东目前在做的事情。”小也化妆品将自身网站作为收集消费者信息的雷达,对不同消费者推荐相应的肌肤解决方案,创始人肖尚略希望在未来,大数据营销能替代网站的作用,真正成为面向顾客的前端。
打通线上线下营销。一些企业将互联网上海量消费者的行为痕迹数据与线下购买数据打通,实现了线上与线下营销的协同。比如东风日产,线上与线下的协同营销方式为:其门户网站带来订单线索,而通过这些线索,服务人员进行电话回访,从而推动顾客在线下交易。在此过程中,东风日产记录了消费者进入、浏览、点击、注册、电话回访和购买各个环节的数据,实现了一个横跨线上线下,以大数据分析为支持的,营销效果不断优化的闭环营销通路。而国双科技,衡量某一地区线下促销活动的效果,就是看互联网上,来自这个地区对于促销内容的搜索量。一些企业,通过鼓励线下顾客使用微信和Wi-Fi等可追踪消费者行为和喜好的设备,来打通线上与线下数据流,银泰百货计划铺设Wi-Fi,鼓励顾客在商场内使用,然后根据Wi-Fi账号,找出这个顾客,再通过与其它大数据挖掘公司合作,以大数据的手段,发掘这个顾客在互联网的历史痕迹,来了解这个顾客的需求类型。
二、大数据用于内部运营
相比大数据营销,大数据在内部运营中的应用更深入,对于企业内部的信息化水平,以及数据采集和分析能力的要求更高。本质上,是将企业外部海量消费者数据与企业内部海量运营数据联系起来,在分析中得到新的洞察,提升运营效率。(详见P96表5:大数据在内部运营中的应用)
表5
三、大数据用于决策
在大数据时代,企业面对众多新的数据源和海量数据,能否基于对这些数据的洞察,进行决策,进而将其变成一项企业竞争优势的来源?同大数据营销和大数据内部运营相比,运用大数据决策难度最高,因为它需要一种依赖数据的思维习惯。
已有少数企业开始尝试。比如国内一些金融机构在推出一个金融产品时,会广泛分析该金融产品的应用情况和效果、目标顾客群数据、各种交易数据和定价数据等,然后决定是否推出某个金融产品。
但是,中国企业家研究院在调研中发现,目前中国企业当中,大数据决策的应用非常之少,许多企业领导者进行决策时,仍习惯于凭借历史经验和直觉。
大数据产品——企业利润滋长的新源泉
大数据除了用于运营外,还能够与企业产品结合,成为企业产品背后竞争力的核心支持或者直接成为产品。提供大数据产品的企业分为两类,直接提供大数据产品的企业,以及将大数据作为产品和服务核心支撑的企业。前者主要为大数据产业链中提供数据服务的参与者,包括数据拥有者、存储企业,挖掘企业、分析企业等,后者则主要是那些以大数据为产品核心支撑的企业,它们大多是互联网企业,其产品和服务先天就有大数据基因,这些企业包括搜索引擎、在线杀毒、互联网广告交易平台以及众多植根于移动互联网之上,为用户提供生活和资讯服务的APP等。
表3
表4
一、大数据作为产品核心支持
它们主要在以下几方面使用大数据:
1、提供信息服务。很多互联网企业通过对海量互联网信息和线下信息的整合和分析,为个人和企业提供信息服务,典型的如网络、去哪儿、一淘、高德地图、春雨医生等等。在美国,一些互联网企业甚至根据大数据提供更深度的预测信息服务,美国科技创新公司farecast,通过分析特定航线机票的价格,帮助消费者预测机票价格走势。
2、分析用户的个性化需求,借此提供个性化产品和服务,或者实现更精准的广告。典型的有移动社交工具陌陌、网络、腾讯、广告交易平台品友互动以及一些互联网游戏商。这种应用往往先是收集海量用户的互联网行为数据,将用户分类,根据不同类型的用户,提供个性化的产品,或者提供个性化的促销信息。比如网易等门户网站推出了订阅模式,让使用者按照个人喜好方便地定制和整合不同来源的信息。
3、增强产品功能。对于很多互联网产品,如杀毒软件、搜索引擎等等,海量数据的处理能够让产品变得更聪明更强大,如果没有大数据,产品的功能就大大减弱。比如奇虎360公司的360杀毒软件,凭借每天海量的杀毒处理,建立了庞大的病毒库,这使它能够更快地发现病毒,而一些小的杀毒软件公司则无法做到这一点。
4、掌控信用状况,提供信贷服务。阿里巴巴上汇集了海量中小企业的日常资金与货品往来,通过对这些往来数据的汇总与分析,阿里巴巴能发现单个企业的资金流与收入情况,分析其信用,找出异常情况与可能发生的欺诈行为,控制信贷风险。
5、实现智能匹配。婚恋网站、交易平台等,利用大数据可以进行精准而高效的配对服务。网易花田会挖掘用户行为数据,比如点击哪些异性的页面,发表什么样的评论,建立用户兴趣模型,从而挖掘到用户所期待另一半的类型,然后主动推荐与对方匹配度比较高的人选。2010年,阿里巴巴尝试性地推出“轻骑兵”服务,由阿里巴巴将中国各产业集群地的供应商与海外买家的个性采购需求进行快速匹配,所凭借的,就是对供应商的海量交易数据信息的整合与挖掘。
大数据作为产品核心支撑的关键在于用户量。对于大多数互联网公司来说,用户量越多,收集的数据越多,凭借更多的数据,其产品与商业模式会不断改进,进而带来更多的用户。
二、大数据直接作为产品
对一些企业,大数据直接成为了产品,这些产品包括海量数据、分析、存储与挖掘的服务等,目前大数据产业链正在形成过程中,出现了一批开放、出售、授权大数据和提供大数据分析、挖掘的公司和机构,前者主要是一些拥有海量数据的公司,将数据服务作为新的盈利来源。如大型的互联网平台、民航、电信运营商、一些拥有大数据的政府机构等等,后者主要包括一些能够存储海量数据或者将海量数据与业务场景结合,进行分析和挖掘,或者提供相关产品的公司,如IBM、SAP、拓而思、天睿公司。它们为大数据应用者们提供海量数据存储、数据挖掘、图像视频、智能分析等服务以及相关系统产品。
大数据平台——企业群落繁荣的滋养剂
相对企业本身对大数据的应用,大数据平台更多是利用大数据来搭建企业生态。一些拥有庞大数据资源的大型互联网平台,已变为包含海量寄生者的生态系统。在这个生态系统中,它们将海量用户互联网行为痕迹和分析提供给平台上的企业,用于它们改善经营,推动整个平台生态繁荣,在这一过程中,它们也收取数据服务费。阿里巴巴就是一个典型的例子,从数据魔方、黄金策到聚石塔,阿里巴巴不断地为平台上中小电商提供数据产品和服务。
而网络已建成了包括网络指数、司南、风云榜、数据研究中心和网络统计在内的五大数据体系平台,帮助其营销平台上的企业了解消费者行为、兴趣变化,以及行业发展状况、市场动态和趋势、竞争对手动向等信息。
而当大数据从企业内部运营的动力,变成平台企业的产品和服务时,平台企业也在经历着一个从大数据运营到运营大数据的阶段。数据从运营的支持工具,变成了生产资料。此前平台们的关注点,更多的是如何用好现有的大数据。而未来,它们的关注点则更多是如何将大数据这个生产资料管理好、经营好,如何更好地为平台上的企业服务。这就涉及到收集的数据质量怎样?格式标准是否统一?数据作为一种原材料,其精细化程度如何?是否符合平台上企业应用的具体场景?是平台上企业拿来就能用的,还是还需要平台上的企业再加工?
为解决这些问题,各个平台在积极地努力。比如阿里巴巴建立了数据委员会,在统一数据格式标准、从源头上保证数据的质量,采集和加工出精细化的数据,确保其能符合平台企业的应用场景等方面,不遗余力地尝试。尤其在大数据精细化方面,阿里巴巴更是作为其大数据战略的重点。这方面,腾讯目前也在加快步伐。比如新版腾讯网出现了“一键登录”的提示,用户可以在上面通过一些细分标签,订阅自己关注的内容。实际上,这也是腾讯收集更精细化的用户兴趣数据的一个有效手段。
Tips
大数据实战手册
将大数据应用于内部运营中时,企业会遇到一些常见问题
1企业如何获取与分析数据?
互联网是大数据的一个主要来源,一些线下的传统企业很难获得。但它们可以:
a 和拥有或能抓取海量数据的平台、企业以及政府机构合作。比如淘宝上的电商就购买淘宝收集的海量数据中与自身运营相关的部分,用于自身业务。再如卡夫通过与IBM合作,在博客、论坛和讨论版的内容中抓取了47.9万条关于自己产品的讨论信息,通过大数据分析出消费者对卡夫食品的喜爱程度和消费方式。
b 建立自己在互联网上的平台,比如朝阳大悦城利用自己的微信、微博等平台收集消费者评论数据。
c 许多传统企业没有分析海量数据的能力,此时它们可以和大数据分析和挖掘公司合作,目前市场上已经有天睿公司、IBM、百分点、华胜天成等一批提供大数据分析和挖掘服务的公司,它们是传统企业进行大数据分析可以借助的力量。
2 如何避免大数据应用时的部门分割?
对于许多企业,其信息流被各部门彼此分割,数据难以互通,对于这种情况下,大数据的共享和汇集就只是一个泡影,更难以实现大数据的深度应用。
要打通部门之间信息分割的局面,首先要建立统一的、集中的数据系统。就像立白信息与知识总监王永红所说的,“要真正用好大数据,企业要采用大集中的信息系统。”从更深入的角度来谈,企业信息流的部门分割,更在于企业部门之间的分割,比如有一些企业的营销按照渠道分割,导致对于顾客的大数据收集和分析效果大打折扣。
IBM智慧商务技术总监杨旭青认为,“很多时候由于组织结构问题,大数据分析有效性大大降低了。”这就需要组织与流程层面的重新设计,在这方面,阿里巴巴的部门负责人轮岗制度,对于打破部门壁垒无疑是一剂好药。而一些企业为了打破部门分割,建立了矩阵型的组织结构,强化部门间的横向合作,这些无疑为大数据的汇集、共享与应用创造了良好条件。
3 如何让业务人员重视大数据的应用?
解决这个问题,一方面在于一把手对整个企业数据文化的倡导,比如1号店董事长于刚就要求业务人员无论在开会,还是汇报工作时,都以数据说话,而马云更是将大数据提升到了战略高度。
另一方面,也在于数据部门的带动,阿里巴巴数据委员会负责人车品觉分享了经验,“因为运营部门的业务人员很难看到大数据的潜力,可以首先从一些对业务见效快,见效显著的数据项目出发,通过一两个项目的成功,调动对方的积极性,然后再逐步一个个地引导。”
4 为何大数据工作与运营需求脱节?
这往往是由于数据人员与业务人员视角、专业知识不同而导致的。大数据人员做了很多努力,但是业务人员却认为这些努力无关痛痒。如何解决这个问题?
有的企业从组织设计上发力,将大数据纳入业务分析部门的管理之下,用业务统驭数据。对于朝阳大悦城,由主要负责战略和经营分析的部门来管理大数据工作,其中的大数据分析人员则作为支持人员。在负责人张岩看来,大数据要靠商业法则指导,关键是找到业务需求的点,然后由数据分析和挖掘人员实现。在具体操作中,大悦城对微信的数据挖掘,挖掘什么样的关键词,由业务分析人员确定,而具体挖掘则由数据部门做;有的企业从流程设计上着手,推动业务部门与数据部门人员之间的沟通,建立数据人员工作与效果挂钩的考核机制。
例如阿里巴巴根据数据挖掘的成效(比如带来的商品转化率的提升)来考核数据挖掘师,考核数据分析师则看其分析结果能否出现在经营负责人的报告中。从数据部门自身角度则需要降低运营部门使用数据的障碍和门槛,比如立白集团的数据人员会努力尝试向运营部门提供更易懂、更生动的图形化数据分析界面,在立白老板办公室上,就有一份“客户运营健康体检表”,让老板对全国经销商的当月销售情况一目了然。再如阿里巴巴开发的无线Bi,让经营人员在手机上也可以看到大数据分析结果,拿车品觉的话说,“以数据之氧气包围经营人员。”
以上是小编为大家分享的关于大数据攻略案例分析及结论的相关内容,更多信息可以关注环球青藤分享更多干货
『贰』 有谁知道江苏大数据联盟是什么单位
联盟全称:江苏大数据联盟(以下简称大数据联盟),英文名称为Jiangsu Big Data Alliance,缩写为 jsBDA。
联盟指导单位:江苏省经济和信息化委员会
联盟官网地址:www.jsbigdata.net.cn
联盟性质:联盟是在江苏省经济和信息化委员会的指导下,由省内从事大数据技术研究与产品研发、生产、推广、应用的企事业单位及社会团体按照“自愿、平等、合作”的原则发起成立的行业性、非营利性的联合体。
联盟宗旨:围绕大数据技术链、产业创新链,运用市场机制集聚创新资源,实现产学研用等机构在战略层面的有效结合,通过资源共享、协同行动和集成发展,形成产业核心竞争力,有效提升江苏大数据关键技术创新水平,推动大数据应用和产业发展,促进数据驱动的产业变革和模式创新,服务国家和地方创新体系建设,促进经济社会发展。
联盟任务及工作内容:
为了充分发挥联盟的桥梁和纽带作用,承担政府各类委托任务,为政府决策提供参考依据;组织开展行业热点问题调研,形成行业大数据重点应用调研报告,向政府反映行业诉求,提出促进本省大数据技术创新和产业发展的政策建议。开展大数据相关标准的研究,探索数据采集、处理、使用等过程中隐私保护、数据安全保护等相关方面的规范,推动相关标准和规范的制定与应用。
组织大数据产业链上的相关企业,开展供需对接活动,促进大数据的技术服务、产品推广、项目协同创新等产学研用合作,推动联盟会员间大数据项目的建设,并逐步探索联盟内部会员之间数据共享机制。
定期编辑大数据技术创新和产业发展简报、组织开展优秀案例汇编、重点项目展示等宣传推广工作。积极探索构建政策资源、产品资源和公共数据资源等公共数据库。
依托高校科研院所、培训机构等联盟会员,开展大数据相关人才培训,特别是多层次人才的知识更新和培训。
发挥联盟作用,围绕大数据产业生态链,对接多层次资本市场,结合政府政策支持,推动大数据应用和产业发展,促进数据驱动的产业变革和模式创新。
欢迎贵公司加入江苏大数据联盟~
『叁』 做调查报告需要几个步骤
1、基本要求
(1)立场、观点要正确
搞调查研究首先必须要有正确的立场、观点,才能实事求是地进行调查研究,认识事物的本来面貌,得出合乎客观实际的结论。
(2)调查态度要端正
要想获得丰富的材料,就要有饱满的热情、艰苦深入的作风和实事求是的态度。
(3)调查目的要明确
我们进行调查研究,从根本上来说,就是为了掌握实际情况,有助于制定和执行正确的方针政策,树立先进典型,批判错误的倾向,使我们各项工作沿着正确的方向前进。
(4)调查方法要讲究
为了获得丰富的材料,还要讲究调查的方法。按照工作的步骤来说,应注意下面几个问题:
2、调查准备
(1)思想武装。
(2)选定调查研究题目。
(3)拟定调查提纲。
3、调查方法
(1)开会调查
(2)个别访问
(3)现场观察
(4)蹲点调查
(5)阅读有关书面资料
4、报告撰写
对所得的材料进行整理、分类、核实,发现遗漏疑问的地方,再作调查补充。分析、思考,提示材料的内部联系,发现事物的本质。
调查报告的特点
1、写实性。调查报告是在占有大量现实和历史资料的基础上,用叙述性的语言实事求是地反映某一客观事物。充分了解实情和全面掌握真实可靠的素材是写好调查报告的基础。
2、针对性。调查报告一般有比较明确的意向,相关的调查取证都是针对和围绕某一综合性或是专题性问题展开的。所以,调查报告反映的问题集中而有深度。
3、逻辑性。调查报告离不开确凿的事实,但又不是材料的机械堆砌,而是对核实无误的数据和事实进行严密的逻辑论证,探明事物发展变化的原因,预测事物发展变化的趋势,提示本质性和规律性的东西,得出科学的结论。
『肆』 大数据在社会治理中的创新应用实践
大数据在社会治理中的创新应用实践
交通拥堵一直是令城市管理者十分头疼的难题。为缓解交通拥堵,利用信息技术是其中的新方向之一。2012年IBM的研究者与法国里昂市合作开发了一套缓解道路拥堵的系统——“决策支持系统优化器”,通过整合、分析市政网络现有交通数据以及来自社交媒体的新数据来医治交通顽疾。这只是运用大数据来解决社会治理难题的一个初级案例,不远的将来,利用大数据技术进行社会决策与治理,有可能成为政府行使职能的常态。大数据技术为社会治理带来新机遇社会治理是对社会的经济、政治和文化等事务进行的组织、协调、指导、规范、监督的过程。它涉及合理有效配置社会资源,比如提供教育、文化、卫生、体育、社会保障等社会公共服务和公共产品,保障社会公平与公正;涉及通过行政及司法手段保障社会安全和社会稳定。而社会治理目标的实现,是以掌握治理对象的状况及其外部环境的信息为前提的。现阶段,我国正处在社会转型期,急剧发展变化的社会,对于包括人、财、物、事等在内的庞大而复杂的社会管理信息需求,与当前大数据技术的发展不期而遇。创新社会治理,是我国应对社会转型、化解社会矛盾、协调利益关系、维护社会秩序所面临的一项重大战略任务。针对目前社会治理领域普遍存在的服务理念滞后、决策机制不够科学、部门协作亟须加强、工作方式待改进与工作效率求提升等问题,大数据技术从认识、理论、方法、实践和效果评估等方面都能给人以启发。大数据技术通过对海量数据的快速收集与挖掘、及时研判与共享,成为支持社会治理科学决策和准确预判的有力手段,为社会转型期的社会治理创新带来了机遇。大数据在社会治理中的创新应用实践建立大数据中心,及时搜集、实时处理数据信息,为科学决策提供坚实基础。政府部门是社会治理的主导者,在出台社会规范和政策时,依赖大数据进行分析,可以减少因缺少数据支撑而带来的偏差,提高公共服务的效率。实践中,浙江法院系统通过建立全国法院案件信息数据库,及时、全面、准确地采集反映案件及其审理过程情况的各类信息,为加强对办案的全流程监管,实现科学分类、多元检索和海量数据的分析比对奠定了基础。打造大数据电子政务平台,畅通利益诉求与沟通渠道,建立主动应对的社会治理模式。大数据分析注重用户行为的分析和反馈,通过网上办事、区域联动、资源共享的电子政务平台和网格化社会管理体系,促进政府和公众互动,获取公众行为的大数据并加以分析,可以更加及时地发现社会矛盾和问题,将过去政府被动应对问题转变为主动发现问题和解决问题的治理模式。对社会大数据进行历时性和实时性分析,加强社会风险控制,提高政府预测预警能力和应急响应能力。无论是对现实社会各行业的运行监控,还是对网络虚拟社会的治理,都可以基于历时和实时的大数据分析,密切掌握市场调节失灵、社会秩序与稳定受到威胁等需要社会治理介入的节点或情况,这对于进一步加强和完善社会公共安全体系,完善社会应急管理体制等具有重要作用。积极发展大数据技术创新社会治理制定大数据国家战略,加强顶层规划和设计,打造“数据中国”。大数据将成为引领未来科技和社会进步的重要载体。麦肯锡的大数据研究报告称,大数据是国家和地区发展的主要指标,已经渗透到金融、健康、住房、交通、教育等重大民生领域,正在影响着企业的决策和国家发展的战略部署。国际上,美国、英国、法国等发达国家先后出台大力发展大数据技术的相关政策,日本和韩国也积极付诸大数据技术的实践。我国广东、上海、山东、浙江等部分经济发达地区也已先后启动大数据行动计划或成立大数据联盟,以促进大数据技术的发展和应用。大数据技术发展既是创新社会治理的需要,也是信息社会发展的必由之路。建议我国从国家层面设计大数据发展战略,做好顶层设计,引导和推动各领域、各行业对大数据的研究和利用。完善大数据基础设施建设,扩大社会应用,促进数据驱动的社会决策和治理常态化。信息技术基础设施是大数据技术应用的载体,大数据本身也将成为社会基础设施的一部分。大数据中心和数据应用平台建设的水平,决定了大数据时代的数据能否被有效收集、分析、挖掘和应用。这些大数据基础设施的建设可以与国家信息化建设相融合,以政府为主导、技术型企业为主力、公众参与为纽带,形成覆盖有线与无线互联网、各种社交网络、各种使用终端在内的社会化统一数据平台,通过大数据挖掘和分析技术,有针对性地解决社会治理难题;针对不同社会细分人群,提供精细化的服务和管理。同时建立数据库资源的共享和开放利用机制,不仅打破政府部门间的“信息孤岛”现象,也加强政府与社会公众间的互动反馈,不断扩大在教育、医疗等领域的应用,使数据驱动的社会决策与科学治理常态化。建立数据使用规范,规避大数据的使用风险。技术往往是一把双刃剑。大数据的收集和使用可能涉及国家信息安全和公民隐私等,需要在立法层面明确大数据采集和使用的原则。大数据平台本身的安全性也应引起重视,需要国家相关部门制定大数据技术标准和运营规范,重视大数据及信息安全体系建设,加强对重点领域敏感数据的监管。应当采取必要措施,构建大数据良性生态环境,调动全社会积极、有序地运用大数据技术来创新社会管理。
『伍』 求《2020年大数据调查报告白皮书全套》全文免费下载百度网盘资源,谢谢~
《2020年大数据调查报告白皮书全套》网络网盘pdf最新全集下载:
链接: https://pan..com/s/1iooVKp_OivVxF-7GhTVuYQ
『陆』 大数据的产生与发展现状研究
摘 要:大数据的产生给未来信息技术带来新的机遇与挑战。大数据对数据处理的有效性、实时性提出了更高要求,需要根据大数据的特点对当前数据处理技术实施变革,从而形成更有益于大数据采集、存储、处理、管理、分析、共享的新兴技术。本文从大数据的产生与发展、特征、主要应用以及大数据所带来的挑战等方面进行阐述与分析。
关键词 :大数据 物联网 信息处理 海量计算
一、大数据的产生与发展现状
随着物联网、云计算等信息技术的飞速发展,大数据技术(Big Data)也越发进入人们的视线。大数据是用传统方法或工具很难处理或分析的数据信息。目前,人们对大数据的理解还不够全面和深入,关于大数据的含义也没有一个统一的定义。亚马逊大数据科学家John Rauser认为:大数据是超过任何一台计算机处理能力的庞大数据量。Informatica 的中国区首席顾问但彬指出:大数据是海量数据与复杂类型的数据的结合。而维基网络则把大数据定义成诸多大而复杂的、难以用当前数据库处理的数据集合。
大数据研究受到国内外学术界和工业界的广泛关注,已成为当今信息时代全世界讨论的热点。2008年,Nature杂志就推出大数据专刊,计算社区联盟也在同一年发表了报告《Big data computing; Creating revolutionary breakthroughs in commerce, science and society》,报告阐述了解决大数据问题所需的关键技术以及所面临的挑战。美国奥x政府于2012年3月在白宫网站发布了《大数据研究和发展倡议》,提出了通过收集、处理海量、复杂的数据信息,从而提升能力,加快科学和工程领域的创新步伐,转变学习教育模式,强化美国本土的安全”。2011年1月,微软公司同惠普公司合作开发了一系列能够提升生产力,同时提高决策速度的设备。此外,欧盟委员会也提出驾驳大数据浪潮的战略思路,日本发布的《面向 2020 的 ICT综合战略》也提出需要构造大量丰富的数据基础。
近年来,我国也积极开展对大数据的研究。2011年10月,工信部确认京沪深杭等 5 城市为“云计算中心”试点城市。2012年6月,中国计算机学会青年计算机科技论坛也举办了“大数据时代,智谋未来”学术报告研讨会。大数据及其科学研究方法涉及应用领域很广,并将与国计民生密切相关的科学决策、金融工程以及知识经济领域紧紧接合。
二、大数据的特点
目前,企业界和学术界都一致认为,大数据具有4个“V”特征,即:容量(Volume)、种类(Variety)、速度(Velocity)和至关重要的`价值(Value)。
(1) 容量(Volume)巨大。海量的数据集从TB 级别提升到PB 级别。
(2) 种类(Variety)繁多。大数据数据源有多种,数据格式和种类不同于以前所规定的结构化数据范畴。
(3)价值(Value)密度低。如视频的例子,在不间断连续监控的过程中,可能有意义的数据仅有一两秒。
(4)速度(Velocity)快。包含大量实时、在线数据处理分析的需求1秒钟定律。
三、大数据应用的领域
大数据产业的发展将推动全球经济由粗放型向集约型转变,这将对提升企业整体竞争力和政府监管能力具有意义深远的影响。
商业作为大数据的重要应用领域。沃尔玛公司通过对消费者购物行为等一系列非结构化数据的分析,了解不同顾客的购物习惯,公司从所销售的数据进行分析,从而选出适合在一起搭配出售的商品;淘宝也针对买家开设了大数据平台,为客户量身打造了一整套完善的网购体验产品。
大数据在金融业也起到了至关重要的作用。美国Equifax公司利用大数据技术,通过对其的数据库中与财务有关的记录海量信息进行索引处理和交叉分享,从而得到客户的个人信用等级,以推断出客户的支付需求与能力。
随着大数据在医疗与生命科学研究过程中的广泛应用和不断扩展。2010年,中国公布的《十二五规划》指出:要重点建设国家级、省级和地市级三级医疗卫生信息平台,建设电子病历和电子档案两个最为基础的数据库。各级医院也将在医疗信息仓库、数据中心等领域加大投入,医疗数据信息的存储将愈加被关注,医疗信息中心的关注焦点也将由传统的计算领域转为存储领域。
除此之外,大数据在制造业领域也有着广阔的应用。制造业企业积累了广泛的数据信息,在开展对业务数据进行技术管理的同时,企业需要通过大数据处理技术来帮助决策者从数据库储存的海量信息中找到有价值的信息,并且对其进行分析处理,从而增强决策的正确性、规避风险。
四、大数据所面临的挑战
大数据技术使人们能够更好地利用之前不能使用的各个数据类型,找出被忽略的信息,促进企业组织更加高效、智能。但随着对大数据研究的不断深入,人们也更加意识到当大数据技术向人们敞开“方便之门”的同时,也带来了众多的挑战:
(1)大数据需要更为专业化的管理技术人才。
(2) 大数据的合理利用需要解决容量大、类别多和时效性高的数据处理问题。
(3)大数据的利用对信息安全提出了更高要求。
(4)大数据的集成与管理问题。
这些挑战已成为关系到未来大数据发展的重要因素,同时也成为未来引领大数据发展的推动力。
五、结束语
大数据已经逐步渗透到人们工作生活的诸多领域中,对于大数据的研究也在不断的深化。本文针对大数据的产生与发展、特征、主要应用以及大数据所带来的挑战等方面进行阐述与分析。大数据的发展还处于初级阶段,还有更为广阔的空间需要人们不断开拓,如何合理地利用大数据、更加高效地处理大数据来为人们服务仍需要广大研究者不断地研究和探索。
参考文献:
[1]刘智慧,张泉灵.大数据技术研究综述[J].浙江大学学报,2014,46(6):957- 972.
[2]严霄凤,张德馨.大数据研究[J].计算机技术与发展,2013,23(4):168-172.
[3]刘俊.基于大数据流的Multi-Agent系统模型研究[J].计算机技术与发展, 2007,17(5):166-169.
『柒』 结合大数据时代的特点,谈谈数据时代社会治理遇到了哪些挑战
社会治理大数据意识低。随着大数据时代的到来,大数据分析为服务型社会治理模式的实现提供了重要支撑。然而,以大数据分析为重要支撑的服务型社会治理模式的实现,必须以社会治理大数据意识的形成为前提。从我国目前的情况来看,社会治理大数据意识仍然比较低,主要体现在以下三个方面:一是“重管理、轻服务”的管控思维在我国仍然大有市场,导致社会治理大数据意识的形成缺乏强有力的平台支撑。二是“重局部、轻全局”的部门利益导向导致我国社会治理体制的碎片化,从而使社会治理大数据意识的形成失去了重要的动力来源。三是“重政府、轻社会”的偏见导致包括企事业单位、社会组织、社区和公民个人在内的其他社会主体在社会治理中的参与性严重不足,从而使社会治理大数据意识的形成失去了广泛的社会基础。
社会治理大数据共享障碍多。目前,我国社会治理相关数据实现完全共享仍然面临诸多障碍,主要体现在以下五个方面:一是缺乏数据共享的理念,对社会治理现代化的认识不足,不同部门的数据之间缺乏互联互通,社会治理相关数据的综合利用效益低下。二是缺乏数据共享机制的责任主体,从而导致许多政府部门因担心犯下泄露国家机密的错误而宁可不作为。三是缺乏数据共享的法规和制度,无法可依或者法律法规之间相互冲突。四是目前我国尚未形成社会治理数据共享的统一标准和规范,尚未出台在全国具有普遍指导意义的与社会治理机制相关的顶层设计,因此社会治理大数据共享缺乏明确的操作规则和目标指向。五是缺乏合理的财政预算,导致政府部门在社会治理数据和信息资源再利用中收费机制不合理,利益分配不均衡。更有甚者,一些政府部门将其掌握的社会治理数据和信息资源产权部门化,设置利用壁垒,严重阻碍社会治理相关数据的共享。
社会治理大数据相关能力弱。在大数据时代,提升对社会治理大数据的分析能力以及对分析结果的应用能力,是实现社会治理创新的关键性因素。然而,目前我国社会治理大数据相关能力仍然比较弱,主要体现在以下三个方面:一是缺乏对社会治理大数据进行分析的能力,而这种分析能力又与相关人才的培养和支撑密切相关。目前,除了腾讯、网络、阿里巴巴等技术型互联网公司掌握和应用大数据分析技术,并网罗一批大数据分析人才之外,我国对社会治理大数据的分析和应用仍然处于探索阶段,相关人才十分缺乏。二是目前我国各社会治理主体严重缺乏根据社会治理大数据形成社会治理需求的意识和能力,而将这种社会治理需求转化为有效社会治理和社会服务的能力就更加缺乏。三是长期以来我国各社会治理主体对社会治理特征和发展趋势的预测更多的是感性的判断预测,或者是理论的逻辑推演预测,缺乏以对社会治理大数据的深度挖掘和系统分析为基础的合理预测。
『捌』 大数据行业发展现状与未来前景分析
近年来,全球正大步迈向大数据新时代,数据的高效存储、处理和分析等需求也越来越旺盛。在此背景下,行业大数据得以高速发展,应用于各个领域,根据IDC发布的有关数据预测,2025年市场规模将达到19508亿元的高点。
全球大数据储量呈爆发式增长
随着信息通信技术的发展,各行各业信息系统采集、处理和积累的数据量越来越多,全球大数据储量呈爆炸式增长。根据国际数据公司(IDC)的监测数据显示,2013年全球大数据储量为4.3ZB(相当于47.24亿个1TB容量的移动硬盘),2014年和2015年全球大数据储量分别为6.6ZB和8.6ZB。近几年全球大数据储量的增速每年都保持在40%,2016年甚至达到了87.21%的增长率。2016年和2017年全球大数据储量分别为16.1ZB和21.6ZB,2018年全球大数据储量达到33.0ZB,2019年全球大数据储量达到41ZB。
—— 以上数据及分析均来自于前瞻产业研究院《中国行业大数据市场发展前景预测与投资战略规划分析报告》。
『玖』 在互联网+及大数据时代,组织及管理者面临着哪些新的挑战和机遇
大数据泛指巨量的数据集,因可从中挖掘出有价值的信息而受到重视。《华尔街日报》将大数据时代、智能化生产和无线网络革命称为引领未来繁荣的三大技术变革。有报告指出数据是一种生产资料,大数据是下一个创新、竞争、生产力提高的前沿。世界经济论坛的报告认定大数据为新财富,价值堪比石油。因此,发达国家纷纷将开发利用大数据作为夺取新一轮竞争制高点的重要抓手。
大数据时代的来临
互联网特别是移动互联网的发展,加快了信息化向社会经济各方面、大众日常生活的渗透。有资料显示,1998年全球网民平均每月使用流量是1MB(兆字节),2000年是10MB,2003年是100MB,2008年是1GB(1GB等于1024MB),2014年将是10GB。全网流量累计达到1EB(即10亿GB或1000PB)的时间在2001年是一年,在2004年是一个月,在2007年是一周,而2013年仅需一天,即一天产生的信息量可刻满1.88亿张DVD光盘。我国网民数居世界之首,每天产生的数据量也位于世界前列。淘宝网站每天有超过数千万笔交易,单日数据产生量超过50TB(1TB等于1000GB),存储量40PB(1PB等于1000TB)。网络公司目前数据总量接近1000PB,存储网页数量接近1万亿页,每天大约要处理60亿次搜索请求,几十PB数据。一个8Mbps(兆比特每秒)的摄像头一小时能产生3.6GB数据,一个城市若安装几十万个交通和安防摄像头,每月产生的数据量将达几十PB。医院也是数据产生集中的地方。现在,一个病人的CT影像数据量达几十GB,而全国每年门诊人数以数十亿计,并且他们的信息需要长时间保存。总之,大数据存在于各行各业,一个大数据时代正在到来。
信息爆炸不自今日起,但近年来人们更加感受到大数据的来势迅猛。一方面,网民数量不断增加,另一方面,以物联网和家电为代表的联网设备数量增长更快。2007年全球有5亿个设备联网,人均0.1个;2013年全球将有500亿个设备联网,人均70个。随着宽带化的发展,人均网络接入带宽和流量也迅速提升。全球新产生数据年增40%,即信息总量每两年就可以翻番,这一趋势还将持续。目前,单一数据集容量超过几十TB甚至数PB已不罕见,其规模大到无法在容许的时间内用常规软件工具对其内容进行抓取、管理和处理。
数据规模越大,处理的难度也越大,但对其进行挖掘可能得到的价值更大,这就是大数据热的原因。首先,大数据反映舆情和民意。网民在网上产生的海量数据,记录着他们的思想、行为乃至情感,这是信息时代现实社会与网络空间深度融合的产物,蕴含着丰富的内涵和很多规律性信息。根据中国互联网络信息中心统计,2012年底我国网民数为5.64亿,手机网民为4.2亿,通过分析相关数据,可以了解大众需求、诉求和意见。其次,企业和政府的信息系统每天源源不断产生大量数据。根据一个公司的调研报告,全球企业的信息存储总量已达2.2ZB(1ZB等于1000EB),年增67%。医院、学校和银行等也都会收集和存储大量信息。政府可以部署传感器等感知单元,收集环境和社会管理所需的信息。2011年,英国《自然》杂志曾出版专刊指出,倘若能够更有效地组织和使用大数据,人类将得到更多的机会发挥科学技术对社会发展的巨大推动作用。
大数据应用的领域
大数据技术可运用到各行各业。宏观经济方面,IBM日本公司建立经济指标预测系统,从互联网新闻中搜索影响制造业的480项经济数据,计算采购经理人指数的预测值。印第安纳大学利用谷歌公司提供的心情分析工具,从近千万条网民留言中归纳出六种心情,进而对道琼斯工业指数的变化进行预测,准确率达到87%。制造业方面,华尔街对冲基金依据购物网站的顾客评论,分析企业产品销售状况;一些企业利用大数据分析实现对采购和合理库存量的管理,通过分析网上数据了解客户需求、掌握市场动向。有资料显示,全球零售商因盲目进货导致的销售损失每年达1000亿美元,这方面的数据分析大有作为。
在农业领域,硅谷有个气候公司,从美国气象局等数据库中获得几十年的天气数据,将各地降雨、气温、土壤状况与历年农作物产量的相关度做成精密图表,预测农场来年产量,向农户出售个性化保险。在商业领域,沃尔玛公司通过分析销售数据,了解顾客购物习惯,得出适合搭配在一起出售的商品,还可从中细分顾客群体,提供个性化服务。在金融领域,华尔街“德温特资本市场”公司分析3.4亿微博账户留言,判断民众情绪,依据人们高兴时买股票、焦虑时抛售股票的规律,决定公司股票的买入或卖出。阿里公司根据在淘宝网上中小企业的交易状况筛选出财务健康和讲究诚信的企业,对他们发放无需担保的贷款。目前已放贷300多亿元,坏账率仅0.3%。
在医疗保健领域,“谷歌流感趋势”项目依据网民搜索内容分析全球范围内流感等病疫传播状况,与美国疾病控制和预防中心提供的报告对比,追踪疾病的精确率达到97%。社交网络为许多慢性病患者提供临床症状交流和诊治经验分享平台,医生借此可获得在医院通常得不到的临床效果统计数据。基于对人体基因的大数据分析,可以实现对症下药的个性化治疗。在社会安全管理领域,通过对手机数据的挖掘,可以分析实时动态的流动人口来源、出行,实时交通客流信息及拥堵情况。利用短信、微博、微信和搜索引擎,可以收集热点事件,挖掘舆情,还可以追踪造谣信息的源头。美国麻省理工学院通过对十万多人手机的通话、短信和空间位置等信息进行处理,提取人们行为的时空规律性,进行犯罪预测。在科学研究领域,基于密集数据分析的科学发现成为继实验科学、理论科学和计算科学之后的第四个范例,基于大数据分析的材料基因组学和合成生物学等正在兴起。
报告推测,如果把大数据用于美国的医疗保健,一年产生潜在价值3000亿美元,用于欧洲的公共管理可获得年度潜在价值2500亿欧元;服务提供商利用个人位置数据可获得潜在的消费者年度盈余6000亿美元;利用大数据分析,零售商可增加运营利润60%,制造业设备装配成本会减少50%。
大数据技术的挑战和启示
目前,大数据技术的运用仍存在一些困难与挑战,体现在大数据挖掘的四个环节中。首先在数据收集方面。要对来自网络包括物联网和机构信息系统的数据附上时空标志,去伪存真,尽可能收集异源甚至是异构的数据,必要时还可与历史数据对照,多角度验证数据的全面性和可信性。其次是数据存储。要达到低成本、低能耗、高可靠性目标,通常要用到冗余配置、分布化和云计算技术,在存储时要按照一定规则对数据进行分类,通过过滤和去重,减少存储量,同时加入便于日后检索的标签。第三是数据处理。有些行业的数据涉及上百个参数,其复杂性不仅体现在数据样本本身,更体现在多源异构、多实体和多空间之间的交互动态性,难以用传统的方法描述与度量,处理的复杂度很大,需要将高维图像等多媒体数据降维后度量与处理,利用上下文关联进行语义分析,从大量动态而且可能是模棱两可的数据中综合信息,并导出可理解的内容。第四是结果的可视化呈现,使结果更直观以便于洞察。目前,尽管计算机智能化有了很大进步,但还只能针对小规模、有结构或类结构的数据进行分析,谈不上深层次的数据挖掘,现有的数据挖掘算法在不同行业中难以通用。
大数据技术的运用前景是十分光明的。当前,我国正处在全面建成小康社会征程中,工业化、信息化、城镇化、农业现代化任务很重,建设下一代信息基础设施,发展现代信息技术产业体系,健全信息安全保障体系,推进信息网络技术广泛运用,是实现四化同步发展的保证。大数据分析对我们深刻领会世情和国情,把握规律,实现科学发展,做出科学决策具有重要意义,我们必须重新认识数据的重要价值。
为了开发大数据这一金矿,我们要做的工作还很多。首先,大数据分析需要有大数据的技术与产品支持。发达国家一些信息技术(IT)企业已提前发力,通过加大开发力度和兼并等多种手段,努力向成为大数据解决方案提供商转型。国外一些企业打出免费承接大数据分析的招牌,既是为了练兵,也是为了获取情报。过分依赖国外的大数据分析技术与平台,难以回避信息泄密风险。有些日常生活信息看似无关紧要,其实从中也可摸到国家经济和社会脉搏。因此,我们需要有自主可控的大数据技术与产品。美国政府2012年3月发布《大数据研究与发展倡议》,这是继1993年宣布“信息高速公路”之后又一重大科技部署,联邦政府和一些部委已安排资金用于大数据开发。我们与发达国家有不少差距,更需要国家政策支持。
中国人口居世界首位,将会成为产生数据量最多的国家,但我们对数据保存不够重视,对存储数据的利用率也不高。此外,我国一些部门和机构拥有大量数据却不愿与其他部门共享,导致信息不完整或重复投资。政府应通过体制机制改革打破数据割据与封锁,应注重公开信息,应重视数据挖掘。美国联邦政府建立统一数据开放门户网站,为社会提供信息服务并鼓励挖掘与利用。例如,提供各地天气与航班延误的关系,推动航空公司提升正点率。
大数据的挖掘与利用应当有法可依。去年底全国人大通过的加强网络信息保护的决定是一个好的开始,当前要尽快制定“信息公开法”以适应大数据时代的到来。现在很多机构和企业拥有大量客户信息。应当既鼓励面向群体、服务社会的数据挖掘,又要防止侵犯个体隐私;既提倡数据共享,又要防止数据被滥用。此外,还需要界定数据挖掘、利用的权限和范围。大数据系统本身的安全性也是值得特别关注的,要注意技术安全性和管理制度安全性并重,防止信息被损坏、篡改、泄露或被窃,保护公民和国家的信息安全。
大数据时代呼唤创新型人才。预测大数据将为全球带来440万个IT新岗位和上千万个非IT岗位。预测美国到2018年需要深度数据分析人才44万—49万,缺口14万—19万人;需要既熟悉本单位需求又了解大数据技术与应用的管理者150万,这方面的人才缺口更大。中国是人才大国,但能理解与应用大数据的创新人才更是稀缺资源。
大数据是新一代信息技术的集中反映,是一个应用驱动性很强的服务领域,是具有无穷潜力的新兴产业领域;目前,其标准和产业格局尚未形成,这是我国实现跨越式发展的宝贵机会。我们要从战略上重视大数据的开发利用,将它作为转变经济增长方式的有效抓手,但要注意科学规划,切忌一哄而上。