导航:首页 > 网络数据 > 大数据时代选案

大数据时代选案

发布时间:2023-03-21 23:41:52

大数据时代校本教研转型策略及路径

大数据时代校本教研转型策略及路径

基于云、物联网、数据库技术以及人工智能和虚拟现实在教育中的广泛渗透,大数据时代正催生着一场场新的教育变革。现有的教研机制如何适应大数据主导的未来?基于大数据的运用如何创新校本教研思路和策略?如何依托大数据平台探寻到最佳的校本教研转型路径?这正是本文试图回答的问题。
一、大数据缺乏的传统教研局限性
我们生活在一个被几何级爆炸的数据包围的时代,我们的一切行为都在产生海量的数据,这些数据被称作“大数据”。[1]2大数据之“大”,并不仅在于“容量之大”,更大的意义在于可以借助云技术等手段,通过海量数据的筛选、整合和分析,解决新的问题,创造新的价值。大数据时代,传统校本教研形态已经滞后于时代的发展。
第一,以行政命令型为主的教研管理已不能适应教研发展的新趋势。传统的校本教研活动因其行政主导过多、任务驱动过强、互动生成较少、过程数据欠缺等,其教研形态存在着单一性、封闭性、滞后性与静态化的特点。教研活动更多执行的是“规定性动作”,大多数学校都是循着“期初学校安排教研计划—教研组按计划布置落实—分阶段组织教学展示或研讨—期末各部门进行教研总结”这样的模式进行。[2]在这样“齐步走”的统一步调中,教研的目光很难细致地聚焦到课堂真实疑难问题的研究上,研讨活动更少触及普遍学科规律探寻的应有深度。校本教研缺乏实实在在的研究历程,案例追踪缺少过程性资料的佐证。没有过程,缺乏实践数据的支撑,教研的有效性大打折扣,教研视野也很难有效拓宽。这种形态的教研活动,聚合性、开放性、创新性与动态性都明显不足,形式化、低效化特征突出。
第二,以经验帮带型为主的教研方式已不能适应教研发展的新态势。现如今,绝大部分学校对于大数据的认识和研究尚处于起步阶段,对于大数据在教育领域的探索和实践才刚刚开始。对于如何真正地将大数据应用于教研,反馈于教育,普遍缺乏深度的认识和操作的策略。究其原因,一方面是因为传统教研“自下而上的主题确认意识”缺乏,加上空间、时间以及技术设备的约束,教研内容无法直接唤起教师教研的内在需求,无法直接对其课堂产生辐射与效益,因此难以吸引教师深度参与。另一方面,面对新时期急剧变化的教研态势,更多的学校没有主动与时代对接,无法前瞻性地为教师提供思维自由碰撞的教研平台(比如活动前后讨论平台的提供),无法适时、足量地为其提供教育科研所需要的数据支持与技术便利,教师教研的多元合作与深度拓展缺乏足够的凝聚与吸引。这样的教研必然无法在大数据时代展现应有的价值与活力。
二、大数据时代校本教研的转型策略
面对海量信息呼啸而来的大数据时代,面对以“移动互联和平板触控技术”为核心的云计算、云存储、云教育、云课堂、云教研叠加出现的全新教育态势,中小学校该如何应对这种前所未有的教育变革?有哪些好的教研策略与应用范式呢?
(一)核心视角转型:由关注“教”转向聚焦“学”
“师本”还是“生本”一度成为教研热议的话题。以“谁”为本体现的是一种教学观念的更新,更展现的是一种教学行动的选择。传统的教学教研当中,学生主体的评价往往是最单薄的——听课者大多只能根据经验来假想学生的体验,这种隔靴搔痒式的评价弊端,源于一个重要因素的缺席——没有足够的数据源可提供学情分析与实证考据。
大数据时代的到来,恰恰能够对这种缺失作出有效转化。借助视频传输、数据收集、点对点终端、云存储服务器和个性化的数据分析软件等,能够从技术层面解决数据源缺乏的问题,对数据的全面处理和分析,可以让学生个体化的感受得以精准的量化与显现。学生在教学活动进程中的现实需求与即时心态,也可以经过技术的转化和动态整合分析变得可读、可视、可量化。这就为教研视角由关注“教”转向关注“学”提供了强大的技术支持与解读保障,为学情的研究与预判提供了更为鲜活的素材。我们甚至还可以利用流媒体视频和数据分析等手段,帮助教师跟踪学生的即时学习情况,从而根据他们的能力等级水平制订相应的教学计划并调整策略方案,更好地开展有针对性的个性化学习研究。
借助大数据的运用,课堂有了一个全新的观察视角,教学研讨有了一个全新的视点,站在学生学情分析与预判的角度去改变教师的教学行为已经成为可能。当技术能够帮助我们了解每个学生的需求之后,绵延了两千多年的“因材施教”思想,是否离我们更近一些?
(二)常态方法转型:由经验重复转向数据实证
传统的校本教研往往是经验式的。我们总是主观地揣定某些教育因素对学生很重要,哪些变量对课堂有影响,然后,再依据自己的判定,通过一次次反复的实践来验证这些主观经验的可靠性。这种以经验为主导的传统教研往往存在着主观化、臆测式、灵感型的缺陷,常常容易出现“问题不够‘草根’、目标比较宽泛、实证相对缺乏”等状况。研究后与研究前相比,对问题的认识高度与解决程度并没有质的提升。究其原因,是研究之前没有深入的问题质疑和数据调查,研究中缺乏足够的数据比对和逻辑分析,研究后少了细致的演绎分析及实践认证。
大数据时代的来临,为有效解决经验重复型教研的痼疾找到了凭借和方向。依据实验数据的收集、整理和分析所得,能有效确立教研主题,让研究直指现实问题的解决;依托“云教研、云管理”平台,过去无法收集与分析的数据都被新的技术手段赋予了获取的可能,为有效展开问题的探究与课题的论证提供了技术保障。这种依托数据实证的教研更加具有科学性、逻辑性和说服力。正如魏忠博士在《教育正悄悄发生一场革命》一书中所说:“教育将继经济学之后,不再是一个靠理念和经验传承的社会科学和道德良心的学科,大数据时代的教育,将变成一门实实在在的实证科学。”[1]3明确的目标监控、海量的数据支撑、清晰的过程性案例资料,强大的数据分析与论证,配以与之紧密融合的教与研创新平台,让教研更加充满创新与活力。
(三)实践模式转型:从零散问题研究转向系列项目研究
“指令式”、任务驱动式教研在我国中小学普遍存在,其被动接受式的研究心态、直指结论的研究方式、以分散点状活动替代系列研究实践的研讨模式,让校本教研难以贴地而行,最终导致教研成果的可信度、可推广度不高。新时期的教研必须从形式化、表层化、零散状的教研形态中转变出来,向主题化、系列化、课题化、项目化教研转型,这也是由大数据时代的教育和研究特点所决定的。
大数据时代,由于教学平台、教研平台、管理平台已经有效对接,各个层面、各个系列的数据已经可以共享到大教育的“云平台”,大数据技术将较娴熟地运用于课堂和教研的方方面面。无论是自上而下的数据调用,还是自下而上的数据收集,都已经或者能够成为中小学教育教研的常态。技术手段的创新与变革,为教育大数据的储存、整合、分析创造了条件。“苏醒的数据能够说话”,尤其是当研究者开始自觉地、有意识地将数据采集、转化和运用,当作一种大数据时代系列性、周期性、可比对性的常态研究去做,这种经过甄别、筛选的数据,将成为主题教研、项目研究的最强有力的实证,也必将给那些原本因为技术或条件限制无法便利地获取研究数据而苦恼的教师们带来教研思路的突变,并将最终实现校本教研的实践模式由零散问题研究向系列项目研究转型。
三、大数据时代校本教研的转型路径
(一)“云课堂”研究:技术与数据更好地服务于“学”
新技术就在身边,你用与不用,它都在那里。苏州工业园区星海小学让“ipad进课堂”,以数字技术带动教学教研,为我们提供了研究大数据运用的全新视角。2014年,该校开启了以移动网络为平台、ipad为终端的实验教学,通过新技术的应用,构建了以生为本的“云课堂”,在很大程度上改变了传统“教”与“学”的方式。云课堂技术支撑的核心是“云计算”。它是一种计算方式,通过大量网络连接的统一管理和调度,将大量信息和资源按需向用户提供服务。这种全息服务的网络就叫作“云”。“云”就像一个专业的“信息提款机”,其强大的信息技术和极为丰富的立体数据资源,为学生的学、教师的教、团队的研搭建了多维互动的“云平台”。[3]
该校基于大数据时代教研方式转变的研判,并在充分调查、论证和研发的基础上,为师生数字化的学与研搭建了一整套自主的云存储服务器,每个ipad上都安装了用于云存储和分享的“网盘精灵”,学生和教师都能在其中建立一个单独的存储空间,每位教师制作的课件、收集的实验数据等,都能在第一时间上传到服务器,全校师生都能在第一时间下载所需资源。各科老师还能借助无线平台和应用软件,协同开展数据上传下载、数据存储与分析的尝试与研究,许多或大或小的教研探究活动都在强大的数据平台支持下进行,网络教研让更多的教师提升了教研的动力。比如,英语学科将ipad接入课堂后,学生可以在家里录制自己朗读和吟唱的视频,上传到“网盘精灵”,为教师即时了解学生学习状态和学习成效,提供了第一手的研究和分析资料。鲜活的数据让教学的跟踪与预判成为常态。[4]
再比如,亚洲教育网自主研发的“三网智慧泛教育云平台”,就是一种“三网融合、泛在学习”的公共智慧云,它利用云计算、物联网和虚拟化等新技术来升级校园网、城域网,其创建的“教育云+互动电视+电子书包”新模式开启了教育信息化新纪元,为全方位、大范围地实现多校、多地教育资源共享、教育成果分享、教学研的互动打下了基础。[5]10-11
(二)“实证研究”:加强数据论证,探寻“普适”规律
近些年,依托于数据实证的教研探索已然展开,微格教研、片段教研、主题教研等应运而生。这些教研模式大多采用的是“实证研究”的方式。它们都是通过对研究对象大量的观察、实验和调查,获取客观数据,从个别到一般,归纳出事物的本质属性和发展规律的一类研究方法。这些教研模式以问题研究为基础,以教学案例为载体,以数据分析为根据,对教学教研工作进行了微格化、片段化、前置化和主题实践性论证,依托数据探寻规律,教研成果更加清晰、显性、有效。
近几年,上海静安区开始在7所幼儿园和9所小学试点实施“社会性与情绪能力养成”实践项目研究。经过近百名教师长达四年多的摸索和改进,如今,静安区小学阶段的“社会性与情绪能力养成”课程正逐步走向成熟,其研究方法之一就是“实证研究”。他们以“社会性情绪”项目为主题,探索出依靠“数据终端”去记录每一个学生、每一堂课、每一个环节表现的数据收集方法。例如,在一节拥有六个环节的课堂上,大部分时间内学生的节奏都是紧密跟随教师,但是在某个环节,大多数学生停留的时间远远超过了教师。这就提醒我们,这个环节需要着重研究,需要调整,也许这个部分的内容非常吸引学生,也有可能这部分内容难度较高,他们需要更多的时间来阅读与消化。这种借助大数据进行教研探索的方法也适合于我们在课堂中更有效地去捕捉学生点滴行为的微观研究。可以这样说,大数据时代的到来,让跟踪每一个数据成为可能,从而让研究“人性”成为可能。而对于教育研究者来说,我们将比任何时候都更接近发现真正的学生。
(三)“项目研究”:用证据支撑评价,用项目推进教研
2014年,苏州市教育局设立了“义务教育质量综合评价改革”等五大教改项目,从全市范围遴选了50所特色鲜明的学校组建项目学校共同体,推进项目研究的实施。在研究过程中,各项目学校有效地借助云计算、物联网和虚拟化等新技术来升级校园网,努力将云技术与物联网进行高度融合,对全方位、个性化的过程数据和研究资源的上传、存储、整合与分析进行了必要的硬件配置和软件开发,然后在严格的过程管理中依托平台、依托案例、依托数据开展系列主题研究和项目实践论证。目前,项目研究进展顺利,也取得了可喜的成果。以苏州工业园区星海小学为例,学校以“十佳”取代“三好”,推出了“十佳星海娃”多元评价体系,率先开启了苏州市“义务教育质量综合评价改革”的实践与研究。项目研究中,全面的资源和个性化的数据收集与分析是项目推进的基础,研究的进程中共享研究资源、分享教育成果,使研究者与被研究者实现有效互动是研究成功的关键。为有效地整合资源,显化数据,苏州工业园区星海小学推出了“星海娃”自主申报、“四叶草”积点奖章、金点子征集、小公民系列招募等个性化实践案例,拓宽了评价体系,丰富了评价数据。与“星海娃”评价体系相配套,苏州工业园区星海小学还创新出“四叶草”小公民实践中心等多元评价支撑系统,并着手开发“星海师生成长档案在线跟踪平台”,该平台全面支持绿色评价体系,以开放共享的“云”资源平台的无缝对接,消除学校、家庭及社会间的信息孤岛,以电脑、手机、电视、平板等多终端实现了教师、学生、家长的轻松上传与访问,从而有力地促进了绿色评价研究资源的优化配置。[5]281-282苏州工业园区星海小学项目建设试点的初步探索说明,数据实证让教研更加准确,更为科学,“用证据支撑评价,用项目推进教研”成了校本教研的一条可行之路。

② 大数据时代汽车品牌营销解决方案

大数据时代汽车品牌营销解决方案_-数据分析师考试

随着移 动互联网、O2O和车联网的快速发展,数字类渠道贯穿了消费者选车-买车-用车的全过程。消费者的全面数字化,意味着消费者购车前后的行为均可以通过大数据分析进行全方位挖掘,从而实现在车型研发、产品定位、营销传播和售后服务一系列过程的决策优化,这也成为程序化购买带给汽车品牌营销的一个重要突破。

对于汽车品牌来说,以数据和技术为核心的程序化购买既是挑战,也是重大的发展机遇。汽车品牌需要从以下四个方面,提升营销效率和效果:

一、我的消费者在哪?

随着品牌与消费者的沟通渠道的多样化,如何挖掘隐藏在互联网背后的潜在客户群,成为车企数字营销的首要问题。大数据时代,汽车品牌自身掌握的销售、用户调研等数据已经远不能满足其营销决策的需要,企业所关注的消费者特征和偏好等洞察,完全可通过其自然行为过程中留存的数据进行分析和挖掘。

二、我该如何提升与消费者的沟通效率?

事实上,传统线上营销采用的媒介购买方式,已无法满足消费者的个性化传播。消费者购车到用车是很长一段周期,期间存在诸多不确定性,汽车品牌可根据实时获取的消费者数据,通过程序化购买自动选择适合的媒体和广 告位,并借助智能创意实现广 告创意、目标人群和媒介的完美整合,而这一系列过程可以在短时间飞速完成。

三、我如何更好的服务客户?

消费者在购车前后的很多行为都会影响着身边的潜在客户,汽车品牌试图通过数字营销及数据的挖掘分析更好的了解消费者的兴趣偏好,来提高线上、线下与售前售后的用户体验,以此提高品牌影响力。

四、我的效果如何评估?

“我的广 告费用浪费了一半,但是我不知道是浪费了那一半。“这句广 告界名言将在程序化广 告的浪潮之下被冲刷殆尽。对一个目标客户从潜客到变成购买客户过程的数据纪录和反馈,对于渠道的预算分配和优化推广渠道的组合是有极大帮助的。

针对汽车营销传播中的四大痛点,悠易互通根据多年服务众多汽车客户的经验以及强大的系统开发和技术开发经验,提出了汽车行业的整体解决方案:

一、 DMP数据打通,支持企业全方位营销策略

悠易互通帮助汽车企业搭建专属数据管理平台(Databank 3.0),收集车企在营销与运营过程中产生的海量线上、线下数据,实现企业第一方数据的聚合管理;并且通过与第三方数据(YOYI DNA)打通,在确保第一方数据安全的前提下,实现数据的互联互通,通过多维度的数据分析与发掘, 帮助车企对其目标消费者进行360度画像,并支持企业全方位的营销决策。

具体来说, 车企可以从各地经销商获取真实的购车用户的基本信息(如年龄、性别、地域等),而YOYI DNA则在全网收集了以用户为核心的横跨网页浏览、搜索、电商购买、社交分享和广 告投放的数据,并且采用悠易互通统一的标签体系对各来源数据进行标准化处理和结构化细分,形成了悠易互通自有的第三方数据体系。通过将第一方和第三方的数据打通,车企可以确切知道某款车型的购车者兴趣标签和行为偏好,比如家庭构成、收入状况、经常访问的网站、关注的明星、社交媒体上感兴趣的内容、关注的车型和要素等,真正做到对顾客全面而深入的洞察,并对企业制定营销决策提供数据支持。

二、 整合资源,利用算法提升线上传播效率

汽车互联网传播的主要目的之一是收集销售线索。在程序化购买时代,这就需要DSP能够在整合流量资源的基础上,利用先进的算法对数据进行深挖,从而提高销售线索收集的效率和质量。

车企的专属数据管理平台(Databank 3.0)可以无缝对接到悠易程序化购买平台, 实现老访客召回和根据现有客户进行智能扩展(Lookalike),并借助悠易互通接入的日均130亿多屏海量资源,以及专门为汽车客户定制的算法和优化手段,对每一个展现机会进行CTR和CVR(转化率)的预估,结合智能创意,做到在正确的时间、正确的媒介向正确的人传递正确的信息,为客户的官网引入高质量的访客。

当消费者来到官网后,可以全程监测消费者和品牌的互动过程,从而帮助企业了解消费者在哪里流失,为网站的优化提供指导。同时,根据消费者的访问行为,进行有针对性的召回。例如,针对只了解了车的基本信息,而没有了解车的详细配置、价格信息或金融贷款服务的消费者,可以针对性的采用促销创意将这些访客直接引流到官网的金融方案页面,促进消费者进行预约试驾。

三、 从线上到线下,实现个性化销售和售后服务

通过线上收集到销售线索后,车企的营销重点转移到线下,这就要求车企能够帮助其经销商做到个性化的销售和售后服务。

过去4S门店的销售人员除了潜在客户的手机号、姓名和性别之外,是没有其他信息可以获取的。悠易互通的汽车解决方案通过打通客户线上和线下标签,帮助车企在给经销商下发销售线索时,提供了更为详细的用户信息,如客户的家庭状况、对车型、外观、配置、价格、金融方案的关注程度等。这些信息将极大地帮助销售人员基于客户的画像,展开一对一的个性化销售,从而提高销售线索向实际订单转化的可能性。

消费者购车后,经销商将实际成交的顾客信息反馈给车企,这些信息进入企业数据管理平台(Databank 3.0)。通过对现有用户网络行为、用车行为(车联网数据)的持续跟踪,车企可以更准确地预测现有用户对于维修保养、更换新车的需求,从而制定个性化的营销及售后服务计划,深度挖掘客户的生命周期价值。

四、 效果评估,持续提升营销的整体效率

传统广 告投放的效果评估很难控制,程序化购买则赋予了品牌广 告主对效果更多的控制权。悠易互通记录了消费者在全网范围内每一次和品牌互动的行为,并对每一个销售线索进行追踪溯源,通过归因模型,评估每一次曝光、点击、搜索行为对形成该转化效果的贡献,从而优化营销预算的分配,提升营销的整体效率。

以上是小编为大家分享的关于大数据时代汽车品牌营销解决方案的相关内容,更多信息可以关注环球青藤分享更多干货

③ 大数据时代,招商快车十大精准营销案例

大数据时代,招商快车十大精准营销案例

2015年,招商快车——中国最大全渠道大数据营销服务供应商大动作频频,先后与志高、蒙牛、迪士尼、茅台集团、太太乐、三九集团、长松咨询、上海证大、昂立教育、优速通达十大知名品牌达成深度战略合作——从企业营销代运营到大数据精准营销匹配服务。截止目前,招商快车销售额同比增长350%,一线合作企业占比60%,势态喜人。互联网+大数据时代的来临,招商快车勇于突破,敢于先行,DSP商机速配平台、DMP数据营销平台应运而生,全渠道大数据营销服务供应商驻足当代。

2015年是“互联网+”发展的元年,李克强总理在两会期间提出“互联网+”行动计划,互联网首次写入国家政策纲要,标志着互联网产业在新常态经济下的重要作用。随着互联网+战略的不断深化,大数据的话题在新媒体环境下裂变式传播,大数据一词也慢慢被大众所熟知,特别是在“云计算”和“物联网”的广泛应用,大数据的价值越来越受重视和关注。2015年9月5日,国务院发布的《促进大数据发展行动纲要》,全面推进大数据发展和应用;奥巴马的竞选团队依据选民的微博,实时分析选民对总统竞选人的喜好,无不标志着大数据时代的到来。

思路决定出路。大数据时代如山洪猛兽滚滚而来,招商快车基于超过2000万的渠道商、创业者精准数据库,截止日前,招商快车已完成超过2000万IT软硬件设备升级的投入,打造以DSP商机速配平台为核心、以DMP营销数据平台为有力支撑的两大超级平台。依托大数据营销智能化应用、服务,致力于为处于不同生命周期的中国企业,围绕营销及金融价值链中所产生的商业困惑,提供一站式商业模式定位、渠道系统建设、营销内核构造、营销教练、营销外包、O2O解决方案、全网营销、微商解决方案、DMP营销数据应用、DSP商机速配服务、金融增值服务等全渠道大数据营销服务。

十大精准营销案例。由于商业模式成功升级以及IT软硬件设备的成功导入,招商快车先后与志高、蒙牛、迪士尼、茅台集团、太太乐、三九集团、长松咨询、上海证大、昂立教育、优速通达十多家国内外知名企业达成深度合作,销售额同比增长350%,一线品牌企业客户占比60%,创下历史新高。

(2015招商快车十大经典案例)

以志高为例,招商快车结合双方知名度及影响力,为志高制定“互联网+家电+大数据营销”战略,一、提供营销拓展代运营服务;二、依托招商快车DMP营销数据平台为志高提供大数据营销配套;三、全渠道招商落地执行,帮助志高扩大国内外市场占有率,持续推进志高集团由“中国制造”向“中国创造”产业升级。

大数据时代背景下的全球经济,是一场以信息科技为核心的商业革命,它将颠覆传统经济形式、重构全球经济格局新兴产业链。招商快车成功升级商业模式,致力于帮助中国企业提高生产力、降低运营成本,减少运营盲区,使资源配置合理化,经济效益最大化,从而实现国民经济与商业价值的战略双赢。

以上是小编为大家分享的关于大数据时代,招商快车十大精准营销案例的相关内容,更多信息可以关注环球青藤分享更多干货

④ 大数据案例分析:中国的大数据在哪里

大数据案例分析:中国的大数据在哪里

近几年,大数据这个词突然变得很火,不仅纳入阿里巴巴、谷歌等互联网公司的战略规划中,同时也在我国国务院和其他国家的政府报告中多次提及,大数据无疑成为当今互联网世界中的新宠儿。那么大数据到底为什么这么火呢,难道它真的是从金星来?

现今的我们正处于时代转型中,让你意想不到的事情时常发生,就像富士、柯达胶卷这样的百年企业会被时代所淘汰,由于科技的发展与互联网的日益强大,数据将逐步取代旧事物,创造出新事物。这是一个不可遏制的发展趋势,也是人类进步的标志。

随着当下全球数据的增长已经到了一个高峰,数据的存储单位不断扩大,由此大数据的概念被重视,如何处理海量的繁杂数据就是这个时代转型的关键所在。

只是,大数据给大多数人的感觉是,专业性强,操作繁琐,完全属于“高大上”的技术。普通人应该怎么理解大数据?普通人又该怎么玩大数据呢?今天,本文就给大家分析一下,大数据到底是个什么鬼?

1、大数据引领生活

从硅谷到北京,大数据的话题正在被传播。随着智能手机以及“可佩带”计算设备的出现,我们的行为、位置,甚至身体生理数据等每一点变化都成为了可被记录和分析的数据。信息社会所带来的好处是显而易见的:每个人口袋里都揣着一部手机,每台办公桌上都放有一台电脑,每间办公室内都拥有一个大型局域网。但是,信息本身的用处却并没有如此引人注目。半个世纪以来,随着计算机技术全面融合社会生活,信息爆炸已经积累到了一个开始引发变革的程度,它不仅使世界充斥着比以往更多的信息,而且其增长速度也在加快。

大数据时代的生活令人神往,你对客观世界的认识更进一步,所做的决策也不再仅仅依赖主观判断。甚至对于你的一个习惯动作,你的一次消费行为,你的一份就诊记录,都在被巨大的数字网络串联起来。移动互联网风潮汹涌。大数据正悄悄包围着我们。甚至连着世界经济格局也在酝酿着巨大变革!

互联网时代,尤其是社交网络、电子商务与移动通信把人类社会带入了一个“PB”(1024TB)为单位的结构与非结构数据信息的新时代。通过云计算对大数据进行分析、预测,会使得决策更为精准,释放出更多数据的隐藏价值。数据,这个21世纪人类探索的新边疆,正在被云计算发现、征服。

2、大数据的经典案例

数据正在成为巨大的经济资产,成为新世纪的矿产与石油,将带来全新的创业方向,商业模式和投资机会。然而大数据真正的应用核心是预测。以前单纯依靠人类判断力的领域都会被计算机系统所改变甚至取代,运用大数据的处理与分析,为我们的生活创造出前所未有的可量化的维度。对我们而言,危险不再是隐私的泄露,而是被预知的可能性。下面跟大家分享两个非常经典的案例:

①中石油

客户挑战

▼销售情况无法检测

-销售队伍人员庞大,部门经理无法从庞大的销售数据了解到销售代表的销售业绩与KPI

-从宏观角度发现问题时,无法精确定位发生问题的原因

-无法从各个角度对整体的销售数据进行切片分析,拥有数据却非掌握数据

▼无法根据市场走势制定营销策略

-只能根据粗浅的数据进行感性的市场判断与决策,风险很大

-无法以数字化的方法对市场表现进行精确衡量,无法发现量价平衡的问题

-无法对市场下一步动向进行精确预测

解决方案

▼解决方案之全维度数据分析与挖掘

-时间、空间、维度、指标标准化,与业务强相关-联动分析、钻取分析、细节展示,多角度帮助深入挖掘问题,辅助决策-将智能分析结果通过QQ、微信、邮件、ERP写入等相关的方式通知用户,智能辅助决策


▼解决方案之综合市场指数

-算法独特的市场综合指数,数字化运营,不再拍脑袋决策-科学严谨的挖掘算法,精确衡量市场走势数据挖掘技术,预测未来

最终效果-销售代表业绩及潜力明晰

▼-销售代表业绩及潜力明晰、销售数据实时掌控整个销售团队中,成功获取:

1)销售代表的综合业绩最好者2)销售总额最高者3)毛利率额最高者4)具有潜力的销售代表

▼-数据化掌控,制定营销策略,总经理可以完成

1)从任意部门到各个大区、销售代表和代理商的下钻和上选分析2)实现多层次多维度数据的查询3)从庞大的数据中挖掘重点客户和潜在客户,从而制定营销策略

②沃尔玛的搜索

这家零售业寡头为其网站Walmart.com自行设计了最新的搜索引擎Polaris,利用语义数据进行文本分析、机器学习和同义词挖掘等。根据沃尔玛的说法,语义搜索技术的运用使得在线购物的完成率提升了10%到15%。“对沃尔玛来说,这就意味着数十亿美元的金额。”Laney说。

任何事情的发生,都会有蛛丝马迹的前兆表露出来。如果人们不去关注一支股票行情走势,就不会去买卖这支股票;如果人们不去询问某件商品的价格,也很难产生购买行为;如果没有闷热的天气,似乎就没有透心凉的大雨。关于地震前种种异象,更是被许多书籍、文章大肆渲染。

假定有一种技术可以记录下所有这些先兆,人们就获得了未卜先知的能力。利用大数据技术,能够广泛采集各种各样的数据类型,并进行统计分析,从而预测未来,大数据影响之深远,波及之广泛,远非一般的信息技术可比。大数据预测应该被利用到生活的方方面面,尤其是在预测地震,泥石流等等,拥有先进技术的目的,就应该是人类造福,它的意义也应该在此;否则,所以的创造都是无用功。

大数据的利用,可以重新定位生产商与供应商的关系;可以通过商品本身收集数据并传回制造商进行研究与开发;可以通过用户交互提高服务;当文字变成数据,不仅人可以用之阅读,机器也可用之分析……充分说明,第一,个人也好,公司也好,都需要与时俱进;第二,大数据的多样性有待于更全面的开发,更好地服务于人们的生活。

大数据时代开启了一场寻宝游戏,而人们对于数据的看法以及对于有因果关系向相关关系转化时释放出的潜在价值的态度,正是主宰这场游戏的关键。

大数据并不是一个充斥着算法和机器的冰冷世界,人类的作用依然无法被完全替代。大数据为我们提供的不是最终答案,只是参考答案,帮助是暂时的,而更好的方法和答案还在不久的未来。

以上是小编为大家分享的关于大数据案例分析:中国的大数据在哪里的相关内容,更多信息可以关注环球青藤分享更多干货

⑤ 如何拥抱“大数据时代”

    汹涌澎湃的大数据浪潮,正携带着巨大商机,撞击传统经济的概念和思维。大数据孕育和驱动下的新产品、新服务、新产业层出不穷,并日益深刻地改变着每个人的日常生活。一个基于技术进步的“大数据时代”正在来临。

    中国有句成语,叫“窥一斑而知全豹”。回望人类发展的历史长河,囿于技术限制的“抽样数据”,和建立在此“有限数据”基础上的假设、推理、论证,恰如“窥管知豹”一样,是人类在无法获得“全体数据”的条件限制之下,探索未知领域时无法选择的唯一途径。

    在互联网基础上发展起来的社交网络、电子商务、移动通信、可穿戴设备等“云计算”技术,让“抽样数据”迅速让位“全体数据”,“全体数据”即“大数据”时代的来临,使“知全豹”不仅成为可能,而且变得越来越容易。

    宽带资本董事长田溯宁说:“以云计算为基础的信息存储、分享和挖掘手段,可以便宜、有效、快捷地将这些大量、高速、多变化的终端数据存储下来,并随时进行分析和计算。”

    “全豹”当然比“一斑”更能反应事物的本质。《大数据时代》的作者维克托认为,大数据使人类第一次有机会和条件,在非常多的领域和非常深入的层次,获得和使用全面数据、完整数据和系统数据,深入探索现实世界的规律,获取过去不可能获取的知识,得到过去无法企及的商机。

    田溯宁认为,大数据正在成为巨大的经济资产,是新时代的“矿产”与“石油”,并将带来全新的创业方向,商业模式和投资机会。

的确,大数据正成为资本“热恋”的对象。从Facebook、谷歌,到网络、九次方,五湖四海的资本如过江之鲫,正在加速向“大数据”领域集结。成立于2010年的九次方大数据,2014年、2015年两次融资,就募得资金近10亿元,得到了博信资本、建银财富、当代集团、IDG资本等18家顶尖基金的追捧。

    《2015年中国大数据产业白皮书》显示,我国大数据市场规模2014年达到767亿元,预计到2020年将超过8000亿元。而申万宏源的报告分析称,10年后“大数据”可撬动万亿元级GDP。

    美好的前景,并不能掩盖前行的曲折。稀缺是任何资源的基本属性。“大数据”发展的瓶颈,同样在于数据的“可获取性”。中国政府网披露的信息显示,目前我国信息数据资源80%以上掌握在各级政府部门手里,“深藏闺中”而未能与社会共享,造成了极大的浪费。

    身处大数据时代,人们生活所需的导航、气象、房屋、医疗、就业等信息,往往都来自政府的信息数据开放;产业发展所需的战略思考、布局规划、落地方案等,往往也要依托对政府信息数据的挖掘、重组、混搭。庞大的手机用户和应用市场,造就了中国大数据资源的极端丰富性。解决这些由大规模数据引发的问题,探索以大数据为基础的解决方案,是中国产业升级、效率提高的重要手段。

    贵阳大数据交易所执行总裁、九次方大数据创始人王叁寿认为,大数据将成为继土地之后政府手中最值钱的资源。他说,激活政府手中的大数据资源,让它们走出政府的“深闺大院”,作为要素参与市场,既是简政放权的现实需要,也应该是供给侧改革的重要内容,更是拥抱大数据经济的必由之路。

    流动的要素才能创造价值。开放、流通的数据是时代发展的要求。目前美国政府已创建了Data.gov网站,为大数据敞开了大门;英国、印度也有“数据公开”运动;我国近年来也崛起了贵阳大数据交易所等一批数据交易机构,但作为数据主体的政府依然动作缓慢。

    数据的挖掘和应用,不仅是公司竞争力的核心,也必将成为国家竞争力的标志。在我国产业转型升级的过程中,以大数据思维的创新方式解决问题,推动供给侧改革,创建新的产业群,实现“中国制造”向“中国创造”“中国智造”转型,意义显得尤为重要。

    纵观近代历史,历次技术革命,中国都落在了时代的后面。而这次以互联网为基础的大数据变革,中国与世界的距离最小,在很多领域甚至还是领跑者。田溯宁说:“只要我们以开放的心态,创新的勇气拥抱‘大数据时代’,就一定能抓住历史赋予中国创新的机会。”

⑥ 大数据时代带来更理性、更可靠的决策

大数据时代带来更理性、更可靠的决策_数据分析师考试

究竟是什么魔力,让“大数据”这一概念得到全球各国的普遍关注?到底什么是“大数据”?它能够在多大程度上改变我们的生活?在我们寻求对这些重要问题的解答时,牛津大学网络学院互联网研究所教授维克托·迈尔-舍恩伯格出现在我们的视野中;希望我们对他的采访,可以帮助读者们找到这些疑问的答案。

最近一段时间,“大数据”的热潮席卷全球,正如美国《福布斯》杂志所说的那样,如今,在浏览新闻网站或者参加行业会议时,想看不见或听不到“大数据”这个词几乎不可能。去年,美国6个联邦政府部门宣布将启动“大数据研发计划”,投资超过2亿美元以改进从海量和复杂的数据中获取知识的能力。同时,我国科技部发布的“‘十二五’国家科技计划信息技术领域2013年度备选项目征集指南”也把大数据研究列在首位。眼下召开的全国“两会”上,有全国人大代表提出要把发展“大数据”上升为国家战略。

究竟是什么魔力,让“大数据”这一概念得到全球各国的普遍关注?到底什么是“大数据”?它能够在多大程度上改变我们的生活?眼前对“大数据”的关注度是否已经过高了呢?在我们寻求对这些重要问题的解答时,英国牛津大学网络学院互连网研究所教授维克托·迈尔-舍恩伯格(Viktor Mayer-Schonberger)出现在我们的视野中,讨论“大数据”,他如果不是最合适的人选,也起码是合适人选之一。

20多年来,维克托一直致力于网络经济、信息与创新、信息监管、网络规范与战略管理的研究。还在“大数据”这一概念众说纷纭时,维克托就已进行了系统深入的研究,2010年,他在英国《经济学人》杂志上和数据编辑肯尼思·库克耶一起,发表了长达14页的大数据专题文章。称他为最早洞见大数据时代发展趋势的数据科学家之一,并不为过。

《经济学人》说,在大数据领域,维克托是最受人尊敬的全方位发言人之一;美国《科学》杂志说,若要发起一场关于这个问题的深入讨论,没有比他更好的发起者了。

除了理论研究以外,维克托还非常接近实战世界,早在上大学期间,他就先后成立了两家数据安全和制作反病毒软件的公司,而在他写就的《大数据时代》一书中,那些最前沿、最崭新的大数据应用案例,都得益于他多年来紧跟企业与商业应用的步伐。他的咨询客户中,不乏微软、惠普、IBM、亚马逊、脸书、推特、VISA等大数据先锋们。

目前,维克托还是欧盟互联网官方政策背后的重要制定者与参与者,尤为重要的是,他还任职过新加坡商务部、文莱国防部、科威特商务部等部门,特别熟悉亚洲信息产业的发展与战略布局。

希望我们通过电子邮件对维克托的采访,可以帮助读者们找到这些疑问的答案。

失去微观层面上的精确度,为的是获取宏观层面上的洞察力

文汇报:今天,“大数据”已经成为全球炙手可热的词汇,您是从何时开始关注它的?

迈尔-舍恩伯格:多年来,我一直致力于研究数据在信息经济的发展中所扮演的重要角色,我与肯尼思·库克耶(Kenneth Cukier,我的合著者)一起发布了一系列相关研究报告。大约三年前,在我自己组织的一次会议上,我俩都意识到“大数据”的存在已经不仅仅是一种炒作或者什么宏大的宣言了,而将实实在在地改变我们的工作、生活以及整个社会,于是,我们决定就此专题写一本书。

文汇报:那么在您看来,究竟什么是大数据时代?它和传统数据时代到底有什么差别?我们知道,像沃尔玛这样的公司早在多年前,就已经将大数据运用到了商业实践中。

迈尔-舍恩伯格:事实上,过去几个世纪以来,数据已经在科学家们制定决策的过程中扮演了一定的角色,而过去几十年间,这一做法又延伸到了一些公司的决策制定过程。但在大数据时代之前,数据是非常匮乏的,我们拥有的数据非常少。因此,我们的决策、我们构建的制度都是建立在这样一种数据匮乏的基础上。今天,一切变得非常不同,它体现在三个不同的方面,我们称之为“更多”、“更乱”和“相关性”。

文汇报:这三个特征也是您在《大数据时代》一书中非常强调的,它们甚至会颠覆我们过去的整个思维方式。您能否具体描述一下这到底是怎样的过程?

迈尔-舍恩伯格:好的。我所说的“更多”,是指围绕任何一个我们想要调查的特定问题,或者是需要我们回答的疑问,我们都可以比过去任何时候获取更多的数据。在大数据时代,我们可以利用海量的数据得到非常详尽的见解,这是传统方法所不能做到的。

可以这么说,大数据时代和传统数据时代的区别,就像分辨率在200万像素的旧数码照片,一下子提高到2400万像素那样。后者是一个非常非常大的文件,它可以提供更多细节。它可以让我们不断放大,看清楚小到颗粒状的细部,而具有较低分辨率的图像在这些细节方面就会非常模糊。

基因信息就是一个很好的例子。美国有一家叫23andMe的新公司提供个人的DNA测试分析,以发现一些疾病征兆。它的成本只有两三百美元,并提醒客户关注会发展成严重疾病的个人癖好。但是公司并不对每个客户的全基因组进行测序,而是针对已知特征的位点(经研究得知因某种疾病存在,而可能会出问题的DNA片段)进行比对。这意味着,当一个新的特征被研究发现时,23andMe公司就不得不再次对客户的DNA进行测序并建立更完整的档案。

苹果公司的史蒂夫·乔布斯尝试了非常不同的方法。他得了癌症后,就有了自己全部的基因密码,数十亿的碱基对测序。这花费了他超过10万美元的成本,但这可以让医生完整地洞察他的基因密码。每当药物由于乔布斯的癌症病变而失去有效性,他们就可以根据乔布斯特定的基因信息,寻找到有效的替代药物。遗憾的是,这也没有保住乔布斯的命,但是在这一过程中获得的数据,已经延长了他的生命。

由于技术创新,现在收集大量信息的成本变得越来越低。数年前,史蒂夫·乔布斯花费了六位数的金额才做到的事情,今天,不到1000美元就可以获得同样的服务了。

而“更乱”指的是,在小数据时代,因为数据是如此稀少,我们可以确保自己收集的每一个数据点都是非常准确的。相比较而言,大数据往往是凌乱和质量参差不齐的。但是,相比以高额代价来保证测量和收集少量数据的精确性,在大数据时代,我们将接受这种杂乱,因为我们通常需要的只是一个大方向,而不是努力了解一种现象的细枝末节。我们并不是要完全放弃精确性,我们只是放弃对精确性的热衷。我们失去微观层面上的精确度,为的是获取在宏观层面上的洞察力。

电脑翻译就是其中一个例子。1990年代,IBM的研究人员使用了一套非常精确的文件(加拿大议会记录的法语和英语版)来训练计算机。尽管计算机完全按照规则行事,但基于此的翻译质量却非常低。然后,谷歌在2006年开始介入这一领域,他们没有使用来自加拿大政府的几百万句标准翻译,而是使用随手可得的任何语言。他们在整个互联网上,利用数十亿页质量参差不齐的翻译,这些翻译不怎么标准——但是,这是一个小的权衡——他们能够使用的数据大大增加了,结果翻译质量反而提高了。与更少、更标准的数据相比,更多凌乱的资料完胜了。

“更多”和“更乱”组合到一起,产生了第三个特点,“相关性”,这也是大数据带给我们的最根本性的转变。我们的思维将从因果关系转向相关关系。至今为止的整个人类历史里,全世界的人们都在寻找事件发生的原因,探寻“为什么”。但我们对原因的执着探索往往带领我们走向错误的方向。所以,我们建议,在大数据时代,在许多情况下,我们可以仅仅寻找“是什么”,而不必完全理解“为什么”。例如,对于大数据的分析中,我们可以发现机器震动中一些非常微小的变化,这些变化表明机器将很快损坏。这使我们能够在部分机器零件报废前更换它们,这被称为“预测性维护”,它可以节省不少钱。但除了提高消费效率,“相关性”还可以做更多的事情。

比如对早产儿而言,即使他们长大成人,这些小宝宝仍旧是非常脆弱的,哪怕是遇上很小的感染。医生卡罗琳·麦格雷戈研究如何给这些婴儿最好的生存机会。使用大数据分析,每分钟可以搜集这些婴儿超过一千个数据点,麦格雷戈发现一个令人震惊的事实:每当这些早产儿出现非常稳定的标志时,他们的身体其实并不稳定,正在准备发病。有了这方面的知识,她就能在一个非常早期的阶段,确定婴儿是否需要药物治疗,从而挽救更多孩子的生命。

这是典型的大数据应用:医生麦格雷戈通过更全面的传感器,可以比以往搜集到更多的数据。她也接受,在这种情况下,并不是所有的数据都是准确的,从而也会导致她分析中存在不精确的可能。她把“为什么”这个问题放在一边,而用一种更务实的方式来提供帮助,她寻找“是什么”,这才是一个更好的预见感染的办法。

我们应该记住:大数据也可以挽救生命。

正确使用大数据,可以改善医疗、教育水平,促进人类发展

文汇报:大数据时代的到来,是否将会引领新一轮的产业革命?我们应该怎样客观地看待它的价值?

迈尔-舍恩伯格:大数据将会极大地改变社会生活的方方面面,但是它的价值能否等同于工业革命,这个问题目前还不好说。我个人猜想可能不能,原因是在19世纪初工业革命刚刚开始的时候,经济发展还处于非常低的水平上,所以相对来说,当时的人们从工业化过程中所能获得的生活水平的提升是非常巨大的,今天则非常不一样了。

我们真正想强调的是,大数据时代将推动我们从根本上改变企业的运作方式,以及我们在社会中的生活方式。大数据可以提高人类制定决策的能力,这种提高将是大幅度的。有了大数据,我们不是简单地提高经济效率,而是将挽救人类生命,延长我们自己的寿命。我们还将改善教育,促进发展。同样的道理,我们必须要小心。大数据同样也有“阴暗面”,正如我们在书中讨论的那样。如果应用错误,大数据也可能会化为一个强有力的武器。因此,我们必须确保正确使用大数据。

文汇报:您提到了大数据时代的“阴暗面”,它的到来会加深数字化鸿沟吗?

迈尔-舍恩伯格:大数据是一个强大的工具。因此,如果我们使用了错误的方式,它就可能会加深数字鸿沟。但是,如果我们用得好,相信大数据就可能会改善我们的生活,尤其是对那些不那么幸运的人而言。在这一点上,你可以把它想像成火、电或是抗生素等等。

文汇报:也就是说,您对大数据的价值认知,是基于一个更长时段的历史发展。

迈尔-舍恩伯格:如果以非常广阔的视角来看人类历史,我认为,人类一直想要理解世界。起初,许多人的“知识”是基于迷信和预感。知识的发展非常慢,人们需要非常深层次的思考,再通过实践进行检验,以确保知识是可用的。

但即使如此,我们的知识仍旧不是百分之百可靠的。例如,19世纪,路易·巴斯德一直在研究狂犬病疫苗,当时有一个被狗严重咬伤而染上狂犬病的小孩,父母担心孩子会死去,恳求巴斯德试试他的试验性疫苗。巴斯德照做了,孩子活了下来。随后的庆祝活动上,巴斯德以一个英雄的身份出现,他挽救了年轻孩子的性命。但是事实的确如此吗?今天,通过更深入的研究,我们知道,在被类似病狗咬到的儿童中,只有25%会感染狂犬病。所以75%的儿童哪怕使用了无效的疫苗,仍旧可以存活下来。这个故事告诉我们,我们以为自己生活在非常科学的世界中,但其实,我们拥有的数据非常少。一种新的治疗方法在被证明安全之前,需要做几十个甚至几百个医学实验来进行测试。但这仍旧太少,人们还是会受到伤害,因为我们依靠的数据太少。在大数据时代,我们可以告别数据匮乏,做出的决策将更理性,更基于事实,当然也更可靠。这是大数据时代带给我们的希望——更好的决策将会代替我们过往那些可疑的迷信和不可靠的人类预感。

文汇报:我们看到,麦肯锡公司2011年就发布报告推测,如果把大数据用于美国的医疗保健,一年可产生潜在价值3000亿美元,用于欧洲的公共管理可获得年度潜在价值2500亿欧元;服务提供商利用个人位置数据可获得潜在的消费者年度盈余6000亿美元;利用大数据分析,零售商可增加运营利润60%,制造业设备装配成本会减少50%。“数据创造价值”的预测已经非常振奋人心。在您看来,大数据是否只是一门价值不菲的生意?

迈尔-舍恩伯格:不,大数据可以做更多。医疗方面,我们前面已经提过,只是分析一些重要的征兆,早产婴儿的感染出现明显症状的数小时前,医生就可以预见其生病。

同样,通过大数据分析,我们也可以找出学校教科书中的哪一部分对学生而言效果最好,也可以找出效果不好的部分。到现在为止,我们只能按照人类的预感,即教师自己判断学生在理解特定课程时是否会有疑问;但在大数据时代,我们有实际的数据可以参考,例如数据显示,电子书籍的某些页面被看过许多遍,因为它让学生感觉费解,据此可以调整我们的教材。这将从根本上改变教育。

或者举公共政策为例:Inrix是为智能手机提供导航软件的公司,它还提供实时的交通数据。之所以能做到这一点,是因为每个用户本身都成为了交通流量状况的传感器,把位置和速度信息都发回Inrix公司。这样一来,就可以给行进在交通堵塞路段周围的客户提供良好服务。Inrix公司有一大堆人们的活动数据,这还将有助于城市规划者了解大家的通勤模式,人们从哪里出发去工作,然后返回,并建设基础设施,如道路和铁路。这是最有效的应用。节省钱的同时,也有利于整个社会的管理。

文汇报:大数据对于商业决策、学术研究乃至国家治理的作用是显而易见的;但是对日常生活中的普通人而言,他们一定会从中受益吗?为什么在大数据时代,还是有不少人主张远离过载的信息和数据、返璞归真回到传统的社群生活之中呢?个人生活空间一定得从“简单平面”转变到“多维存在”才有意义吗?

迈尔-舍恩伯格:千百年来,人类已经经历的世界,都是在少量数据的基础上产生很多想法的世界。海员们结束长途航行后回来,地图才会在这一次经验的基础上进行重新绘制。这显然不会很精确。经过试验和犯错的周而复始,人类发展得非常缓慢。但是,当我们只有非常少的数据时,这是理所当然的结果。今天,我们有这么多的数据,难怪人类会不堪重负。但是,现在大数据可以提供帮助。如果人类不太善于消化这些过多的信息,大数据分析可以帮助我们将信息进行过滤,并进一步可视化,使我们能够轻松地加以使用。

人们尚未普遍具备与大数据时代相匹配的思维和技能

文汇报:有专家认为,大数据的未来是数据的APP(加速并行处理)而非基础构架;也就是说,仅仅有数据平台和基础构架是无法创造长期价值的。对此您怎么看?

迈尔-舍恩伯格:我们认为,大数据时代将至少需要和过去时代一样多的人的独创性。同时,巨大的资源才是未来时代的金矿,那些拥有这些数据资源的人将获得的回报是不可想像的。

文汇报:大数据时代,数据都是透明的,我们如何在保护个人隐私、商业机密和国家安全之间取得平衡?您所谓的“互联网遗忘运动”会是最佳药方吗?

迈尔-舍恩伯格:大数据时代所面临的挑战是,我们发现了隐藏在数据背后的价值,所以,保留这些数据,然后一遍遍地重复使用数据,往往成为一种明智的选择。同时,现行的保护个人隐私的法律,特别在西方,针对的是一个传统数据的世界,而不是一个大数据世界。这就需要我们在保护隐私的规则方面作出调整。我们建议,可以通过调整相关保护规则来实现这一目标,正像你所提到的,我们可以在一定时间以后,选择遗忘这些数据。

文汇报:大数据时代是一个海量数据有待处理的时代,同时又是一个海量无用信息需要删除的时代。这是否就是您在《删除》一书中强调我们要有所取舍的原因所在?

迈尔-舍恩伯格:是。在某种程度上,大数据本身也可以加强隐私的保护。因为如果有一百万个数据点,一个单独的数据点就不再那么重要了,这和传统数据时代非常不一样。随着时间的推移,忘记其中一些数据,并不会破坏整个大数据的运行和使用。

文汇报:大数据现在在全球究竟发展到了什么阶段?处理大数据的技术是否已经在全世界范围内普及?

迈尔-舍恩伯格:管理和处理大数据的技术都已经存在了,而且并不是非常昂贵。但是,有一样东西目前仍旧非常缺乏,那就是我们的思维——以理解数据背后所隐藏的巨大价值,以及提取这种价值的专门技能。今天,全球范围内,人们还没有普遍具备这种思维和技能,但是我相信,在未来,这种情况会发生改变。我们预计,世界各地的许多大学将提供针对大数据分析的课程,来培训大数据时代所需要的技能。

文汇报:历次产业技术革命,中国似乎都是学习者和模仿者;和上几轮产业技术革命不同的是,大数据时代,中国几乎和欧美发达国家同时开始技术研发,中国人口又居世界首位,将会成为产生数据量最多的国家。您看好中国在新时代的发展前景吗?中国在大数据时代是否有创新和领先的可能?

迈尔-舍恩伯格:是的,我们对此非常乐观。中国很可能成为大数据这一领域的先驱。在大数据时代,中国有很多优势:中国人都受过良好的教育,特别是在数学和统计方面(这是非常重要的)。中国是一个巨大的多元化社会,这会创造大量机会来创造大数据这一资源,并建立大数据应用。同样的道理,对于大数据的蓬勃发展,我们还需要相匹配的思维方式,有尝试新事物和持续创新的愿望,以实证事实来作为我们决策的依据。因此,和许多其他社会一样,大数据时代的确也会给中国带来非常大的变化。

以上是小编为大家分享的关于大数据时代带来更理性、更可靠的决策的相关内容,更多信息可以关注环球青藤分享更多干货

⑦ 《大数据时代》:别把参考答案当做最终答案

因为周边总是充斥着“大数据”、“云计算”的字眼,望着说着术语的人们眼里野心勃勃的光芒,我不禁有些急躁的想弄明白什么是大数据,到底我们可以从大数据里挖掘到什么样的财富。不得不说,我选了一本好书,全篇脉络分明,逻辑缜密,穿插着数量繁复的案例,让人在兴致盎然之际就能通俗理解。

第一部分 大数据时代的思维变革

大数据时代的来临,最先要颠覆的是我们的思维模式:1、不是随机样本,而是全体数据;2、不是精确性,而是混杂性;3、不是因果关系,而是相关关系。

坦率的说,这个部分给我的感悟很深,相信很多工作涉及到做数据报告的人,都会从中获益不少。浅显的说,大数据时代是让我们把思维聚焦引向发散的变革。传统意义上,甚至人们日常生活的惯性里,都本能的需求一种因果关系。例如发生了一件事情,人们会立刻寻找一个简单的原因去说服自己。也就是“因为……所以……”这种逻辑思维是根深蒂固的。

在大数据时代,在拥有几乎完整的数据时,我们不再刻意追求数据中彼此之间的目的性,从相关性出发,我们无法说清楚为什么,但我们总知道就是这样。相关性的概念将会引申更多的创意思维,相信未来的工种也会因此更加细分,甚至会出现更多的新兴行业。

第二部分 大数据时代的商业变革

这是每个人都深有体会的:1、一切皆可量化;2、取之不尽,用之不竭的数据创新;3、数据、技术与思维的三足鼎立。

全书最核心或者说我本人最想了解的答案就在这里了。搜索引擎,导航工具,微博,微信记录着我们一切的行为记录,我们的情绪起伏都能被量化。这对商界是笔巨大的财富,他们可以根据这些数据定制独一无二的消费计划,也可以从中的相关关系中避免许多不必要的损失。

于是数据时代的价值链诞生:

1、基于数据本身的公司。 这类公司拥有大量的数据或者可以收集到大量数据。他们以出售数据盈利。当然大数据时代的后期,他们也开始逐渐转型,收购分析团队,将数据更大限度的价值化,以获取更高的盈利。

2、基于技能的公司。 咨询公司就是此类公司的典型代表,天睿,尼尔森这些都是数据分析的佼佼者,甚至四大现在也在积极开拓咨询业务。

3、基于思维的公司。 创新思维应该属于大数据时代最宝贵的财富。FlightCaster、Facebook、滴滴等等这些都是创新思维的典范。

我们要想从大数据时代挖掘金矿也可以顺着这条价值链下手。本人更倾向于第三种思维的风暴。有趣的是,这类公司的发起人甚至这些被我们趋之若鹜的应用都是创始人无聊逗乐的作品。显然,热爱生活,为生活提供更多便利和快乐,仿佛都是创新思维创造需求所必须的。

第三部分 大数据时代的管理变革

风险: 除开我们平常喜欢网购,消费习惯被搜索引擎记录在外,导航系统记录着我们的行动轨迹,甚至是我们的心情,通过微信朋友圈和微博,也都一一被监控中。我们仿佛生活在一双看不见的眼睛里,想想都觉得不寒而栗。

更可怕的是,当人们过于依赖大数据去做决策的时候,我们的社会终将有一天会演变为预测行为更替事实行为的悲剧。最简单的例子:警察可能从大数据监控的一系列行为中分析得到结论某人会谋杀他的妻子,而这个人也许什么都没做,而警察却名正言顺的将此人逮捕。因为大数据预测分析他一定会做,而警察的行为只是阻止了的悲剧的发生。完全磨灭了他可能真的不会犯罪的可能性。

掌控: 让数据的使用者承担责任,是相对保护个人隐私的有效方式。避免了个人信息数据被过度曝光,又给与了数据分析者极大的开发使用空间。另外大数据时代更要避免数据独裁时代。谷歌曾要求员工测试41种蓝色的阴影效果中,哪种被人们使用最频繁,从而决定网页工具栏的颜色。这种数据独裁曾在谷歌一度到达顶峰,同时也激起了强烈反抗。

数据的盲目崇拜总让人会遗忘数据总有固有的局限性,数据导向的答案是参考答案不是最终答案。不为数据而数据,才是大数据时代最好的态度,才能将大数据的功能最大化。

⑧ 大数据时代背景下的档案管理分析

大数据时代背景下的档案管理分析
在大数据时代的发展进程中,应该将大数据的价值积极的展现出来,所以相应的管理模式需要加以进一步的变革。应该将相应的管理模式加以进一步的转变,积极的采用大数据技术实现档案数据信息的相互关联,这样才能更好的实现档案资源的共享。相关的档案管理部门也应该做相互协调的工作,将档案数字资源中所蕴含的潜在价值充分的体现出来,这样才能实现进一步的整合。传统的档案管理部门中,供给式的模式占据重要位置,而在新时期的发展下,这一思维模式应该加以进一步的转变,从用户面临的问题入手,为人们的行为决策提供有益指导。以解决用户所面临的问题为目标整合档案数字资源,构建起以社会利用需求为导向的档案数字资源体系,不断提高档案服务与用户需求之间的匹配程度。
构建适应大数据要求的档案数字资源。以云计算为例,它适应了大数据时代分布式存储与海量数据并行处理的需要,实现了计算机资源的服务化,是大数据时代档案数字资源整合的基础平台和支撑技术。首先,各档案部门应根据国家统一规划以及自身基础设施建设与档案数据库资源匹配程度的具体情况,灵活选择适合的云部署方案。对于那些处在档案数字资源整合关键节点的部门应架设私有云,以动态申请公有云的方式弥补自身计算能力、存储空间等的不足。其次,云计算能统一各应用环境之间的业务逻辑、组织结构和表达方式等,消除信息孤岛,从而建立集成的档案数字资源管理平台,促成档案数字资源深层次整合与知识开发的实现。再次,云计算能实现对档案应用的整合,并以服?盏男问较蛴没Х⒉迹煌?时支持用户利用各种终端设备随时随地访问所需的云服务。这些都将在最大程度上发挥档案数字资源整合的优势,提高档案服务的效率和便捷性。
加强大数据时代档案数字资源整合的安全保障体系建设。首先,应建立IAM(身份和访问管理)和隐私保护系统,实现统一身份认证与访问权限控制,达到用户安全集成管理的目标,有效应对档案数字资源整合与大数据应用过程中的安全风险。其次,通过数据加密技术保护档案信息安全。通过SSL(Secure Sockets Layer,安全套接层协议层)加密,实现在数据集的节点和应用程序之间移动保护大数据。再次,综合运用大数据技术手段与安全保密制度,加强对重点领域档案数据的日常监管,有效应对档案数据聚集性与档案利用需求无序性造成的档案泄密风险。最后,实时开展档案数字资源异地异质备份工作,提高系统容灾能力。
最后,还要组建一支具有大数据素质的档案从业者队伍。大数据环境下,档案从业者应加强自身素质建设,在档案数字资源整合中承担起业务专家的重任,成为档案数字资源的提供者、组织者和导航者。作为档案数字资源的提供者,就要求档案从业者具有过硬的档案专业知识与技能,能正确预判大数据给本单位数据处理各环节带来的风险构成,给出基于档案专业的解决方案,从而确保档案数字资源的真实、完整与安全,最大限度地满足档案数字资源整合的需要,保证档案价值的实现。

⑨ 大数据与侦查模式变革研究(1)

大数据与侦查模式变革研究(1)_数据分析师培训

大数据在西方广泛应用于总统选举预测、商业营销、疾病预防、金融分析、教育变革,也运用于社会监控和预测、治安管理、恐怖主义打击等等方面。

运用大量数据进行犯罪侦查和控制始于1994年纽约市的警察部门启用的一个新的治安信息管理系统,即CompStat(Computer Statistics的缩写)。CompStat是通过比较数据统计报告为基础来确定警力资源分配、犯罪预防和打击对策[5]。大数据时代的到来,西方更是着力建构大数据驱动的犯罪侦查和控制体系。大数据驱动犯罪侦查和控制体系利用大数据帮助警察分析历史案件、发现犯罪趋势和犯罪模式;通过分析城市数据源和社交网络数据,预测犯罪;利用大数据,优化警力资源分配,从而提高社会和公众安全水平[6]。大数据已使犯罪侦查和控制模式发生根本性变革,利用大数据提升犯罪侦查和控制能力是未来的发展方向。

公安部部长郭声琨强调要大力加强大数据时代提升维护公共安全和服务人民群众的能力和水平[7]。我国各级公安机关已开始有意识运用大数据推动犯罪侦查和控制。然而大数据不仅是一个技术问题,也带来了侦查理念、方式、机制的变革。我国学界的研究集中在大数据技术应用研究,对大数据带来的侦查理念、方式、机制的变革的研究偏少,也不够深入,迫切需要更为系统的、深入的研究。

一、复杂的犯罪态势与大数据时代犯罪的数据化生态

当下,犯罪呈现出更加严峻和复杂的态势。首先是犯罪总量大,犯罪率逐年上升。据统计,仅2012年公安机关刑事案件立案的案件数为6551440起,检察机关批捕、决定逮捕犯罪嫌疑人的案件数为680539,人数为986056[8]。近二十多年来,中国犯罪率呈逐年上升趋势,刑事案件立案数平均每年增长22%以上,超过了全国GDP的增长。①其次是犯罪智能化。犯罪是一种社会存在,科学的发展渗透到犯罪的方方面面,提升了其能力和危害程度。这表现为两个方面:一是运用科学思维实施的犯罪,主要表现为犯罪思维严密,犯罪前经过周密部署和策划,犯罪过程渗透着科学思维和谋略。二是利用科学技术实施的犯罪,突出表现为数字化犯罪。以利用网络犯罪为例,2012年,全国公安机关累计破获涉网违法犯罪案件11.8万余起,抓获犯罪嫌疑人21.6万余人。据赛门铁克公司2012年9月发布的诺顿安全报告估算,2011年7月至2012年7月,中国有超过2.57亿人成为网络违法犯罪的受害者。网络违法犯罪所造成的直接经济损失达2890亿元人民币,受害者人均蒙受的直接经济损失约1200元人民币[9]。第三,犯罪时空的复杂性。现代科技的发展,使得犯罪时间非线性,犯罪空间缺席性,时空组合的多维、多样化和任意性[10]。第四,案件因果联系复杂。相对于传统的静态、单一社会来说,现代社会是一个动态、复杂社会。在动态、复杂社会中,因果联系具有非线性、偶合性、多因性、断裂性,犯罪的因果联系往往难以确定。

计算机及网络技术的发展,使得当下社会已经进入了大数据时代。大数据时代首先是数据记录时代。在数据记录时代,数据记录成为默认模式[11],人类社会处在被无所不在各种各样传感器和微处理器构成“万维触角”的数据网络记录之下,手机、网络、监控探头、射频技术等等无所不在地记录着我们的行为乃至我们的思想。“早上出门,电梯的摄像头记录着我们的出行时间;开车上班,道路的摄像头记录着我们的位置和车速;工作期间,网页记录着我们的浏览习惯和搜索记录,电话记录着我们的联网对象和通话时长;下班回家,购物记录界定着我们的职业身份、家庭背景甚至性格特征,电视机顶盒记录着我们的收视习惯和价值品位……”[12]“在数字世界里,我们都会留下电子‘脚印’或电子‘指纹’。”[13]20“我们正处于一种不断变化却日趋紧密的被监视状态中。事实上,现在我们的一举一动都能在某个数据库中找到线索。”[14]12

狡猾的犯罪者能有例外而成为“数据隐士”吗?要成为“数据隐士”,意味着你要完全脱离现代社会系统,不仅不能使用数字化产品,还要完全意义上不食“人间烟火”。因为现代社会几乎被数据化了,一旦你与现代社会系统进行交换,就很有可能被数据捕捉和记录。然而,这并不是说犯罪者的具体犯罪的任何要素或片段如犯罪时间、犯罪空间、犯罪行为、犯罪工具等等都会直接且完整无缺被数据记录和储存;而是说犯罪者隐藏的犯罪信息总是被相关的海量数据从不同的侧面记录着,即便是某些甚至是主要或关键的犯罪要素或片段缺失,也可以通过不同侧面相关海量数据联接、分析,拼接或描画出犯罪过程。因此,在大数据时代,不要说数字化犯罪,即使传统手段的犯罪,都可以说落入了一种“天网恢恢,疏而不漏”的网络记录和存储体系,数据化就是当下犯罪的现实生态。

二、大数据驱动的侦查模式是时代的必然选择

模式指经过提炼和抽象的标准样式。侦查模式反映了侦查要素的结构关系和运行逻辑。侦查模式可以按照不同的标准进行分类。学界按照侦查是否运用信息科技手段,把侦查模式分为传统的侦查模式、信息主导侦查模式。然而,如果从信息论的视角来看,传统侦查模式与信息主导侦查模式的本质区别不是是否运用信息,而是信息记录、存储、提取以及分析方式上的根本差别。按照侦查所能运用信息的记录、存储、提取以及分析方式,可以把侦查模式划分为传统侦查模式、业务信息主导的侦查模式和大数据驱动的侦查模式。学界一般将业务信息主导的侦查模式和大数据驱动的侦查模式合称为信息主导侦查模式,但两者之间不仅是发展阶段上的差异(大数据驱动的侦查模式是在业务信息主导侦查的基础上发展起来的),而且在信息类型、信息提取和研判方式上也有根本差异,最重要的是由此差异而带来侦查理念、特征和机制上的根本变革。

传统侦查模式是在信息存储、提取和分析上几乎没有什么科技含量的模式。传统社会,人类对信息的记录和存储方式主要是人的大脑和书写体系(传统社会由于信息记录的需要发展出一整套书写体系,由此而产生了许许多多按时间汇集的分门别类的书写档案库)。对于犯罪的信息记录来说,除了大脑和书写档案外,犯罪现场也以物质交换的形式记录着犯罪信息。因此,传统的侦查主要手段是调查访问(对大脑储存的信息提取)、书写档案的查询。②人脑信息的存储和提取的特点是:分散在不同的人身上;信息的准确性差,受到外在环境和信息储存者自身感受能力、记忆能力等影响;信息缺乏稳定性,信息量和准确性随着时间变化而衰减;信息能否提取以及提取的质量,首先取决于能否找到储存信息的人,其次取决于侦查人员的询问技术(经验)、被询问人表达能力、情绪、配合态度等等多种因素。书写档案记录信息的优点是准确性高、稳定性强,但其有两个重大缺陷:一是提取困难。人们要找到其中一点有用信息,就得把所有的资料翻阅一遍;尽管后来建立了图书馆式的目录索引,但查找起来依然耗时费力。二是不能提供直接的犯罪信息。书写档案不可能是犯罪的实时记录,只可能是犯罪破获后一种事后登记,因此这种档案对于需要破获的犯罪来说,不能提供直接的犯罪信息。传统侦查的信息分析研判主要依靠侦查人员的经验,有经验的侦查人员往往成为是否破案的关键。总之,这种模式科技含量低、粗放型特征突出,能否破案主要取决于侦查人员的经验和投入的人力多少,不仅如此,还取决于侦查人员的运气。这对于传统静态、单一的社会及其犯罪也许能够适应,而与动态、复杂的社会及其犯罪几乎完全不匹配。

业务信息主导侦查模式是在信息技术引领下的以业务信息存储、提取和研判为基础的侦查模式。随着信息技术的发展,各种各样信息记录和存储设备被广泛使用。信息记录和存储不再完全依赖人脑和书写档案,而是电子化的记录,存储设备成为人类记录和存储信息的主要方式。这些设备代替人脑和书写档案实时记录着人类的行为,也记录了犯罪行为。所记录和存储的信息从来源和存储分布来看,形成于不同的业务经营并分布储存在不同的业务信息库中,如商家记录和存储人们的消费信息、银行记录和存储了人们的金融交易信息、医院记录病人信息等等。这些信息库缺乏整合,相互之间形成信息孤岛,信息冗余和信息孤岛成为信息存在的基本生态。就业务信息主导侦查模式来说,其主要特征是:一是侦查部门依赖于公安平台所累积的结构化的数据库主要用于人、事、物的核查、比对,实时犯罪信息仍然主要依靠人工采集。二是信息提取依然困难。不可否认,相比传统侦查模式,业务信息主导的侦查模式针对公安机关所累积结构化信息来说,确实大大提高了查询、比对效率,但是面对越来越多地被累积的不同来源、不同结构的数据,尤其是大量的半结构化和非结构化数据,既缺乏数据整合的技术和机制,也缺乏信息提取的技术手段。结构化数据是先有模型后有数据,大多具有事后登记的性质(也有少量的实时记录的数据如旅馆住宿等),很难有实时犯罪行为记录信息,其主要价值在于对人、事、物的核查;而正是不同来源的半结构化、非结构化数据中实时记录了犯罪的“蛛丝马迹”。三是信息分析、研判仍然主要依靠侦查人员的经验。业务信息系统主要用于简单的查询、比对,但是不能进行智能化的算法分析。总的来说,这种侦查模式面对当下的犯罪态势,尤其是流动性犯罪、数字化犯罪等,难有成效。

大数据驱动侦查模式是建立在大数据和云计算平台的基础上,是大数据时代的信息主导侦查模式的升级换代。在大数据时代,大数据驱动的侦查模式是一种时代的必然选择,这不仅在于复杂的犯罪态势及其数据化生态,更在于大数据技术使得这种选择成为现实。

首先,犯罪的数据化生态是大数据驱动侦查模式的现实基础。面对当下复杂的犯罪态势,人们似乎有点不知所措。犯罪的控制某种程度上是一种侦查技术对犯罪技术保持优势。然而现代性的发展使犯罪者具有更强的匿名性、流动性等,从而一度打破了公安机关曾经具有的优势,这也是如今犯罪爆发性增长的原因之一。然而犯罪作为一种社会存在,当社会成就犯罪条件时,也会给人类提供制约其的机会。犯罪的数据化生态根本改变了犯罪信息的记录和存储方式,极大扩大了“社会记忆”,大数据技术将彻底改变侦查技术与犯罪技术之间的对比关系。因此,我们必须改换传统的侦查模式,采用大数据驱动侦查模式以控制犯罪和打击犯罪。

其次,在大数据时代,侦查所面对和所能处理的数据不再是小数据,而是大数据。如今,侦查所面对和所能处理的数据具有体量大、类型多、价值密度低的特征。“池塘”和“大海”最容易发现的区别就是规模[15]。过去侦查,即使是业务信息主导侦查阶段,所面对或所能处理的数据量相当于“池塘”,而与此相对照,现代侦查所面对和能处理的数据量则是“大海”。不仅如此,现代侦查所面对的则是数据的多样性:从结构上看,不仅有结构化数据,还有大量半结构化和非结构化数据;从数据类型看,有业务数据、用户原创数据、传感器感知数据;从数据表现形式看,有文字、图片、音频、视频、链接等;从犯罪案件构成角度看,有人及其关系、行为、物、时间、空间和主观意图数据。数据的价值密度低。在巨量的数据中,有关犯罪数据混杂其间,仅仅是其中小小的“浪花”,但其弥足珍贵。以视频为例,连续不间断监控过程中,可能有用的数据仅仅有一两秒[16]。

第三,大数据技术能从海量的数据中对犯罪信息进行提取、分析研判以及预测未来。大数据是其规模或复杂程度超出了常用技术按照合理的成本和时限捕捉、处理的数据。而以云计算为依托的大数据技术可以突破常规技术成本和时限的要求。具体来说,其一,大数据技术能适时提取和分析处理多结构多源数据,尤其是半结构和非结构化的数据,能够从海量的、杂乱无章的数据中抽取出大量的与犯罪相关的细节、点滴片断、不同侧面数据、信息,并且能把“数据联系起来、信息点连接起来、片断串联起来”[13]29-30,从而能将表面看来毫无意义、互不关联的数据碎片拼出一幅清晰完整的犯罪图画。而对于确定一个犯罪嫌疑人的身份来说,也许只需要四个信息点就足够了。其二,大数据以云计算为依托,能够在合理时间内进行信息提取和分析。以周克华案件为例,南京警方动用上百名警力花费了数天时间对视频监控数据进行人肉搜索,而运用大数据技术也许只要几个小时就足够了。其三,大数据技术,一个最为根本的突破是能够运用海量数据进行算法分析,进行信息研判,从而帮助我们认识过去,分析原因,揭示犯罪发生的规律。最后,大数据能在分析过去中寻找有意义的模式,从而预测未来,为我们优化警力资源配置、打击犯罪提供先机。

三、大数据驱动的侦查模式的理念变革

黑格尔指出,“理念是任何一门学问的理性”[17],并认为理念中包含着“某种预想的东西”,具有前瞻性、导向性和设计性[18]。侦查模式转换首先是理念转换。侦查模式中的理念就是指贯穿在侦查模式中反映了侦查规律的并具有引导、支配、决定侦查活动的观点、看法、信念。大数据驱动侦查模式不仅是一种新的工作模式,更是一种新思维、新理念。在大数据时代,侦查要确立的理念有:

在线、开放的理念。大数据首先是在线数据。大数据不仅是体量大,更是实时记录社会的复杂动态数据:用户原创和各种传感器感知数据,而正是这些数据混杂了犯罪的“蛛丝马迹”。对于侦查来说,公安大平台累积的结构化数据是重要的,尤其是对人、事、物的核查具有重要价值,但是很难有实时的犯罪记录。大数据驱动的侦查就是在公安大平台累积的结构化数据的基础上,对不断变动用户原创和各种传感器感知数据进行提取、分析和处理,获取信息。因此,对于大数据驱动的侦查,我们必须坚持在线和开放的数据理念,以获得我们需要的海量数据,进而分析、处理这些数据。

数据主导侦查理念。大数据时代,数据是犯罪的生态,侦查过程就是数据储存、提取和分析过程,数据贯穿于侦查的各个环节,“让数据说话”成为侦查的基本思维。数据主导侦查的理念至少包括以下三个方面的内容:首先,有关犯罪的一切现象皆可数据化。凡事皆可量化,皆可数据化[19]25-26。不仅与犯罪相关的有形之物如时间、空间、人的特征(生物识别特征、行为习惯等)、行为、手段、物等可以量化和数据化,那些与犯罪相关的无形之物如人的价值观念、态度、情绪等等也可以量化和数据化。其次,大数据是侦查的基础资源,是侦查的工具箱。侦查就是对数据开矿式的挖掘和分析,侦查能否成功某种程度上取决于对大数据资源的提取、分析能力;运用大数据各种分析技术,可以获得我们所需要的犯罪信息。最后,在大数据时代,数据居于侦查过程的核心地位,支配着侦查的运行。犯罪现场重建、侦查决策、侦查途径的选择、侦查分析、数据摸排、侦查预测等等无不围绕数据运行。

相关性理念。大数据是通过量化两个数据值之间的数理关系来确定相关关系。相关关系强,是指当一个数据值增加时,另一个数据值很有可能随之增加[3]71。传统侦查,是按照因果关系和数据结构的标准③来采集数据和分析数据。到大数据时代,我们能分析、运用几乎所有相关数据,收集数据不必再拘泥于因果关系和数据结构标准,而是坚持相关性标准,不仅采集结构化数据,还要采集半结构化和非结构化数据。这种相关关系虽然不能直接揭示内在的因果关系,但是对于犯罪侦查和控制来说,其展现的相关关系仍具有较强的效用价值。

相关关系能让侦查人员全方位、多角度地思考分析案情。相关关系虽然不追求精确性,但是其追求丰富性,不拒绝任何机会,尽可能去创造和利用机会。通过相关关系,才能将看起来没有联系的信息内在地联系起来,从而更为全面地认识案件情况。这也许可以帮助我们发现破案线索,理清破案思路,划定侦破范围。

相关关系可以给我们进一步确定因果关系以指引,从而确定犯罪原因和证明犯罪。相关关系的分析是分析因果关系的基础。相关关系并不必然是因果关系,但因果关系必然是高度相关关系。通过相关关系,我们可以进一步探究其中是否存在因果关系,从而证明犯罪。

相关关系的一个重要价值是可以监控犯罪情势。如上所述,当下影响犯罪的原因是纷繁复杂的,要确定犯罪发生的原因相当不容易甚至不可能。对于侦查人员来说,重要的也许不是去理清犯罪原因,而是控制犯罪。通过相关关系,确定关联物,进而可以监控犯罪情势,从而使我们有效配置警力资源,打击犯罪。

通过相关关系,可以预测犯罪。大数据的核心价值是预测。通过收集具有相关关系的数据,建立大数据模型,我们可以从微观上预测什么时间、什么地点、什么人、什么类型等等的犯罪容易发生,也可以从宏观上预测犯罪趋势,这为我们防范和打击犯罪提供了更好的机会。

线上破案与线下证明相结合的理念。大数据使得发现和确定某一犯罪嫌疑人似乎变得相当容易。但是数据只是事实的镜像,并不等于就是事实;④而且大数据的算法逻辑(强调相关关系、确定的只是一种概率,甚至由于噪音等因素会出现致命的误差)与法律证明逻辑(强调因果关系和排除合理怀疑标准)存在差异,因此,犯罪侦查尚需要进一步按照法律体系的操作要求进行证明。即使我们通过大数据可以确定犯罪嫌疑人,达到了排除合理怀疑的标准,我们也必须把大数据的算法体系转化为符合法律规范要求的证明体系,把数据确定转换为法律确定。然而,线上破案和线下证明并不是割裂的,大数据能对我们证明起引导作用,帮助我们寻找证据,确定因果关系。因此,在大数据时代我们既不能抛弃相关关系,只追求因果关系,也要必须防止用相关关系代替因果关系,防止用预测来代替事实。

以上是小编为大家分享的关于大数据与侦查模式变革研究(1)的相关内容,更多信息可以关注环球青藤分享更多干货

⑩ 什么是大数据时代

大数据时代

(巨量资料(IT行业术语))
编辑
最早提出“大数据”时代到来的是全球知名咨询公司麦肯锡,麦肯锡称:“数据,已经渗透到当今每一个行业和业务职能领域,成为重要的生产因素。人们对于海量数据的挖掘和运用,预示着新一波生产率增长和消费者盈余浪潮的到来。” “大数据”在物理学、生物学、环境生态学等领域以及军事、金融、通讯等行业存在已有时日,却因为近年来互联网和信息行业的发展而引起人们关注。
中文名
大数据时代
外文名
Big data
提出者
麦肯锡
类 属
科技名词
目录
1 产生背景
2 影响
▪ 大数据
▪ 大数据的精髓
▪ 数据价值
▪ 可视化
3 特征
4 案例分析
5 产业崛起
6 提供依据
7 应对措施

产生背景
编辑

进入2012年,大数据(big data)一词越来越多地被提及,人们用它来描述和定义信息爆炸时代产生的海量数
大数据时代来临
据,并命名与之相关的技术发展与创新。它已经上过《纽约时报》《华尔街日报》的专栏封面,进入美国白宫官网的新闻,现身在国内一些互联网主题的讲座沙龙中,甚至被嗅觉灵敏的国金证券、国泰君安、银河证券等写进了投资推荐报告。[1]
数据正在迅速膨胀并变大,它决定着企业的未来发展,虽然很多企业可能并没有意识到数据爆炸性增长带来问题的隐患,但是随着时间的推移,人们将越来越多的意识到数据对企业的重要性。
正如《纽约时报》2012年2月的一篇专栏中所称,“大数据”时代已经降临,在商业、经济及其他领域中,决策将日益基于数据和分析而作出,而并非基于经验和直觉。
哈佛大学社会学教授加里·金说:“这是一场革命,庞大的数据资源使得各个领域开始了量化进程,无论学术界、商界还是政府,所有领域都将开始这种进程。”[2]

影响
编辑

大数据
现在的社会是一个高速发展的社会,科技发达,信息流通,人们之间的交流越来越密切,生活也越来越方便,大数据就是这个高科技时代的产物。[3]
随着云时代的来临,大数据(Big data)也吸引了越来越多的关注。大数据(Big data)通常用来形容一个公司创造的大量非结构化和半结构化数据,这些数据在下载到关系型数据库用于分析时会花费过多时间和金钱。大数据分析常和云计算联系到一起,因为实时的大型数据集分析需要像MapRece一样的框架来向数十、数百或甚至数千的电脑分配工作。[2]
在现今的社会,大数据的应用越来越彰显他的优势,它占领的领域也越来越大,电子商务、O2O、物流配送等,各种利用大数据进行发展的领域正在协助企业不断地发展新业务,创新运营模式。有了大数据这个概念,对于消费者行为的判断,产品销售量的预测,精确的营销范围以及存货的补给已经得到全面的改善与优化。[4]
“大数据”在互联网行业指的是这样一种现象:互联网公司在日常运营中生成、累积的用户网络行为数据。这些数据的规模是如此庞大,以至于不能用G或T来衡量。
大数据到底有多大?一组名为“互联网上一天”的数据告诉我们,一天之中,互联网产生的全部内容可以刻满1.68亿张DVD;发出的邮件有2940亿封之多(相当于美国两年的纸质信件数量);发出的社区帖子达200万个(相当于《时代》杂志770年的文字量);卖出的手机为37.8万台,高于全球每天出生的婴儿数量37.1万……[1]
截止到2012年,数据量已经从TB(1024GB=1TB)级别跃升到PB(1024TB=1PB)、EB(1024PB=1EB)乃至ZB(1024EB=1ZB)级别。国际数据公司(IDC)的研究结果表明,2008年全球产生的数据量为0.49ZB,2009年的数据量为0.8ZB,2010年增长为1.2ZB,2011年的数量更是高达1.82ZB,相当于全球每人产生200GB以上的数据。而到2012年为止,人类生产的所有印刷材料的数据量是200PB,全人类历史上说过的所有话的数据量大约是5EB。IBM的研究称,整个人类文明所获得的全部数据中,有90%是过去两年内产生的。而到了2020年,全世界所产生的数据规模将达到今天的44倍。[5] 每一天,全世界会上传超过5亿张图片,每分钟就有20小时时长的视频被分享。然而,即使是人们每天创造的全部信息——包括语音通话、电子邮件和信息在内的各种通信,以及上传的全部图片、视频与音乐,其信息量也无法匹及每一天所创造出的关于人们自身的数字信息量。
这样的趋势会持续下去。我们现在还处于所谓“物联网”的最初级阶段,而随着技术成熟,我们的设备、交通工具和迅速发展的“可穿戴”科技将能互相连接与沟通。科技的进步已经使创造、捕捉和管理信息的成本降至2005年的六分之一,而从2005年起,用在硬件、软件、人才及服务之上的商业投资也增长了整整50%,达到了4000亿美元。[5]

大数据的精髓
大数据带给我们的三个颠覆性观念转变:是全部数据,而不是随机采样;是大体方向,而不是精确制导;是相关关系,而不是因果关系。[6]
A.不是随机样本,而是全体数据:在大数据时代,我们可以分析更多的数据,有时候甚至可以处理和某个特别现象相关的所有数据,而不再依赖于随机采样(随机采样,以前我们通常把这看成是理所应当的限制,但高性能的数字技术让我们意识到,这其实是一种人为限制);
B.不是精确性,而是混杂性:研究数据如此之多,以至于我们不再热衷于追求精确度;之前需要分析的数据很少,所以我们必须尽可能精确地量化我们的记录,随着规模的扩大,对精确度的痴迷将减弱;拥有了大数据,我们不再需要对一个现象刨根问底,只要掌握了大体的发展方向即可,适当忽略微观层面上的精确度,会让我们在宏观层面拥有更好的洞察力;
C.不是因果关系,而是相关关系:我们不再热衷于找因果关系,寻找因果关系是人类长久以来的习惯,在大数据时代,我们无须再紧盯事物之间的因果关系,而应该寻找事物之间的相关关系;相关关系也许不能准确地告诉我们某件事情为何会发生,但是它会提醒我们这件事情正在发生。

数据价值
大数据时代,什么最贵?
十年前,葛大爷曾说过,“21世纪什么最贵?”——“人才”,深以为然。只是,十年后的今天,大数据时代也带来了身价不断翻番的各种数据。由于急速拓展的网络带宽以及各种穿戴设备所带来的大量数据,数据的增长从未停歇,甚至呈井喷式增长。[7]
一分钟内,微博推特上新发的数据量超过10万;社交网络“脸谱”的浏览量超过600万……
这些庞大数字,意味着什么?
它意味着,一种全新的致富手段也许就摆在面前,它的价值堪比石油和黄金。
事实上,当你仍然在把微博等社交平台当作抒情或者发议论的工具时,华尔街的敛财高手们却正在挖掘这些互联网的“数据财富”,先人一步用其预判市场走势,而且取得了不俗的收益。
让我们一起来看看——他们是怎么做的。
这些数据都能干啥。具体有六大价值:
●1、华尔街根据民众情绪抛售股票;
●2、对冲基金依据购物网站的顾客评论,分析企业产品销售状况;
●3、银行根据求职网站的岗位数量,推断就业率;
●4、投资机构搜集并分析上市企业声明,从中寻找破产的蛛丝马迹;
●5、美国疾病控制和预防中心依据网民搜索,分析全球范围内流感等病疫的传播状况;
●6、美国总统奥巴马的竞选团队依据选民的微博,实时分析选民对总统竞选人的喜好。[1]

可视化
“数据是新的石油。”亚马逊前任首席科学家Andreas Weigend说。Instagram以10亿美元出售之时,成立于1881年的世界最大影像产品及服务商柯达正申请破产。
大数据是如此重要,以至于其获取、储存、搜索、共享、分析,乃至可视化地呈现,都成为了当前重要的研究课题[1] 。
“当时时变幻的、海量的数据出现在眼前,是怎样一幅壮观的景象?在后台注视着这一切,会不会有接近上帝俯视人间星火的感觉?”
这个问题我曾请教过刘建国,中国著名的搜索引擎专家。刘曾主持开发过国内第一个大规模中英文搜索引擎系统“天网”。
要知道,刘建国曾任至网络的首席技术官,在这样一家每天需应对网民各种搜索请求1.7亿次(2013年约为8.77亿次)的网站中,如果只是在后台静静端坐,可能片刻都不能安心吧。网络果然在提供搜索服务之外,逐渐增添了网络指数,后又建立了基于网民搜索数据的重要产品“贴吧”及网络统计产品等。
刘建国没有直接回答这个问题,他想了很久,似乎陷入了回忆,嘴角的笑容含着诡秘。
倒是有公司已经在大数据中有接近上帝俯视的感觉,美国洛杉矶就有企业宣称,他们将全球夜景的历史数据建立模型,在过滤掉波动之后,做出了投资房地产和消费的研究报告。
在数据可视化呈现方面,我最新接收到的故事是,一位在美国思科物流部门工作的朋友,很聪明的印度裔小伙子,被Facebook高价挖角,进入其数据研究小组。他后来惊讶地发现,里面全是来自物流企业、供应链方面的技术人员和专家,“Facebook想知道,能不能用物流的角度和流程的方式,分析用户的路径和行为。”

特征
编辑
数据量大(Volume)
第一个特征是数据量大。大数据的起始计量单位至少是P(1000个T)、E(100万个T)或Z(10亿个T)。
类型繁多(Variety)
第二个特征是数据类型繁多。包括网络日志、音频、视频、图片、地理位置信息等等,多类型的数据对数据的处理能力提出了更高的要求。
价值密度低(Value)
第三个特征是数据价值密度相对较低。如随着物联网的广泛应用,信息感知无处不在,信息海量,但价值密度较低,如何通过强大的机器算法更迅速地完成数据的价值“提纯”,是大数据时代亟待解决的难题。
速度快、时效高(Velocity)
第四个特征是处理速度快,时效性要求高。这是大数据区分于传统数据挖掘最显著的特征。
既有的技术架构和路线,已经无法高效处理如此海量的数据,而对于相关组织来说,如果投入巨大采集的信息无法通过及时处理反馈有效信息,那将是得不偿失的。可以说,大数据时代对人类的数据驾驭能力提出了新的挑战,也为人们获得更为深刻、全面的洞察能力提供了前所未有的空间与潜力。[2]

案例分析
编辑
个案一
你开心他就买你焦虑他就抛[2]
华尔街“德温特资本市场”公司首席执行官保罗·霍廷每天的工作之一,就是利用电脑程序分析全球3.4亿微博账户的留言,进而判断民众情绪,再以“1”到“50”进行打分。根据打分结果,霍廷再决定如何处理手中数以百万美元计的股票。
霍廷的判断原则很简单:如果所有人似乎都高兴,那就买入;如果大家的焦虑情绪上升,那就抛售。
这一招收效显著——当年第一季度,霍廷的公司获得了7%的收益率。
个案二
国际商用机器公司(IBM)估测,这些“数据”值钱的地方主要在于时效。对于片刻便能定输赢的华尔街,这一时效至关重要。曾经,华尔街2%的企业搜集微博等平台的“非正式”数据;如今,接近半数企业采用了这种手段。
●“社会流动”创业公司在“大数据”行业生机勃勃,和微博推特是合作伙伴。它分析数据,告诉广告商什么是正确的时间,谁是正确的用户,什么是应该发表的正确内容,备受广告商热爱。
●通过乔希·詹姆斯的Omniture(著名的网页流量分析工具)公司,你可以知道有多少人访问你的网站,以及他们呆了多长时间——这些数据对于任何企业来说都至关重要。詹姆斯把公司卖掉,进账18亿美元。
●微软专家吉拉德喜欢把这些“大数据”结果可视化:他把客户请到办公室,将包含这些公司的数据图谱展现出来——有些是普通的时间轴,有些像蒲公英,有些则是铺满整个画面的泡泡,泡泡中显示这些客户的粉丝正在谈论什么话题。
●“脸谱”数据分析师杰弗逊的工作就是搭建数据分析模型,弄清楚用户点击广告的动机和方式。
处理和分析工具
用于分析大数据的工具主要有开源与商用两个生态圈。
开源大数据生态圈:
1、Hadoop HDFS、HadoopMapRece, HBase、Hive 渐次诞生,早期Hadoop生态圈逐步形成。
2、. Hypertable是另类。它存在于Hadoop生态圈之外,但也曾经有一些用户。
3、NoSQL,membase、MongoDb
商用大数据生态圈:
1、一体机数据库/数据仓库:IBM PureData(Netezza), OracleExadata, SAP Hana等等。
2、数据仓库:TeradataAsterData, EMC GreenPlum, HPVertica 等等。
3、数据集市:QlikView、 Tableau 、 以及国内的Yonghong Data Mart 。

产业崛起
编辑
越来越多的政府、企业等机构开始意识到数据正在成为组织最重要的资产,数据分析能力正在成为组织的核心竞争力。具体有以下三大案例:
1、2012年3月22日,奥巴马政府宣布投资2亿美元拉动大数据相关产业发展,将“大数据战略”上升为国家意志。奥巴马政府将数据定义为“未来的新石油”,并表示一个国家拥有数据的规模、活性及解释运用的能力将成为综合国力的重要组成部分,未来,对数据的占有和控制甚至将成为陆权、海权、空权之外的另一种国家核心资产。
2、联合国也在2012年发布了大数据政务白皮书,指出大数据对于联合国和各国政府来说是一个历史性的机遇,人们如今可以使用极为丰富的数据资源,来对社会经济进行前所未有的实时分析,帮助政府更好地响应社会和经济运行。
3、而最为积极的还是众多的IT企业。麦肯锡在一份名为《大数据,是下一轮创新、竞争和生产力的前沿》的专题研究报告中提出,“对于企业来说,海量数据的运用将成为未来竞争和增长的基础”,该报告在业界引起广泛反响。
IBM则提出,上一个十年,他们抛弃了PC,成功转向了软件和服务,而这次将远离服务与咨询,更多地专注于因大数据分析软件而带来的全新业务增长点。IBM执行总裁罗睿兰认为,“数据将成为一切行业当中决定胜负的根本因素,最终数据将成为人类至关重要的自然资源。”
在国内,网络已经致力于开发自己的大数据处理和存储系统;腾讯也提出2013年已经到了数据化运营的黄金时期,如何整合这些数据成为未来的关键任务。
事实上,自2009年以来,有关“大数据” 主题的并购案层出不穷,且并购数量和规模呈逐步上升的态势。其中,Oracle对Sun、惠普对Autonomy两大并购案总金额高达176亿美元,大数据的产业价值由此可见一斑。[1-2]

提供依据
编辑
大数据是信息通信技术发展积累至今,按照自身技术发展逻辑,从提高生产效率向更高级智能阶段的自然生长。无处不在的信息感知和采集终端为我们采集了海量的数据,而以云计算为代表的计算技术的不断进步,为我们提供了强大的计算能力,这就围绕个人以及组织的行为构建起了一个与物质世界相平行的数字世界[1-2] 。
大数据虽然孕育于信息通信技术的日渐普遍和成熟,但它对社会经济生活产生的影响绝不限于技术层面,更本质上,它是为我们看待世界提供了一种全新的方法,即决策行为将日益基于数据分析做出,而不是像过去更多凭借经验和直觉做出。
事实上,大数据的影响并不仅仅限于信息通信产业,而是正在“吞噬”和重构很多传统行业,广泛运用数据分析手段管理和优化运营的公司其实质都是一个数据公司。麦当劳、肯德基以及苹果公司等旗舰专卖店的位置都是建立在数据分析基础之上的精准选址。而在零售业中,数据分析的技术与手段更是得到广泛的应用,传统企业如沃尔玛通过数据挖掘重塑并优化供应链,新崛起的电商如卓越亚马逊、淘宝等则通过对海量数据的掌握和分析,为用户提供更加专业化和个性化的服务。
最让人吃惊的例子是,社交媒体监测平台DataSift监测了Facebook(脸谱) IPO当天Twitter上的情感倾向与Facebook股价波动的关联。在Facebook开盘前Twitter上的情感逐渐转向负面,25分钟之后Facebook的股价便开始下跌。而当Twitter上的情感转向正面时,Facebook股价在8分钟之后也开始了回弹。最终当股市接近收盘、Twitter上的情感转向负面时,10分钟后Facebook的股价又开始下跌。最终的结论是:Twitter上每一次情感倾向的转向都会影响Facebook股价的波动。
这仅仅只是基于社交网络产生的大数据“预见未来”的众多案例之一,此外还有谷歌通过网民搜索行为预测流感爆发等例子。不仅在商业方面,大数据在社会建设方面的作为同样令人惊叹,智能电网、智慧交通、智慧医疗、智慧环保、智慧城市等的蓬勃兴起,都与大数据技术与应用的发展息息相关。
“大数据”可能带来的巨大价值正渐渐被人们认可,它通过技术的创新与发展,以及数据的全面感知、收集、分析、共享,为人们提供了一种全新的看待世界的方法。更多地基于事实与数据做出决策,这样的思维方式,可以预见,将推动一些习惯于靠“差不多”运行的社会发生巨大变革。

应对措施
编辑
一个好的企业应该未雨绸缪,从现在开始就应该着手准备,为企业的后期的数据收集和分析做好准备,企业可以从下面六个方面着手,这样当面临铺天盖地的大数据的时候,以确保企业能够快速发展,具体为下面六点。
目标
几乎每个组织都可能有源源不断的数据需要收集,无论是社交网络还是车间传感器设备,而且每个组织都有大量的数据需要处理,IT人员需要了解自己企业运营过程中都产生了什么数据,以自己的数据为基准,确定数据的范围。
准则
虽然每个企业都会产生大量数据,而且互不相同、多种多样的,这就需要企业IT人员在现在开始收集确认什么数据是企业业务需要的,找到最能反映企业业务情况的数据。
重新评估
大数据需要在服务器和存储设施中进行收集,并且大多数的企业信息管理体系结构将会发生重要大变化,IT经理则需要准备扩大他们的系统,以解决数据的不断扩大,IT经理要了解公司现有IT设施的情况,以组建处理大数据的设施为导向,避免一些不必要的设备的购买。
重视大数据技术
大数据是最近几年才兴起的词语,而并不是所有的IT人员对大数据都非常了解,例如如今的Hadoop,MapRece,NoSQL等技术都是2013年刚兴起的技术,企业IT人员要多关注这方面的技术和工具,以确保将来能够面对大数据的时候做出正确的决定。
培训企业的员工
大多数企业最缺乏的是人才,而当大数据到临的时候,企业将会缺少这方面的采集收集分析方面的人才,对于一些公司,特别是那种人比较少的公司,工作人员面临大数据将是一种挑战,企业要在平时的时候多对员工进行这方面的培训,以确保在大数据到来时,员工也能适应相关的工作。
培养三种能力
Teradata大中华区首席执行官辛儿伦对新浪科技表示,随着大数据时代的到来,企业应该在内部培养三种能力。第一,整合企业数据的能力;第二,探索数据背后价值和制定精确行动纲领的能力;第三,进行精确快速实时行动的能力。
做到上面的几点,当大数据时代来临的时候,面临大量数据将不是束手无策,而是成竹在胸,而从数据中得到的好处也将促进企业快速发展。
望采纳,谢谢

阅读全文

与大数据时代选案相关的资料

热点内容
java获取上传文件名 浏览:156
网站添加微博 浏览:593
flash播放mp4代码 浏览:766
word页脚奇偶页不同 浏览:728
backboxlinux安装 浏览:67
会声会影卸载文件损坏 浏览:283
word文件怎么修改自然段 浏览:94
华兴数控系统车孔g81循环怎么编程 浏览:244
word怎么查看删减之前的文件 浏览:58
word标题1标题2规范 浏览:691
java反射详细 浏览:801
年vip怎么升级年svip 浏览:434
win10安全更新失败怎么解决 浏览:538
mac虚拟机共享网络 浏览:483
录像机的文件视频在哪里 浏览:784
书生阅读器不能打印红头文件 浏览:508
win10游戏目录是哪个文件夹里 浏览:78
手机u盘满了找不到文件 浏览:554
存储文件压缩包和文件夹哪个合适 浏览:778
看房子哪个网站比较好 浏览:817

友情链接