『壹』 大数据开发难不难学
不难学的,大数据开发是大数据职业发展方向之一,另外一个方向是大数据分析。从工作内容上来说,大数据开发主要是负责大数据挖掘,大数据清洗处理,大数据建模等工作,主要是负责大规模数据的处理和应用,工作主要以开发为主,与大数据可视化分析工程师相互配合,从数据中挖掘出价值,为企业业务发展提供支持。
『贰』 致远互联政务低代码大赛创新方案:智慧司法
前言:为直观展现致远互联协同云应用场景、技术优势以及数字化价值,激发更多伙伴业务创新能力,共同推动“数字政务”加速建设,致远政务首届低代码应用大赛正式开启,面向广大生态伙伴征集优秀的政务创新应用。
智慧司法解决方案,是由龙象 科技 基于致远互联低代码平台搭建,方案致力于将大数据、云计算、物联网、人工智能等技术应用于建设司法公有云、司法数据资源平台、共享服务平台,建设全面依法治国、行政立法、行政执法协调监督、刑事执行与应急指挥、公共法律服务、综合保障与政务管理等业务系统,最终 实现大平台共享、大系统共治、大数据慧治的“数字法治、智慧司法”信息化建设目标。
“智慧司法”平台特色
标准统一: 按照司法部、省厅要求和标准,统一规划、统一标准、统一建设、 统一管理。
需求导向: 服务实战,以解决基层实际问题和提效减负为出发点,提高信息化应用水平。
资源整合: 有效利用已有的信息化资源,将存量整合与增量投入有机结合,发挥信息系统最大效益。
智慧创新: 创新驱动、智慧整合,通过云计算、大数据、人工智能等前沿技术与司法行政业务相结合,加大创新力度,提升司法行政智能化。
“智慧司法”平台亮点
“智慧司法”特色应用
社区矫正:互联网+智慧社区矫正
人民调解:实现矛盾纠纷在线排查预警、受理、查询、分流、统计、考核“一体化”的工作目标
法制宣传: 全方位法治宣传业务管理,覆盖普法规划、法治宣传培训、宪法宣传周活动、典型案例、民主法治示范村建设、法律六进典型、法治文化建设等工作。
安置帮教: 内置安置帮教台账、安置帮教卷宗、信息统计、安置帮教基地、安置帮教政策、走访排查登记、人员核查等功能,充分体现安置帮教引导、扶助、教育和管理功能。
行政复议: 实现案件办理、数据统计、全案监督、实时督办,强化行政执法监督职能,提升法治政府建设水平。
行政办公: 将原有线下办公流程迁移至线上 , 实现数字化办公、系统化管理,让工作更加规范高效。
党建学习: 明确政治要求、掌握学习动态、随时发表学习心得,构建一站式党建互联网服务平台。
司法业务大数据: 业务平台实时呈现数据可视化,每项数据来源于真实案件,实现一切业务数据化,一切数据业务化。
关于成都龙象 科技
成都龙象 科技 股份有限公司是致远互联灯塔级合作伙伴,拥有众多大型企业集团、政务客户,为公安、检察院、法院、司法局、政法委等提供专业的IT信息化解决方案。
『叁』 人民法院对接大数据 促进司法精细化
人民法院对接大数据 促进司法精细化
大数据的实质是人类通过互联网形式实现对人类海量原子式动态信息的分类、互联、共享,从而可以预判且有序化人类各种社会活动。人民法院主动对接大数据,既为审判工作争取了前所未有的资源条件,也将对司法工作的精细化要求提上了日程。
对接大数据的海量个人信息,人民法院可以在一定程度上解决送达难、执行难的顽疾。但是,要真正实现法律文书精准送达还需司法工作人员具备对数据平台中的现实被送达人地址真实、有效性的分析判断能力,绝不能按照数字购物平台上的收货地址一寄了事。另外,以限制拒不履行裁判义务人员网络消费、金融的方式来督促其履行法定义务,还要求司法工作人员在使用上述方式时要特别注意对公民消费自由权、隐私权等民事权利的侵犯边界。既要严格审批执行限制令的使用申请,也要由专门部门、专人负责执行动态管理,让被执行人及时履行有门,恢复权利行使及时有路。对接大数据将使审判活动突破空间限制而愈加便利化,程序价值得以提升。例如,浙江法院利用阿里平台对电子商务纠纷诉讼、执行全流程线上解决,将极大地提高审判效率,减少当事人的诉累。但司法的任何便利都将归于公平正义价值的检验。人民法院应当避免为了追求效率而忽视以当事人诉讼权利保障为体现的程序公正。此时,诉讼程序在整个诉讼过程中的重要性将会比传统司法得到大幅提升。因为上一阶段的程序瑕疵,将严重影响下一诉讼程序的正常开始。人民法院必须注意线上司法的流程设计要在每一节点处都有对上一阶段当事人诉讼权利告知、行使的情况记录,告知、解释下一阶段诉讼权利的行使方式与后果。对接大数据得以让审判活动更加公开化,这种公开也将带来庭审的实质化。审判公开最重要的公开应当是庭审公开,其价值在于将决定司法结论的所有因素都予以一目了然地在第一时间活化。观摩者好似得以进入审判活动中一样,凭借从庭审中得到的信息与临场参与感,形成自己的内心确信后与司法结论相比较,从而得出这次司法活动质量的可接受度。因此,法官们应该主动磨炼自身驾驭庭审的内功,言行谨慎,不越中立,让当事各方的对抗、争议以及可能影响司法结论的因素都得到集中展现,符合人民法官应有的与其他职业不同的风貌。在文书方面,对接大数据的司法公开要求法官必须在清楚全面案情,对证据与价值衡量作出内心确信的基础上才能得出结论。这就要求法官必须在裁判文书中体现出自身严密的逻辑推理与援法释用的思维过程。大数据让审判信息与社会其他部门信息实现跨界共享,这就要求人民法院不光能够利用数据为审判服务,还必须更加注重充分发挥审判活动对社会行为的引导功能。这将是比传统司法法制宣传、司法建议眼界更宽,决策更为科学,作用更为前瞻性的司法功能。依托于大数据平台,人民法院将能够在审判数据基础上,利用其他相关社会数据对社会某一时间内的突发问题及其类型化进行社会学分析预测,为自身审判活动,应急的行政管理,未来的立法活动,长期的文化建设与教育矫正发挥重要的参考指导作用。对接大数据将会使个案结果与社会正义价值对接更为精准,真正的先例遵行制将有实现的可能性。通过数据平台,法官得出的任何司法结论就不再可能仅是自己的内心确信,他们将自觉地检阅以往相同层次法官或高层次法官对同类问题已作出的认识与判断,在作出承办案件结论前进行必要的修正。这样,法官对同类事实的认识将会趋向统一,个案对社会正义价值的符合度将更为精准。当然,这种认识上的统一认识不一定都是好事。但是,从通过司法活动规律化而让法律本有的社会行为的可预测价值得以实现的角度上而言,则是可以成立的。而且,这也是一种解决法院案多人少矛盾的有效途径。
『肆』 文旅部规定在线旅游网站不得大数据杀熟,旅游业是否该整改
针对此问题,笔者先定个基调,旅游业必须要整顿。那什么是大数据杀熟?即互联网厂商根据掌握的用户数据,对老用户进行价格歧视,也就是对同一商品和服务,推送给老用户的价格要远高于新用户。这种情况于在线旅游网站上尤其普遍。
旅游业的乱象一直都在,问题层出不穷且越来越隐蔽。除了大数据杀熟,旅游业内还有什么暂时不广为人知的潜规则呢?黑向导、强制消费、价格欺诈等等,大数据杀熟只是问题之一罢了。旅游业对经济的推动作用愈发重要,怎样规范、整顿旅游业的乱象、潜规则,应是各相关部门的重要工作内容。
『伍』 大数据对未来教育的影响包括哪些
作为社会子系统重要的组成部分,教育也深受大数据来临的深刻影响。国外高校教学管理中,教育数据的挖掘也成为提高教学管理水平和教学质量的重要方式。美国的学校能够通过对学生数据的分析,以85%的精确度预测学生的升学率。[4]中国教育在当前社会转型影响下存在不少问题,通过正在形成的大数据技术,教育政策的制定、学习方案与评价方式的确立等,都将发生革命性变化。
1.渗透到教育的核心环节
教育和社会之间是哲学上的辩证关系,一方面,通过教育培养出能改变世界、创造世界的人才;另一方面,教育又深受当前社会氛围、国家体制、经济状况、文化传统等的影响。从当前来看,教育深受工业社会的影响。从18世纪中叶开始,整个世界开始受到工业革命的影响,市场的扩大和劳动时经验与技术的要求,对劳动力的素质提出了新的要求,实际的动手能力代替了过去注重个体层面的文化修养学习,能不能解决问题,成为衡量人才的标志。这种人才观对教育的影响是巨大的,这从美国实用主义哲学家杜威教育思想的流行可见一斑。
大数据时代的来临将会革新这种延续了近三个世纪的教育理念。美国著名的未来学家,当今最具影响力的社会思想家之一的阿尔文·托夫勒(Alvin Toffler)在他的著作《未来的冲击》中提出“未来的教育”,他预测未来的教育要面对服务、面对创新,因此在家上学、教育空间设计、面向未来的学校界限的消失将成为趋势。[5]解决实际问题的能力作为大数据时代人才的能力之一,将渐渐淡出教育的逻辑起点位置,发掘知识、寻找联系、总结规律将成为大数据时代人才的重要要求。大数据时代教师将集中在挖掘学生与学习有关的表现,最适宜学生学习的方法,而不是依赖于定期的能力测试。教师分析学生知道什么,什么是最有效的学习路径。通过对在线学习工具等的分析,可以评估学生在线学习行为的长度,以及学生们如何获得电子资源,如何迅速地掌握概念。[6]
从我国实际情况来看,教育政策的制定与执行都是自上而下的,这种情况有利于政策的权威性与执行的效率,但是忽视教学与学生实际的弊端也客观存在。大数据时代将可以通过对教育数据的分析,挖掘出教学、学习、评估等符合学生实际与教学实际的情况,这样就可以有的放矢地制定、执行教育政策,从而为学生制定出更符合实际的教育策略。
2.重新构建教学评价方式
长期以来,教学评价活动主要是学校以及上级主管部门在听课和学生考试成绩的基础上对任课教师进行评价,或者教师根据学生考试成绩和作业成绩以及课堂表现等对学生进行评价。[7]教学评价活动促进了教师的教学和学生的学习,但是在细节方面还有待提高,比如教师在教学活动中,哪些教学方式是最为擅长也最容易为学生接受?学生在学习过程中,个体的学习习惯是什么,什么样的学习方式最容易掌握知识?这些细节可能需要大量的实践经验总结出来,短期的教学评价是难以实现的。
大数据技术通过对教师与学生长期行为进行分析,得出具有个性化的教学行为、习惯、方式。“不得不承认,对于学生,我们知道的太少”。同样,我们也可能对教师知道的太少。大数据的到来,可以通过技术层面来评价、分析并进而提升教学活动。首先,教学评价的方式不再是经验式的,而是可以通过大量数据的“归纳”,找出教学活动的规律。比如新一代的在线学习平台,就多出了行为和学习诱导的部分。通过记录学习者鼠标的点击,可以研究学习者的活动轨迹,发现不同的人对不同知识点有何不同反应,用了多长时间,以及哪些知识点需要重复或强调。[8]对于学习活动来说,学习的效果体现在日常行为中,哪些知识没有掌握,哪类问题最易犯错等成为分析每个学生个体行为的直接结果。其次,可以对学生进行多元评价,而不仅仅是知识掌握的单一维度。对学生的评价应该是多元的,特别是通过数据分析,可以发现学生思想、心态与行为的变化情况。比如,同一寝室,互相删除了联系方式,或者两者之间没有任何数据产生,同学之间的关系肯定出现了问题,通过数据分析,就应在学生心理与行为方面进行关照。如果通过文本分析、信息抓取分析出学生的近期情绪状态,很多悲剧可能就能避免。即使是掌握知识的单一维度,其因素也是多方面的,有的是记忆好,有的则是逻辑思维能力强,通过大数据技术,可以分析出每个学生的特点,从而发现优点,规避缺点,矫正不良思想行为。第三,教学评价跳出了结果评价的圈子,实现过程性评价。传统教学评价多是教的好不好,学的好不好,注重的是结果。而大数据时代可以通过技术手段,记录教育的过程。现在一些学校实行了电子课本,如果能记录下作业情况,课堂言行,师生互动,同学交往,并将这些数据汇集起来,不仅可以发现学生的特点,更不用为如何写期末评价费力了。
3.革新教育者教学思维
传统的教育大多是教育主管部门和教育者通过教学经验的学习与自己的总结,认为某些因素对教学活动很重要,从而一而再、再而三地强调。但是有些经验是不具有科学性的,常识有时会影响人们的判断。比如苹果公司就发现,笔记本电脑销售额的提升,常识认为的比如提高库存管理能力、提供员工更多的专业培训、做更为时尚的广告、促销等等,只能提升2%~9%的销售额,而把电脑屏幕和桌子呈70度角左右放置,却能高出其他电脑销售额的15%。70度角放置的电脑,因为反光会让人不舒服,从而诱使客户去搬动屏幕,一旦潜在客户与货物发生了肢体接触,他购买这个商品的可能性就上升了15%。[9]
大数据时代教师的教学思维需要从群体教育的方式转向个体教育,在教学过程中,可以真正做到因材施教,因人而异。传统教育也提倡因材施教,但是由于学生数量、教师精力、教育任务等制约,因材施教总是有些缺憾。大数据技术将给教师提供最为真实、最为个性化的学生特点,教师在教学过程中可以有针对性地进行因材施教。比如,在课堂学习过程中,哪些(或哪个)同学注意基础部分,哪些同学注意实践内容,哪些同学完成某一练习,哪些同学可以阅读推荐书目等等。这和网络购物相似,通过你过去的购买痕迹,网站就会分析出你的购物兴趣,从而有针对性地给你推送广告信息。
不仅如此,当学生在完成教师布置的作业时,也能通过数据分析强化学习。比如通过电子设备做作业时,某一类型的题目有几次全对,就可以把类似的题目跳过;如果某个类型的题目犯错,系统则可进行多次强化,这样不仅提高了学习效率,也减轻了学生的学习负担。
4.影响学校教育模式
学校教育是当前教育的绝对模式,适龄儿童、青少年都需要进入学校,通过教师的讲授进行学习。但是随着大数据时代的来临,这一教学模式可能会得以改变。2004年,澳大利亚人马丁开发了一个开源课程平台moodle,解决了来回奔波上课的问题。教师通过这个平台与学生互动,学习、考试、资料分发与上传等,都通过网站完成。2010年,这个平台数量已经达到了100万门户。2006年,孟加拉裔金融白领萨尔曼·可汗将自己的10分钟教学视频传到网上,几年后,这个网站注册用户达到了1000万。[10]
教育平台的开发,使网络课程得以飞速发展,2012年美国在线课程投资达到10亿美元以上。网络课程的发展给传统教学带来了巨大冲击,一方面,教育的方式将不再仅仅局限于学校教育;另一方面,教师的课堂教学出现新的替代模式。这种教育模式的革新,在大数据时代更有了存在的价值与意义。
传统教学模式有教师的督促、随时沟通、情感交流,是按照教学大纲按部就班地完成教学活动。这种教学模式有计划、有步骤,体现秩序性,但是在一定程度上也框定了学生的思维框架,学生的创新能力没有得到最大发挥。美国不少商业巨鳄都有辍学经历,甚至有的创业基金要求学生辍学才能发放。这当然不值提倡,但是,从一个侧面也反应出非学校教育,也同样具有创造能力的事实。大数据时代的来临,可以通过学生学习兴趣、在某一在线课程停留的时间、点击率、情绪反应等,推送更具有个性化的学习内容。这在知识爆炸的时代,显得尤为重要。此外,随着媒介社会化时代的来临,学生学习生活网络化已成事实,学生可以通过在线学习目前正在开设的课程,这对正在授课的教师是一种挑战。美国有个Udemy网站,老师根据自己上传视频的点击率获得报酬,2012年5月份,该网站上有的老师收入已经超过20万美元。随着技术的发展,以后教育网站将在大数据的支撑下,根据知识传播的形式、受众的兴趣不断优化教学内容、教学方式,为学生提供更高质量的学习内容。
『陆』 监狱如何运用物联网和大数据提升安全生产水平
全国各地监狱视频监控、报警、应急指挥系统建设大体情况可以参阅司法部吴爱英部长向第十一届全国人大常委会第二十六次会议作的关于监狱法实施和监狱工作情况的报告——截至2012年4月底,司法部已完成了15项业务标准的制定工作,28个省(区、市)监狱管理局完成了省级网络联通,全国70%以上的监狱建立了应急指挥中心、智能报警系统和综合门禁系统,80%以上的监狱建立了视频监控系统。同时,全国监狱基本完成了AB门建设,建立完善了狱墙周界隔离、多层报警设施和智能化监管系统。
当前监狱安防建设依旧存在的问题
监狱信息化的本质就是把矫正管理全面彻底地纳入规范化、标准化的轨道,实现管理模式的转变和创新,大幅提升监狱工作的法律效益与社会效益,降低行刑成本。其中,尤其是监狱教育矫正的中心地位必须得到加强,因此就监狱“以人为本”的理念而言,必须把信息化建设的重点从传统的“管牢”迈向“改好”。当前,监狱信息化的投入主要还是在“管牢”(也即监管安全)这一领域,“改好”领域涉足较少(例如:矫正个案标准化专家库系统)。此外,就人才队伍而言,民警队伍专业化分工的建立亟待加强。
监狱信息化建设的进程当中,物联网技术能否在未来起主导作用?
2007年5月司法部在南京召开全国监狱信息化建设工作会议,正式发布了《全国监狱信息化建设规划》,由此拉开了全国监狱信息化建设的序幕。自2010年国家发展改革委批复了司法部全国监狱信息化一期工程项目以来,据了解,经过这几年的建设,全国监狱信息化一期工程预计将在今年年底验收完工。后期(二期)推进方面,物联网技术的应用可以说是备受关注的,也有的省份提出智能化概念,认为智能化也必然是以物联网技术为核心,监狱
物联网的发展将为大数据应用提供有效全面的数据支撑
2012年6月,司法部副部长张苏军在全国监狱信息化建设应用工作座谈会上的讲话中强调“推广物联网等新技术的应用”。2012年8月,司法部监狱管理局下发“关于组织开展物联网应用示范研究论证工作的通知”,要求“进一步加强监狱系统物联网技术应用推广,并制定物联网应用示范实施方案”。2013年2月,受邀作为评审专家组长参加司法部监狱管理局的“全国监狱系统物联网应用示范论证会”时,就曾针对监狱物联网发展分几步走在会上提出过的建议。
简单说,智慧监狱或者监狱物联网应用可以分三个阶段,可以用对M2M(M:Man或Machine)的“歪解”来诠释:第一阶段是MachinetoMachine,即主要解决物与物之间的联网联动问题;第二阶段是MachinetoMan或MantoMachine,即主要解决物与人之间的交流,也可称之为半智能化阶段;第三阶段是MantoMan,也即是所有联网的物与物之间都接近或达到类人智能的水平,这可称之为智能化阶段。
物联网技术在社区矫正领域是否有所应用?
社区矫正信息化建设目前正如火如荼的开展,司法部在2013年发布了《社区矫正管理信息系统技术规范》和《社区矫正人员定位系统技术规范》。但由于前期顶层设计不足,司法行政系统的基础网络尚未健全,司法行政数据标准缺乏统一,各地自行试点在事实上造成了信息孤岛化现象,导致了信息化部署实施的困难。
对社区矫正信息化发展之路有兴趣的话可以关注下写的《社区矫正信息化》一书,内容主要立足物联网、大数据、云计算、虚拟化等新概念、新技术的应用,分析了社区矫正信息化的需求、架构、现状和建设思路,论述了数字司法到智慧司法的转型之路,探索了以大数据为核心的智慧司法的整体架构。
尽管可预见物联网大发展的时代即将到来,但无可否认目前其仍处于应用初级阶段这一事实,我们也无法回避当前物联网发展中存在一些问题,包括在技术上、标准上或者产业应用上,还有隐私、安全等等,以及物联网企业过多是中小企业等的担忧。物联网技术在监狱中的应用最具代表性的就是无线定位,包括罪犯、民警的人员定位系统、劳动工具和危险品定位系统等。无线定位技术是国际上最热门的技术之一,但在具体实践上仍有待完善。们在《监狱物联网》书中就着重探索了以无线定位为核心重新架构监狱安防体系的可能,目标正是为了更好的“以人为本”,实现监狱的精细化管理,促进监管安全。们在国内率先开展了针对监管场所RFID技术应用价值评估研究,事实上目前监狱应用中碰到最大的瓶颈并非是无线定位标签的价格过高,而是预期与部署的效益无法被精准的评估。
此外,作为监狱物联网的核心组成部分,传感网络在监狱基础网络设施建设中的地位目前看起来有些缺失,在对监狱的传感感知这一领域,商业界方面基本上只有摄像头(智能视频分析)和拾音器的应用。
以上由物联传媒转载,如有侵权联系删除
『柒』 大数据颠覆你的家庭教育常识
1.大数据在中小学教育怎样应用
当然可以。
现在世界各国普遍实行的教育是依据常识和教育经验来进行决策,基于证据的教学(evidence-based teaching)正是未来教育的理想形态。
题主的想法是极好的,通过往期成绩和考试的表现对学生的学习情况进行预测自然是可行的。只是通过标准化的测试(统一布置的作业或考试)来检验学生对课程的理解程度,这样得到的反馈其实是非常单一且狭隘。
所以,尽管考试成绩很重要,但是在大数据层面来讲,我们需要更多维度的数据结合在一起进行分析才能得到更具体更准确的结果。如果单有学生的成绩变化,能生成的只会有一份作为教师工作业绩考核的报表,而并不能产生题主希望得到的教学质量的提升。
像现在各种在线课堂发展迅速,这让学生在教学中产生的细小反馈也能及时被收集。家校沟通的渠道增多,学生在家中的表现,系统也能通过家长来了解。将多类别的数据纳入分析的范畴,并通过大数据手段分析这些数据,我们能重塑学生的整个学习过程,除了结果,我们还能得到精确到每个学生的学习细节和状态。这可以说是非常便利了。
2.什么是大数据,大数据为人类的生活带来怎样的便利与机遇
无人驾驶的汽车,提供符合学生个性化的教学辅导材料,计算机来编辑新闻……日前,在北京召开的“首届大数据时代创新与媒介变革研讨会”上,专家们提出,大数据将给我们生活带来颠覆性的影响。
从“无人驾驶”到“移动办公” 近日,一辆自动驾驶汽车刚刚完成横跨美国之旅。这辆蓝色的汽车从旧金山出发,花了9天时间,途经15个州,驶过3400英里,最终顺利抵达纽约。
一路上,99%的驾驶都是由汽车自己完成,只有在城区道路上,才有人工干预。保时捷汽车控股集团大众品牌总经理张久鹏对此并不感到惊讶。
他在大数据时代研讨会上透露,保时捷在去年就成功实现了长距离的无人驾驶。现在汽车里装载了电脑、各种通讯设备,与联通合作,从“无人驾驶”到试验“移动办公”。
“未来办公不再局限于一地,而是移动一族了。”张久鹏说,从家出发到公司可能会堵车1小时或更久,很多司机因此非常烦躁。
现在可设置预期目的地,然后让车无人驾驶。车里面放置各种可折叠的办公用品,人们就能在车里完成视频会议、文件审阅和会签等在办公室里做的事。
张久鹏表示,除“无人驾驶”和“移动办公”外,大数据还给汽车用户带来了其他便利。如给汽车做保养维修,需要把车开到4S店或维修场所,现在该方式已发生了质的改变。
人们可在家里通过手机APP或电话,找人上门来给车做保养;还可通过APP,查看爱车行驶轨迹,包括驾驶员的相貌特征、车内使用环境以及汽车行驶过程中的耗时、油耗、功率、行驶时间、里程等相关数据。大数据时代给百姓生活带来了什么便利?从用户数据匹配到精准营销 “大数据正在成为未来媒体的最核心、最有价值的内容本身,它能帮助用户实现私人定制。”
北京邮电大学教授王立新说,通过IT技术进步,使供需双方信息实现成本接近于零的精准智能化匹配,从而把人类带入“自经济”时代。王立新举例说,“一台冰箱生产成本约1200元人民币,最后利润仅38元。
如果用大数据赚钱,我的口号是‘冰箱不要钱白送’。然后在冰箱里加两个功能。
一是增加信息扫描系统,二是把路由器装在冰箱里,将所有消费数据都发送到企业云数据库里。”消费者买东西不用去商场,直接给企业打电话,有人给消费者送货上门,而且其商品价钱会更便宜。
关于冰箱里食品的保质期,还能提供免费预报。“比如你在这里开会,手机响了,信息提示‘主人,别讲了,我是你家冰箱里第四号酸奶,再过两小时你不喝掉就过保质期了。
’”王立新说,通过采集到的大数据,家里买了什么食品、冰箱里牛奶等消耗掉多少都清清楚楚,然后可根据这个需求来通知饮料、乳品等生产企业,并通过协商来降低从这些企业进货的价格。“这样的话,假设一个家庭一个月放在冰箱里的食品等花费两千元,通过大数据只赚其10%就是200元,6个月就可收回冰箱的制造成本。
你想赚卖冰箱的38元纯利润,还是在未来十年赚到一到两万元的纯利润呢?关键就是采集数据、精准匹配、拼公司、平台化反向收费,永远代表用户的利益,让他们免费!”王立新说。大数据时代给百姓生活带来了什么便利?个性化教学、“机器人新闻”等 中文在线副总经理李林认为,大数据有利于个性化的教学支持。
“通过数据分析、积累、挖掘,有利于教学和学习个性化、精准化。另外,可根据学生学习过程中出现的问题,随时诊断反馈,给学生提供符合其个性的教学辅导材料。”
中国青年政治学院新闻传播学院执行院长罗自文提出了“机器人新闻”,即随着大数据的普及,新闻产业已变成由机器来完成大部分工作,机器甚至可担任编辑工作。“数据新闻和传统新闻生产方式不一样。
传统新闻生产通过记者、编辑进行报道整合。而现在我们很多新闻线索的获取、数据的挖掘、整合都是由计算机来做。
有的计算机里有记者写好的模板,只要放进相应关键字词,就能产生不同的新闻。” 大数据还可帮助预测电影票房,以此为据来挑选剧本、演员等。
清华大学媒介调查实验室研究员李兆鹏说,“去年年终我们成立了一个新媒体事业部,主要针对即将上映或正在上映电影进行票房预测,帮助片方进行电影口碑和观众心理的细分。我们通过搜集数据进行分析对比,对电影制片方、发行方提供数据支持。”
小马奔腾董事、君舍文化总裁钟丽芳说,以前选一个电影题材的方式“特别简单粗暴”,就是导演、制片公司老板喜欢什么就拍什么。现在随着大数据时代的到来,更多是根据受众的偏好和需求,再结合创作者擅长,找出一平衡点来选出题材。
“以前在组合影视作品时,包括创意团队、演员,是凭经验来判断选择,所有影视公司抢的都是几个一线大腕。但真正抢到的不一定是市场效果最好的,只有对观众偏好更清楚才行。
通过大数据分析,我们现在演员搭配会比以前更科学。” 这是一篇关于大数据带来便利的文章,楼主需要了解大数据相关信息可以去数据圈论坛。
3.基于大数据的智能分析到底颠覆了什么
因此,行业中的玩家们谁能透过大数据智能分析,预先把控行业发展的脉搏,谁就将掌握市场和竞争的主动权。让我们先来看看基于大数据的智能分析到底颠覆了什么。
社会生活会发生变化和转型 IT产业不像石油等产业能给人类社会带来新的增值产品。相似地,大数据的智能分析也不会直接带来全新的具体产品。
这是由于信息要被使用以后,才能真正产生社会价值,所以大数据分析作为信息技术,是中间产业。 人类社会生活的根本是衣食住行,技术最终还是要服务于这些传统需求的,只是形式不同而已。
新技术有的时候会改变传统产业的服务模式,就如互联网广告之于传统传媒广告,当互联网服务兴起时,广告逐步从传统行业变成了新的互联网广告行业,并由此造就了几乎99%的互联网玩家。 新技术有时候也会改变服务的效率和效果,例如微博现在多被用来作为监督的工具。
对比传统媒体,这种服务模式改变了信息传播的效率和信息受众的范围,而且由于媒体的集中控制力较弱,这个看似弱点的特性反而变成了当前社会环境下的优势。 回归到基于大数据的智能分析,其本质是数字化社会的服务效率和效果问题,其实现的重要前提是数字化。
随着信息技术的发展,人们衣食住行的服务系统会纷纷数字化,包括零售、物流、 *** 部门、餐饮系统等等,虚拟世界和物理世界拟合在一起,虚拟世界承载了大量的服务交付过程,人不再需要到现场就可以享受服务。而这个大的产业背景一旦形成,效率和效果问题会变成整个产业服务的最关键竞争力。
换句话说,服务最后的成本竞争就是在单位成本下谁的效率最高和效果最好,谁就会成为王者。特别是在物理时空的约束日益减弱的情况下,产业链中的每个玩家都可能面临全球性的竞争。
而在更广泛的竞争环境下,大数据会改变企业的运作模式,增强企业的适应力、判断力和效率。因此,大数据的大价值更多的是体现在促进产业变化和转型上,而非创造新产品。
有望解决人工智能的难题 热炒大数据并不是纯粹跟风,其重点是要解决人工智能的扩展性和成长问题。传统人工智能走过了漫漫几十年路程,近三十年的变化尤其缓慢。
这是因为虽然对任何给定的确定问题和场景,传统人工智能都可以解决,但尴尬的是,人们不可能预先穷举出所有例子和参数,因此人工智能已有的模型和算法很难跨系统复制。 众多学者、产业精英赋予了基于大数据的智能分析以美好的愿景,即数字化社会一旦形成,生活中的一切都可以基于数据来描述。
这些描述出来的信息将成为智慧成长和决策判断的依据。如果计算机能够找出其背后的学习规律和方法,人类智慧的跨领域扩展性就能在计算机的虚拟世界中得到体现,并能做出模糊判断。
更重要的是,这样的分析系统将具备人工智能前所未有的基础能力——学习能力,还可以根据环境(数据)变化而不断地增长其智能性,甚至具备推而广之的扩展性。 从理论上说,一旦机器具有学习能力,计算机系统就将具备人的典型特质——创造力。
如果沿着这个思路扩展,基于大数据的智能分析,将进一步替代传统服务体系中必须由人来完成的工作,特别是最高成本的部分。例如有一个西班牙语学习软件“domingo”,可以针对学员的情况和能力,因材施教。
而在过去,这通常必须由人脑才能实现。 不过,大数据的智能分析是否真的能够达到梦想的高度,还存在很大的不确定性,而且全数字化社会的形成也还需要时间。
用户刻画能力塑造竞争优势 在我们身处的IT产业中,随着时间的推移,技术会趋同、产品形态会趋同、基础的服务方式也会趋同,因此成本也必然随之趋同。如此一来,行业玩家们的价格战是很难长期维系的,必然会逼着产业链顶端的服务商将差异化主要体现在“服务”上。
服务的本质是“能否真正及时、准确地判断用户的需求”,这个判断的依据就是“用户刻画能力”。当IT后台系统可以准确地判断出何时、何地、何人、在做什么、会做什么的时候,所有的服务将有的放矢,不仅仅实现成本最低,而且能实现效果最佳。
对此,大数据的智能分析最有可能颠覆的是面向用户的产品和服务市场,无论服务的是衣食住行的哪个方面,无论是卖东西还是做广告,只要服务的对象是“人”,大数据的智能分析就能提供最佳的推荐,从而提升服务的品质。 然而从目前的研究来看,产品和服务的技术竞争却回到了原点,数据本身变成了竞争力的本源。
这个状况终将发生改变。实际上,分析、建模和交互密不可分,只有带反馈并能不断学习的系统才有可能实现对用户的刻画。
如果我们将产品或服务比喻成一辆车,大数据分析可以看成是发动机,而数据就像发动机引擎中必不可少的汽油。因此,对数据的掌控和对用户的刻画,将必然成为产业链中为最终用户提供服务的玩家的必然战略和技术布局策略,数据资产的运营也可能成为新的潮流和趋势。
机器替代人力密集型服务 由于经济条件的约束,人力成本在各个区域、各个行业中相差很大,这也直接导致了各个地区服务的差异性。但从长期来看,能够被机器完。
4.十条带有数据的科普知识
1、人耳有10万个听觉神经细胞
2、人鼻里约有1000万个嗅觉细胞
3、人脑有10000000000个神经细胞
4、人体每日产生1000000000新的红血球
5、每只眼睛约含1.2亿个视杆细胞
6、金熔点较高,达1063度
7、每300吨地壳的石头里平均才有1克金
8、我国土地面积达9600000平方千米.
9、月亮与地球之间的平均距离是384400千米
10、月核的温度约为1000度
11、月球直径约3476公里
5.大数据对未来教育的影响包括哪些
作为社会子系统重要的组成部分,教育也深受大数据来临的深刻影响。
国外高校教学管理中,教育数据的挖掘也成为提高教学管理水平和教学质量的重要方式。美国的学校能够通过对学生数据的分析,以85%的精确度预测学生的升学率。
[4]中国教育在当前社会转型影响下存在不少问题,通过正在形成的大数据技术,教育政策的制定、学习方案与评价方式的确立等,都将发生革命性变化。 1.渗透到教育的核心环节 教育和社会之间是哲学上的辩证关系,一方面,通过教育培养出能改变世界、创造世界的人才;另一方面,教育又深受当前社会氛围、国家体制、经济状况、文化传统等的影响。
从当前来看,教育深受工业社会的影响。从18世纪中叶开始,整个世界开始受到工业革命的影响,市场的扩大和劳动时经验与技术的要求,对劳动力的素质提出了新的要求,实际的动手能力代替了过去注重个体层面的文化修养学习,能不能解决问题,成为衡量人才的标志。
这种人才观对教育的影响是巨大的,这从美国实用主义哲学家杜威教育思想的流行可见一斑。 大数据时代的来临将会革新这种延续了近三个世纪的教育理念。
美国著名的未来学家,当今最具影响力的社会思想家之一的阿尔文·托夫勒(Alvin Toffler)在他的著作《未来的冲击》中提出逗未来的教育地,他预测未来的教育要面对服务、面对创新,因此在家上学、教育空间设计、面向未来的学校界限的消失将成为趋势。[5]解决实际问题的能力作为大数据时代人才的能力之一,将渐渐淡出教育的逻辑起点位置,发掘知识、寻找联系、总结规律将成为大数据时代人才的重要要求。
大数据时代教师将集中在挖掘学生与学习有关的表现,最适宜学生学习的方法,而不是依赖于定期的能力测试。教师分析学生知道什么,什么是最有效的学习路径。
通过对在线学习工具等的分析,可以评估学生在线学习行为的长度,以及学生们如何获得电子资源,如何迅速地掌握概念。[6] 从我国实际情况来看,教育政策的制定与执行都是自上而下的,这种情况有利于政策的权威性与执行的效率,但是忽视教学与学生实际的弊端也客观存在。
大数据时代将可以通过对教育数据的分析,挖掘出教学、学习、评估等符合学生实际与教学实际的情况,这样就可以有的放矢地制定、执行教育政策,从而为学生制定出更符合实际的教育策略。 2.重新构建教学评价方式 长期以来,教学评价活动主要是学校以及上级主管部门在听课和学生考试成绩的基础上对任课教师进行评价,或者教师根据学生考试成绩和作业成绩以及课堂表现等对学生进行评价。
[7]教学评价活动促进了教师的教学和学生的学习,但是在细节方面还有待提高,比如教师在教学活动中,哪些教学方式是最为擅长也最容易为学生接受看学生在学习过程中,个体的学习习惯是什么,什么样的学习方式最容易掌握知识看这些细节可能需要大量的实践经验总结出来,短期的教学评价是难以实现的。 大数据技术通过对教师与学生长期行为进行分析,得出具有个性化的教学行为、习惯、方式。
逗不得不承认,对于学生,我们知道的太少地。同样,我们也可能对教师知道的太少。
大数据的到来,可以通过技术层面来评价、分析并进而提升教学活动。首先,教学评价的方式不再是经验式的,而是可以通过大量数据的逗归纳地,找出教学活动的规律。
比如新一代的在线学习平台,就多出了行为和学习诱导的部分。通过记录学习者鼠标的点击,可以研究学习者的活动轨迹,发现不同的人对不同知识点有何不同反应,用了多长时间,以及哪些知识点需要重复或强调。
[8]对于学习活动来说,学习的效果体现在日常行为中,哪些知识没有掌握,哪类问题最易犯错等成为分析每个学生个体行为的直接结果。其次,可以对学生进行多元评价,而不仅仅是知识掌握的单一维度。
对学生的评价应该是多元的,特别是通过数据分析,可以发现学生思想、心态与行为的变化情况。比如,同一寝室,互相删除了联系方式,或者两者之间没有任何数据产生,同学之间的关系肯定出现了问题,通过数据分析,就应在学生心理与行为方面进行关照。
如果通过文本分析、信息抓取分析出学生的近期情绪状态,很多悲剧可能就能避免。即使是掌握知识的单一维度,其因素也是多方面的,有的是记忆好,有的则是逻辑思维能力强,通过大数据技术,可以分析出每个学生的特点,从而发现优点,规避缺点,矫正不良思想行为。
第三,教学评价跳出了结果评价的圈子,实现过程性评价。传统教学评价多是教的好不好,学的好不好,注重的是结果。
而大数据时代可以通过技术手段,记录教育的过程。现在一些学校实行了电子课本,如果能记录下作业情况,课堂言行,师生互动,同学交往,并将这些数据汇集起来,不仅可以发现学生的特点,更不用为如何写期末评价费力了。
3.革新教育者教学思维 传统的教育大多是教育主管部门和教育者通过教学经验的学习与自己的总结,认为某些因素对教学活动很重要,从而一而再、再而三地强调。但是有些经验是不具有科学性的,常识有时会影响人们的判断。
比如苹果公司就发现,笔记本电脑销售额的提升,常识认为的。
6.大数据在教育行业是如何运用的
1、重心变化
在大数据时代,教师的工作不再简单的是知识传授,而是将知识的输出形式变得多样化,关注学生的个性特征。将统一形式、集体化的教学转变为信息技术支持下的教学。也就是说在了解学生的认知能力和知识结构的前提下,将知识进行迁移、整合并进行传授。
2、精准满足需求
这里所说的精准满足用户需求,就是说要将教育信息及时的传送给有需求的用户。譬如一个学生近期要进行英语培训,那么有关英语培训的信息会及时的传送给该学生。根据用户的学习习惯、生活习惯会有一个智能的数据匹配,这样一来,该用户所收到的资讯和信息也正是自己所需求的。
3、精准进行广告投放
在大数据时代,用户的的行为习惯很容易通过一些数据分析推测出来。一些教育及培训机构可以通过数据分析,将用户进行锁定进行广告的投放。譬如用户打开手机的频次以及用户在某一时间段的习惯性行为。通过大数据可以将自己的广告精准投放给需求的用户。
除此之外,互联网和大数据的发展,还给我们带来发展个性化的机会,可以说在教育学上是有非常大的意义的。那些所谓的学习不好的学生,如果他们在某些方面有一定的特长,同样发挥其特长,不再是标准化的教育。
大数据技术可以在教育平台上跟踪和关注老师和学生的教学、学习过程,记录老师和学生的课堂表现以及课下行为的数字化痕迹,通过在教育活动中点滴微观行为的捕捉,为教育管理机构、学校、老师和家长提供最直接、客观、准确的教育结果评价等。
可以说,大数据在教育领域的运用是当代教育发展的必然趋势。
『捌』 在大数据行业工作两年是怎样一种体验
在大数据行业工作两年是怎样一种体验
写在前面
今年广州的初夏在经历了大雨的洗礼之后,一切都变得更加明朗起来,新的工作,新的人和事。懒惰让我变得更焦虑,焦虑促使我进步,程序员的焦虑大家应该都有共同的感觉,时代的步伐太快了,在这个环境下的软件开发一定会淘汰掉那些不懂得学习、懒惰的人。希望跟大家共勉。
在本文中,我主要回顾这两年来,在大数据行业公司从事大数据类的前端开发的工作。最近刚刚换了一份工作,这里把我的经验稍作总结分享给大家。
本文主要从大数据开发的角度出发,到大数据治理的必要性,再到图形化建模的畅想,最后在数据质量的把关,然后到大数据可视化的应用,总结两年的见闻和我的学习成果,也不知理解有无偏差,希望大家能给出建议。
大数据开发
大数据开发,有几个阶段:
1.数据采集(原始数据)
2.数据汇聚(经过清洗合并的可用数据)
3.数据转换和映射(经过分类、提取的专项主题数据)
4.数据应用(提供api 智能系统 、应用系统等)
数据采集
数据采集有线上和线下两种方式,线上一般通过爬虫,通过抓取或者通过已有应用系统的采集。
在这个阶段,我们可以做一个大数据采集平台,依托自动爬虫(使用Python或者Node.js制作爬虫软件),ETL工具、或者自定义的抽取转换引擎,从文件中、数据库中、网页中专项爬取数据。如果这一步通过自动化系统来做的话,可以很方便的管理所有的原始数据,并且从数据的开始对数据进行标签采集,可以规范开发人员的工作,同时目标数据源可以更方便的管理。
数据采集的难点在于多数据源,例如mysql、postgresql、sqlserver 、 mongodb 、sqllite。还有本地文件、excel统计文档、甚至是doc文件。如何将它们规整、有方案地整理进我们的大数据流程中也是必不可缺的一环。
数据汇聚
数据的汇聚是大数据流程最关键的一步,你可以在这里加上数据标准化,你也可以在这里做数据清洗,数据合并,还可以在这一步将数据存档,将确认可用的数据经过可监控的流程进行整理归类,这里产出的所有数据就是整个公司的数据资产,到了一定的量就是一笔固定资产。
数据汇聚的难点在于如何标准化数据,例如表名标准化,表的标签分类,表的用途,数据的量,是否有数据增量?数据是否可用?
这些需要在业务上下很大的功夫,必要时还要引入智能化处理,例如根据内容训练结果自动打标签,自动分配推荐表名、表字段名等,还有如何从原始数据中导入数据等。
数据转换和映射
经过数据汇聚的数据资产如何提供给具体的使用方使用?在这一步,主要就是考虑数据如何应用,如何将两、三个数据表转换成一张能够提供服务的数据。然后定期更新增量。
经过前面的那几步,在这一步难点并不太多了,如何转换数据与如何清洗数据、标准数据无二,将两个字段的值转换成一个字段,或者根据多个可用表统计出一张图表数据等等。
数据应用
数据的应用方式很多,有对外的、有对内的,如果拥有了前期的大量数据资产,是通过restful API提供给用户?还是提供流式引擎 KAFKA 给应用消费? 或者直接组成专题数据,供自己的应用查询?这里对数据资产的要求比较高,所以前期的工作做好了,这里的自由度很高。
大数据开发的难点
大数据开发的难点主要是监控,怎么样规划开发人员的工作。开发人员随随便便采集了一堆垃圾数据,并且直连数据库。 短期来看,这些问题比较小,可以矫正。 但是在资产的量不断增加的时候,这就是一颗定时炸弹,随时会引爆,然后引发一系列对数据资产的影响,例如数据混乱带来的就是数据资产的价值下降,客户信任度变低。
如何监控开发人员的开发流程?
答案只能是自动化平台,只有自动化平台能够做到让开发人员感到舒心的同时,接受新的事务,抛弃手动时代。
这就是前端开发工程师在大数据行业中所占有的优势点,如何制作交互良好的可视化操作界面?如何将现有的工作流程、工作需求变成一个个的可视化操作界面? 可不可以使用智能化取代一些无脑的操作?
从一定意义上来说,大数据开发中,我个人认为前端开发工程师占据着更重要的位置,仅次于大数据开发工程师。至于后台开发,系统开发是第三位的。
好的交互至关重要,如何转换数据,如何抽取数据,一定程度上,都是有先人踩过的坑,例如kettle,再例如kafka,pipeline ,解决方案众多。关键是如何交互? 怎么样变现为可视化界面? 这是一个重要的课题。
现有的各位朋友的侧重点不同,认为前端的角色都是可有可无,我觉得是错误的,后台的确很重要,但是后台的解决方案多。 前端实际的地位更重要,但是基本无开源的解决方案,如果不够重视前端开发, 面临的问题就是交互很烂,界面烂,体验差,导致开发人员的排斥,而可视化这块的知识点众多,对开发人员的素质要求更高。
大数据治理
大数据治理应该贯穿整个大数据开发流程,它有扮演着重要的角色,浅略的介绍几点:
· 数据血缘
· 数据质量审查
· 全平台监控
数据血缘
从数据血缘说起,数据血缘应该是大数据治理的入口,通过一张表,能够清晰看见它的来龙去脉,字段的拆分,清洗过程,表的流转,数据的量的变化,都应该从数据血缘出发,我个人认为,大数据治理整个的目标就是这个数据血缘,从数据血缘能够有监控全局的能力。
数据血缘是依托于大数据开发过程的,它包围着整个大数据开发过程,每一步开发的历史,数据导入的历史,都应该有相应的记录,数据血缘在数据资产有一定规模时,基本必不可少。
数据质量审查
数据开发中,每一个模型(表)创建的结束,都应该有一个数据质量审查的过程,在体系大的环境中,还应该在关键步骤添加审批。例如在数据转换和映射这一步,涉及到客户的数据提供,应该建立一个完善的数据质量审查制度,帮助企业第一时间发现数据存在的问题,在数据发生问题时也能第一时间看到问题的所在,并从根源解决问题,而不是盲目的通过连接数据库一遍一遍的查询SQL。
全平台监控
监控其实包含了很多的点,例如应用监控,数据监控,预警系统,工单系统等,对我们接管的每个数据源、数据表都需要做到实时监控,一旦发生殆机,或者发生停电,能够第一时间电话或者短信通知到具体负责人,这里可以借鉴一些自动化运维平台的经验的,监控约等于运维,好的监控提供的数据资产的保护也是很重要的。
大数据可视化
大数据可视化不仅仅是图表的展现,大数据可视化不仅仅是图表的展现,大数据可视化不仅仅是图表的展现。
重要的事说三遍,大数据可视化归类的数据开发中,有一部分属于应用类,有一部分属于开发类。
在开发中,大数据可视化扮演的是可视化操作的角色, 如何通过可视化的模式建立模型? 如何通过拖拉拽,或者立体操作来实现数据质量的可操作性? 画两个表格加几个按钮实现复杂的操作流程是不现实的。
在可视化应用中,更多的也有如何转换数据,如何展示数据,图表是其中的一部分,平时更多的工作还是对数据的分析,怎么样更直观的表达数据?这需要对数据有深刻的理解,对业务有深刻的理解,才能做出合适的可视化应用。
智能的可视化平台
可视化是可以被再可视化的,例如superset,通过操作SQL实现图表,有一些产品甚至能做到根据数据的内容智能分类,推荐图表类型,实时的进行可视化开发,这样的功能才是可视化现有的发展方向,我们需要大量的可视化内容来对公司发生产出,例如服装行业,销售部门:进货出货,颜色搭配对用户的影响,季节对选择的影响 生产部门:布料价格走势? 产能和效率的数据统计? 等等,每一个部门都可以有一个数据大屏,可以通过平台任意规划自己的大屏,所有人每天能够关注到自己的领域动向,这才是大数据可视化应用的具体意义。
结语
洋洋洒洒写了很多,对我近两年的所见所闻所学所想进行了一些总结。
有些童鞋会问,不是技术么?为什么没有代码?我要说,代码是要学的,要写的,但是与工作无关,代码是我个人的技能,个人傍身,实现个人想法的重要技能。 但是代码与业务的关系不大,在工作中,懂业务的人代码写的更好,因为他知道公司想要什么。 如果你业务很差,那也没关系,你代码好就行了呀,根据别人的交代干活,也是很不错的。技术和业务是相辅相成的,稍后博主总结代码的精进。
写完了,我的焦虑一丝未少,我的代码规范性不够,目前技术栈JS、Java、Node.js、Python 。
主业JS熟练度80%,正在研究阮一峰的es6(看的差不多)和vuejs的源码(有点搁浅),vuejs算是中等,css和布局方面可以说还可以,另外d3.js,go.js都是处于会用,能干活。 Node.js呢,express和koa无问题,看过一些express的源代码,还写过两个中间件。
Java、Python都处于能做项目的程度,目前也不想抽很多精力去深入它们,就想要保持在想用能用的地步。
未来的几年,我打算多学学人工智能、大数据开发的知识,未来这块应该还有一些热度的。
最后和大家共勉,三人行,必有我师焉。
『玖』 慧学星大数据精准教学管理如何纠正分数
进入后台。《慧学星》是一个教学管理系统,其中需要拥有教师或管理的账号,进入平台的后台,输入更改分数的学号,进行更改即可。
『拾』 大数据时代,我国数据量究竟有多大
从2013年初开始,对于大数据爆发的焦虑感,紧迫感,不由自主地被卷入的甚至无力的感觉,驱动众多行业、企业和团体去关注和开始接触和了解大 数据,自觉或不自觉的,主动或不得已地去融入这波洪流。但是,真的说到大数据,我们中国到底有多少数据量,它们都分布在哪些行业,哪些数据是目 前可用的,哪些行业已经在使用数据,进入产业互联网和数据引导的变革了?
可能看到的版图依旧模糊。因此,我们怀抱很好的希望,以第一个吃螃蟹并期待来自行业的矫正和拍砖的态度,首先尝试对于国内各个领域,行业以 及机构的数据拥有情况,使用情况以及未来路径做一个粗犷地调研、梳理和判断,对大数据时代我国各个领域数据资产的拥有和使用情况,也就是我们数 据资产的家底做个盘点,也对各个行业、系统进军大数据,以及拥抱产业互联网的进度和未来做个简单判断。事实上,大数据之题无疑繁若星辰,然而只 有在相对完整的视图下,繁星若尘,我们才可得以一窥天机。
从我们手头掌握的数据来看,2013年度,中国存储市场出货容量超过1个EB(1EB=多少),存储总量而IDC曾经发布的预测表明在未来的3-4年,中国存储总 容量可能达到18个EB。从数据存储市场的需求来看,互联网、医疗健康、通信、公共安全以及军工等行业的需求是主要的,且上升态势明显。
鉴于存储和服务器的紧密相关,我们从已经获得的资料可以知道,目前全球运行的服务器总量超过5000万台,美国国内运行的服务器总体容量接近 1000万台。从各种市场公开数据来看,2013年中国内地服务器销售总数接近为100万台。大体估算,截止到2013年底,中国内地整体在运行的服务器总数 量在300万台以上。
从现有存储容量看,中国目前可存储数据容量大约在8EB-10EB左右,现有的可以保存下来的数据容量大约在5EB左右,且每两年左右会翻上一倍。这些 被存储数据的大体分布为:媒体/互联网占据现有容量的1/3,政府部门/电信企业占据1/3,其他的金融、教育、制造、服务业各部分占据剩余1/3数据量 。
公开数据显示,互联网搜索巨头网络2013年拥有数据量接近EB级别、阿里、腾讯声明自己存储的数据总量都达到了百PB以上。此外,电信、医疗、金 融、公共安全、交通、气象等各个方面保存的数据量也都达到数十或者上百PB级别。
在目前被广泛引用的IDC和EMC联合发布的“2020年的数字宇宙”报告 预测到2020年,全球数字宇宙将会膨胀到40ZB,均摊每个人身上是5200GB以上,这个量将会如何被有效存储和应用,我们眼下还很难想象。然而我们 看到该报告指出,从现在起到2020年,全球数字宇宙的膨胀率大约为每两年翻一番。事实上,根据上述调查结论和服务器容量调查,我们也能做出个相对 合理的推断:目前,全球产生的数据量中仅有1%左右的数据能够被保存下来,也就是说今天全球能够被保存下来的数据也就是在50EB左右,而其中被标记 并用于分析的数据更是不到10%。
作为全球人口和计算设备保有量的大国,我国每年所能产生的数据量也极为庞大,有数据说2014年甚至可能达到ZB级别,但是真正被有效存储下来的 数据仅仅是其中极微少部分,中国保存下来数据占全球数据的比例大约在10%左右,也就是上面说的5EB。这些数据中,目前已被标记并用于分析的数据仅 达到500PB左右,也是接近10%的一个比例。
伴随着云计算迅速普及和各行业,各企业和部门对于数据资产保存和利用意识的增强,以及通过互联网、大数据对产业进行变革的意愿,未来2-3年一 定会有越来越多的行业、大企业步入到PB、百PB、甚至EB级别数据俱乐部,未来3-3年中国的数据总量也将呈翻倍上升态势,我们预测2015年中国就可能 突破10EB数据保有量,被标签和分析利用数据量也将上升到EB级别,这些数据增长中互联网、政务、医疗、教育、安全等行业和领域所做贡献最大,而相 对传统的物流、生产制造、甚至农业等领域数据拥有量的增长将更加明显。