⑴ 网络的发展 越详细越好
从点击时代到触摸时代,再到人网一体时代,互联网迎来了加速度裂变式的新一轮革命,它使社会各方面发生了许多颠覆性变化,改变了人类世界的空间轴、时间轴和思想维度
近年来,随着智能手机和移动互联网的普及,以及大数据、云计算的出现和运用,互联网迎来了加速度裂变式的新一轮革命。这场革命不仅使社会的各个方面发生了许多颠覆性的变化,而且改变了人类世界的空间轴、时间轴和思想维度。
总的看,今后互联网的发展,在应用上,将由现在的商贸领域向制造业领域拓展;在智能化上,将由现在的人网分离向人网一体拓展;在连接上,将由现在的有限连接向连接一切拓展;在数据上,将由现在的部分采取向全方位自动采取拓展;在服务上,将由现在的产品体验向个性化定制拓展;在使用上,将由现在的“独建自营”向“合作共享”拓展。未来的互联网时代,将是一个“人网一体”的时代,将是一个“连接一切”的时代,将是一个“数据为王”的时代,将是一个“个人定制”的时代,将是一个“互联共享”的时代。
有专业人士把互联网智能化进程划分为两个时代:第一个时代为点击时代。1964年美国人道格·恩格尔巴特发明了具有实际意义的鼠标,上世纪90年代微软公司推出了windows系统。世界从此变成了地球村,自媒体的大幕也由此历史性地开启了。第二个时代为触摸时代。乔布斯向全世界推出了Iphone触摸屏幕智能手机,这个天才的创造,不仅颠覆了手机的使用方法,还改变了世界。有人预言互联网智能化的第三个时代是声音时代,不用动手只要说话就可以控制一切。也有人预测,未来互联网的智能化是体感时代,还有人设想,未来互联网的智能化是一个生态链。当然,互联网智能化的最高境界,就是人们身在网络中却不觉得它的存在。未来谁能在智能化的创新上领先并取得成功,谁就能占领互联网发展的前沿,引领互联网发展的潮流。
互联网的未来就在连接一切,而现在的连接都是“山头主义”的。一个互联网企业的成功,关键在于有没有一个符合市场的平台
连接产生效率,连接产生价值,连接一切是互联网发展的根本方向和终极目标。现在的连接都是“山头主义”的,很多方面各成一体。大数据不等于大数字,目前越来越多的国家和地区将物联网确立为培育核心竞争力的战略重点。美国已经明确将物联网上升为国家创新战略的重点之一,欧盟制定了促进物联网发展的14点行动计划,日本和韩国也制定了把物联网作为重点发展的战略。英特尔公司正在研发将工业、能源、交通、零售、医疗、安防、智能建筑、智慧城市连接起来的网络系统;思科集团正在实施以云计算和大数据为依托的“万物互联”战略,准备投入20亿美元,把独立分散的云计算连接在一起,为应用者提供快捷方便的服务。业内人士称:2020年全球连接数将达到500亿,万物互联将造就19万亿美元的市场,这个数字几乎相当于我国去年GDP的两倍。
市场就是平台,平台就在市场。一个互联网企业能否行得通,归根结底在于有没有符合市场的平台。我国互联网巨头阿里巴巴通过建设淘宝等平台,从2006年至今已吸收网店1000多万家,有的店销售额做到了十几亿元。去年淘宝一万多亿销售额,全部都是这些网店做的。特别是他们用三年时间将“双十一”光棍节演变成了世界性的狂欢购物节,覆盖194个国家和地区。中国人自创的新节日第一次被世界所接受,这说明了中国的互联网文化开始影响全球。同样,扎克伯格的“脸谱”网站为什么能不断发展壮大?因为它创造了一个可供人们自由平等交流的平台。不论是谁,都可以在这个平台上与影视明星、商业大腕、政界权威对话交流。移动互联网音乐的平台也有很大市场潜力,我于2013年考察了中国移动四川无线音乐基地,其全年营业额就达到了300多亿元。
互联网将带来一个低成本和零边际成本营销的时代。产品为王是一条铁的规律,互联网未来在产品体验上、营利模式上的争夺会更加激烈
在市场经济条件下,产品为王是一条铁的规律。为什么人们那么喜欢小米手机?根本原因就在于它把用户体验融入到了手机的制造之中。公司让每一个用户参与手机的设计和改进,并择其善者而采纳,极大地增强了用户对小米手机的感情。一个用户就是一个销售渠道。所以2010年才起步的小米公司几年时间就成长为手机制造的巨头。网络游戏之所以受到年轻人的特别欢迎,也是因为其中有逼真的体验。2014年网游人数增至5.5亿人次,产业收入超过1000亿元。据有关资料,手机网民对移动互联网的付费意愿不断上升,至去年6月底,有超过四分之一的人付过费。
互联网将带来一个低成本和零边际成本营销的时代。互联网企业的营利模式目前最普遍的就是通过提供免费产品及服务而获得利润,这种免费营利模式因美国专家杰里米·里夫金所写的《零边际成本社会》一书翻译成中文变得非常流行。网络通过提供免费搜索等内容服务吸引大量广告而获取巨额效益,其广告收入去年已超过中央电视台。腾讯通过提供免费微信而主要经营游戏,赚青少年的钱。前些时候炒得很热的“滴滴”“快的”大战,就是互联网公司免费为出租车提供APP软件让乘客能够便捷地找到空闲出租车。同时还可以通过出租车,把快递、外卖、采购等这些原本不搭界的事情连在了一起,并产生了增值效应。说到底,互联网公司所谓的免费最终是为了收费,免这费最终是为了收那费,免小费最终是为了赚大钱。
有些互联网企业还创造了崭新的营利模式,最著名的是克里斯·安德森的长尾理论。他在分析亚马逊书店的图书销售时发现,关注冷门商品“尾部”产生的总体效益有可能会超过热销商品的“头部”。互联网时代将是一个关注“长尾”,发挥“长尾”效益的时代。
一个没有安全感的网络空间是十分可怕的,必将会给人类带来混乱、争斗甚至毁灭性的后果。未来在网络空间上、在维护网络安全上的争夺会更加激烈
我们过去常说有四大自然空间,陆地、海洋、天空和太空。互联网诞生以后,又增加了一个网络空间,这是一种人造空间。各国政府对网络空间越来越重视,围绕网络空间的争夺也就越来越激烈。主要表现在技术上的互联网管理权,网络空间的规则制定权和话语权,军事上的“制网权”。现在许多国家特别是美国等发达国家都在开发网络武器、组建网络部队,发展网络军事技术,以谋求在互联网战场上获得绝对的军事优势。有位美国军事专家说:要想战胜敌国,100年前,是打一场大规模的机械化战争;50年前,是筹划一场核战争;10年前,是发动一场信息化战争;现在,可能是无声无息地开展一场网络战争。
网络安全也是各国十分关注的一个问题。大家所知道的斯诺登事件和去年的詹尼弗·劳伦斯等众多好莱坞女星私密照片被泄露事件就是典型例证。最近有本新书叫《互联的世界》,书中说将来每个人身边都有很多的传感器,在这种情况下,整个世界包括人的一切活动都将在网络世界里暴露无遗。这样就给维护国家安全和保护个人隐私提出了更为严峻的挑战。
互联网既带来政治透明化和民主化,又使政治暴力和扩张变得更加容易;它使人的思维变得更加开放敏捷,又使思维变得“碎片化”和肤浅化;它既有利于全球共识的形成,又会导致思想文化的多元和碰撞
互联网诞生不久,就以鲜明的草根性走进了普通百姓的生活。目前,全球的网民人数约30亿,其中中国网民有6.49亿。2012年手机首次超过台式电脑,成为我国网民第一大上网终端。至去年年底,我国手机网民规模已达到5.3亿以上。互联网空前提高了网民对政治的参与度,需要注意的是,网民的舆论有时会缺乏理性,形成一种“一边倒”的网络舆论,如失去控制就有可能会导致民粹主义和网上暴力,从而威胁社会和国家的稳定。同时互联网还在某些程度上改变了政治权力运行的边界,改变了民主政治运行的方式。国外无论是总统、议会选举还是外交和集会等重大活动,互联网都发挥了十分重要的政治组织和动员作用。2010年以来席卷中东、北非的政权更迭就是西方国家利用网络组织和动员的结果。
在互联网上,人们可以实现一种新型的文化共享。互联网已经把全球变成了一个思想文化交流的会场,变成了一个思想文化的沙龙。仅谷歌每天的在线翻译就达到10亿次,相当于全球一年人工的翻译量。互联网有利于迅速普及人类共同发展和进步的理念,然而,互联网也为复杂多元以及错误丑恶的思想文化的蔓延洞开了方便之门。由于网络使文化变得“快餐化”,类型文学和娱乐文化将替代纯文学成为文学的主流,“娱乐至死”甚至成为了一种时尚。
海量、杂乱、短小、肤浅,是互联网信息和知识的特点。如果说过去传统的阅读所产生的是一种慢思维、专思维、深思维和系统思维的话,那么今天的互联网阅读所产生的就是一种快思维、杂思维、浅思维和碎片化思维。据说有科学家正在研制一种特殊芯片,植入人脑后直接同网络对接,这样就可以不用读书不用记忆而自然而然地拥有丰富的知识了。果真如此,人类将很难出现大思想家、大理论家、大学问家和大科学家。
互联网从根本上改变了现有的生产方式和经济运行模式,但是经济的脆弱性和风险性也会大幅度上升,容易催生经济的虚拟化、泡沫化和空心化
电子商务的兴起,首先对传统商业形成了巨大冲击。昔日一些门庭若市的大商场也顾客锐减,有的实体店被迫倒闭,有的被迫同互联网结合起来,实行线上线下的O2O经营模式。其二,互联网金融的兴起,对传统的金融业构成了巨大的威胁。2004年12月,阿里巴巴创立了首家定位于电子商务支付的第三方支付公司“支付宝”,拉开了网络金融的序幕。尤其是近几年来P2P模式的迅速扩大,初步形成了完全区别于传统金融的新型金融业态。2013年,P2P网络信贷平台增至1000家,交易规模突破1000亿元。还有就是众筹模式。截至去年10月底,全国已有众筹网站113家。其三,3D打印和德国工业4.0革命,将使整个制造业向以用户为导向的个性化定制转变。3D打印将颠覆传统制造业的标准化、规模化、同步化特征。如3D打印这项技术进一步成熟,从现在打印小产品发展到将来可以打印大产品和构造复杂的高端产品,那生产流水线将彻底消失,规模化的大工厂也将彻底消失。至于被称为德国工业第四次革命的4.0,则一改过去分工明确的生产流程,用大数据和云计算将人、机器设备、产品、销售和服务联系在一起并不断产生新数据,相互交流,高效分析,实时整合,优化资源和生产链,并根据用户需求进行生产。其四,云计算大数据的运用,可使宏观经济的情况一目了然,并根据数据的变化随时调整,从而避免市场的盲目性。从这个角度来说,互联网有可能改写现在被人们誉为金科玉律的市场经济体制,在全球范围内实现马克思所预言的计划经济体制。
但是,越是高科技的东西,其所隐藏的风险性也就越大,其所具有的脆弱性也就越突出。互联网如果一旦遇到黑客的攻击,或是严重的自然灾害,以及网络本身出现大的技术故障,那所造成的损失和危害将十分惨重。同时,还应看到,网络经济的高附加值和高收益率,容易导致人们的投资冲动,使经济出现“泡沫化”,同时会催生经济的虚拟化,从而导致实体经济的衰弱,最后使整个经济走向“空心化”。美国2001年的经济危机就是因为互联网泡沫的破灭造成的,2008年的金融危机就更是因为经济的“泡沫化”和“空心化”造成的。
互联网在为科学研究提供新的技术和手段的同时,也可能导致科学研究走向极端化
互联网的最突出优势,就是速度快和容量大。据可靠消息,英国、韩国正在研发5G,并打算在2020年前推出。这5G意味着什么呢?就是速度是4G的100倍,相当于一秒钟可下载33部高清电影,网络延时仅1毫秒。大数据和云计算就为科研提供了这种极为难得的条件。人们对我国半个世纪前研制“两弹一星”的情景记忆犹新。那时对有关数据的计算都是靠手摇计算机完成的,第一颗原子弹爆炸后的数据是专家们穿着防化服到核爆现场采取的。现在有了传感器,有了互联网,有了云计算,许多复杂的高难度的数据运算都可以自动完成并得出精确的结果,许多过去靠人工无法计算的数据变得轻而易举,一些重大的科学试验甚至可以在网络上完成。如核武器的试验就是在网上进行的。还有如人类DNA的排列这样的科学研究,也只有在计算机和网络技术到了较高水平时才能取得实质性的成果。
但是,互联网也有可能导致科学研究走向极端。比如人类生命密码、克隆人和复制人工智能的问题。如果对这些方面的科研不加限制和阻止,那有朝一日将会对人类产生灾难性的后果。再就是互联网强烈的实用性和趋利性,会诱导一些人热衷于功利性的技术创新,而对科学基础理论的研究不感兴趣。
人类在充分利用互联网的同时,似乎也在一步步成为互联网的奴隶,从而患上“依赖症”、“冷漠症”和“恐惧症”
从农业时代的日出而作,日落而息,到工业时代的标准化、同步化、机械化,再到今天互联网时代的即时化、个性化、智能化。人类的生活方式,是人类一定历史时期生产力水平的体现。有什么样的生产力,就有什么样的生活方式。
在发达国家,一种“随时使用、何必拥有”的新的生活方式正在被越来越多的人所接受。在美国,年轻人共享汽车正在成为时尚,全国有80万人加入了汽车共享俱乐部,全球有27个国家共170万人享受汽车共享服务。还有一种“沙发旅行”也很流行。它原本是指不认识的两个人,通过网络相识,到对方所在的国家旅游时借宿对方家客厅的互助旅行方式,没想到现在却成了一种旅游新潮流,其会员已发展到全球207个国家的550万人。
人类在充分利用互联网改善生活方式获取更大幸福的同时,似乎也正在一步一步成为互联网的奴隶。从目前已暴露出来的问题看,主要表现为对互联网的“依赖症”、由互联网导致的“冷漠症”,以及对互联网的“恐惧症”。
⑵ 大数据的理想与现实之间
大数据的理想与现实之间
我与数据打了25年的交道,经历了从电信、网通到联通的多次重组,亲身参与了数据专业线从弱势群体逐渐发展壮大的全过程。一直想找个机会,谈谈我的体会,但是没有下这个决心动笔。最近,受范总原创《“一篇文看懂Hadoop”读后感》的鼓舞,想从数据工作实务的角度分享一下我的想法,就当抛砖引玉吧。
1. 关于数据中心的定位我们就按照论文里通常的套路开始吧。首先“什么是数据?”通俗的理解就是:如果把企业比作一个“生产线”,数据就是在这个“生产线”上各项活动所产生的,以各种形式存放在各个系统中或者其他载体上的信息,把这些信息按照一定的属性和规则进行分类加工就形成了数据,它反映着企业经营发展的状况,记录着企业用户的使用情况,还有产业链上各个参与者的状况。 受现代企业的部门设置、专业线管理架构的影响,企业完整的“生产线”被各部门分割,数据散落在由各部门管理的系统中,这就是大型企业通常的业务和数据管理的现状~~“职责分割、数据分散”。那么,如何反映企业整体的发展现状呢?通常是公司月度经营分析会上,财务部门的分析报告中,汇报公司的总体情况,而市场、集团客户等部门的报告分别汇报本专业条线的经营情况。曾经出现的情况就是财务部门汇报公司总体利润下降,而各业务部门纷纷完成任务形势一片大好的反差。老板心里纳闷~~“你们都完成了任务,敢情就我没完成任务?”联通重组以来,顶着来自省里还有其他专业的压力,一直在推行数据的集中。信息化部把各省、各系统中的数以亿计的用户明细数据在集团层面进行了集中存储,并经过统一的规则加工数据,再加上后来的分析应用,不仅使每个月统计的用户发展数据更加真实了,还发现地市层面违规经营、业绩造假的行为。集团董事长召开全国地市级工作会议,点名批评、撤换了几个地市老总。当时,地市老总还在云里雾里~~“我都没有这么详细的数据,董事长怎么知道的?”这就是数据在打破部门和省分之间的壁垒,使领导层能纵观企业真实情况,“知其然,知其所以然”方面发挥的至关重要的作用。近两年来,联通通过与外部公司的合作,使用脱敏的用户标签数据为企业创造了真金白银的实际价值,“数据”的应用价值日益突出,真正成为企业的又一宝贵资源。而之前,企业内部并没有这么一个专门的部门是站在全局的角度,承担起“数据资源”管理者的角色的,这就是成立“数据中心”的初衷,也是其定位和义不容辞的责任。联通数据中心的成立,是“数据线”这个弱势专业有史以来摆脱依附关系成为独立二级部门的第一次,也是对于联通信息化部门实践数据集中整合、应用,支撑公司管理方面取得成果的高度肯定。说起这个,数据线工作的人都会有深深的共鸣,这里面有多少苦衷啊。2. 主动还是被动?都是“支撑”惹的祸“数据中心”脱身于信息化部门,而信息化部门的基本定位就是“支撑”,就是要“有求必应”。我们熟悉的场景是每个月的那么几天,业务部门的人员为了写分析报告,需要些报表以外的数据进行分析,给数据部门打电话,然后心急火燎地等待他们提供的数据结果。另一场景,数据部门的人员被各部门各种的数据需求折腾得团团转,为了提供数据,加班到天亮。曾经有负责数据服务的处室,在总结年度工作时用到的数据是“提供报表上万张”。经分系统在用户的坚持下,开发了大量内容相近、格式不同的报表。一方面是用户层出不穷的需求无法满足,另一面却是系统里大量的报表没有人访问。因为用户无法自己获取数据,日常数据服务工作显得相当被动。其实从内容上看,一个企业的数据是唯一的,只是各部门因为关注的角度不同,提出了不同的展现要求,实际上在数据层面有较高的重叠性。如果想要在减少需求量的同时,提高用户满意度,就需要数据管理部门的人员具备高度的综合能力,这个人不仅要熟悉公司的业务、流程、部门的职责分工,还要有很好的沟通能力,能够正确理解、综合、引导用户的需求,然后在总体框架下将整合后的、被验证过的需求在系统中固化。如果能力强,从个人层面,还是可以主动地做一些事情的。但是,要想改变数据工作的被动局面,就需要数据管理部门不再局限于“支撑”的角色,而是应该站在”数据资源管理者”的角度,主动地从数据、应用、管控、系统四个方面,形成一个体系化的数据管理架构,并指导日常工作和系统建设。 上图是2009年联通开展的数据管理体系研究工作的成果,是对数据工作的一次很好的总结和提升。它是数据管理体系L0架构,揭示了数据管理工作的组成部分以及各个部分之间的关系。与其他专业线不同,数据专业的管理核心是”数据”,数据质量、生命周期和安全管理都是核心的管控内容,而组织(人员、制度)和系统是数据产生价值的基本保障。数据、应用、管控、系统四个方面的内容缺一不可,同时又存在相互关联、不断优化的过程(流程),绝对不是建几个系统那么简单,这也是数据专业管理的难度所在。 上面这张图就是对数据工作的流程很好的诠释,数据部门要想扭转被动的局面,首先必须有自己完整的架构(数据、应用、系统、流程、管理制度)。而这一架构的形成,是需要通过以下4个步骤:正确评估自身能力现状;找到公司业务战略、目标对数据专业的期望和差距;有选择性地确定数据工作的战略目标和阶段性计划后组织实施的;在完成阶段性计划之后,还需要评估能力提升的结果,以便对现状形成新的评价,循序渐进,有效积累。信息化的同事对于数据、应用、系统这三项内容都容易理解,但是,对于制度和流程就不太容易理解了。制度就是游戏规则,规定了该谁做,做什么,怎么做,做到什么程度。流程则是为了明确一件工作的步骤和涉及的部门之间的关系。目前流程的缺失带来太多的问题,常见的场景就是一项业务已经下线了,我们的系统中还在展示;新的业务已经为公司创造价值了,其收入还没有在财务报表中单独体现,不能及时反映这项业务的发展状况;系统中数据和报表功能已经具备了,业务部门还在要求数据部门人工提供数据,用户的需求无法及时传递到建设环节。
解决这些问题的根本就是必须形成闭环的数据工作流程,在数据生产、服务、建设、维护内部各个环节的有效沟通的同时,加入到公司运营、网络、管理的前端环节,第一时间参与产品策划、基建计划、科目调整等前期工作,才能确保数据工作的有效积累和正常运转。
3、谁在用数据?他的核心需求是什么?在清楚了定位和工作内容之后,首先要明确的就是工作目标,而目标的确定就需要了解数据的使用者是谁,他们的核心需求是什么。那么,谁是数据的需求方呢?站在企业经营的角度看,通常把数据需求分为:内部需求和外部需求。具体包括:(1)内部需求是数据服务于企业管理的职责所在。从管理层级上看,包括集团及分子公司、省级分公司;从管理职责上分就是公司管理层、职能部门、基层操作人员。管理层的诉求就是通过数据掌握公司运营的整体情况,知道“发生了什么?什么是主要原因?我应该去找谁?”你给我10个指标都多,因为这10个指标也许是反方向变化的,我要自己判断哪个是核心指标。管理层需要的是“简洁但不简单”,这个要求也是最高的。“如何让领导的桌面变得简洁?”如果这样的问题你没有想过,领导层对你的工作就很难满意。满足领导层需求的最好办法就是提供综合指数,就像是温度计,或者上证指数,一个指标就能纵览全局。而这一个指数背后是高度综合的评价体系,需要专门的研究与大量的实践检验。 (上图为DW1.0设计的领导首页UI规范,这是一个工作台,包括:问题发现、任务指派和问题反馈三个功能。中间是对目前公司当月总体情况的评价结果,雷达图中显示综合评价指标池中业务发展、财务状况、企业运营、创新能力四类指标值与目标值的差距,并支持预警提示和问题的下钻探索。页面下方,是热点信息和信息反馈的连接,支持领导任务指派和问题反馈。)职能部门是我们打交道最多的,他们的诉求就是获取本专业的数据支持日常管理。应用最多的就是每月的经营分析,有的部门使用的是自己的报表体系,有的部门基本靠数据部门支撑,有的部门基本没有什么可用的数据,有的部门干脆重新建立了自己的系统进行模型沉淀。从数据的应用层次看,我们能够提供给职能部门使用的还停留在数据的粗加工层面。“哪个是我们最赚钱的产品?哪些是我们含金量最高的用户?我们应该采用什么样的策略?我们采取的措施收效如何?”太多的问题需要用数据来回答。现在是离开数据部门的后台提数,职能部门的人自己基本拿不到数据,做不了事情。什么时候他们能自己取数自己分析,什么时候职能部门的用户满意度就能提升了。基层操作人员是与用户最接近的环节,他们能够用到的数据确实非常少。近年来的激发基层单元活力的工作,对数据服务于基层提出了更多的要求。但是,一个基于产品线的用户级粒度的收入数据,与一个基于管理主体的成本数据,怎么能够支撑一线人员的资源配置和绩效管理?数据层面为基层人员做的还非常少。最后为我们的用户说几句吧,如果我是一个世界500强的用户,第一次走进联通的营业厅办业务,联通能不能第一时间给我提供大客户级的服务而不要等我给联通创造了多少收入之后才发现我的价值?如果我使用了联通10年以上的宽带业务,联通能不能辨识出我的价值,给我提供VIP级的一体化服务?联通能不能通过我喜欢的方式、在我方便的时间、通过更加便捷的手段,推荐给我贴心的服务,而不是关注于挖掘我的隐私?以上用户的诉求,背后都是大量的数据作为支撑的。公司经营策略中说了多少年的“以客户为中心”,但是从数据指标体系上看,仍然是“以产品为中心”。数据层面确实应该为我们的用户做点什么了。 上面这张图,帮助我们换个角度去思考我们的工作目标,我们应该站在数据的使用者的角度,考虑应该做什么,能做什么,做了些什么,形成我们的工作目标。不能再固守传统的工作模式,数据工作需要总结和创新。(2)外部需求是数据服务于社会,为企业创造价值的体现。近年来,由于联通数据集中的优势,与招商、蚂蚁金服多家企业进行合作,开拓了手机终端、用户信用指数等多项应用,为企业创造了新的收入来源。(我不了解的工作,没有发言权)“去年9月国务院印发《促进大数据发展行动纲要》称,国家政府数据统一开放平台将在2018年底前建成,率先在气象、环境、信用、交通、医疗、卫生等20余项重要领域,实现公共数据资源合理适度向社会开放。”“在政府和市场的双重催动下,那些原本封存在服务器里的陈年数据,成为一座座蕴藏丰富的“金矿”,兴奋的企业和研究人员一边着手搜寻数据,一边将有价值数据按需筛选出来重构。然而,能真正做深度挖掘的企业并不多,这一领域正在等待着“杀手级”应用的出现,助推金融、医疗健康、零售业、制造业等各行业产生根本性的变革。”~《大数据的痛点》联通正经历着和社会上其他领域一样的探索过程,首先是完成了自身数据的集中整合,接下来就是考虑外部数据整合和应用的事情。对于联通而言,外部用户包括:政府主管部门、资本市场监管和审计机构,有意向的合作伙伴。对外服务合作,特别是收费服务,产品化的要求也就更高。另外,作为一个国企有它必须承担的社会责任,联通的大数据应用也许能够在治理交通拥堵、解决看病难等社会问题、提升居民幸福指数方面发挥点儿自己的作用。各行业的大数据都有同样的感觉,目前缺少“杀手级”的应用。个人认为,“杀手级”应用首先应该是基于大数据的分析预测能力与个性化需求相结合的结果,比如:高德导航提供每条路的拥堵峰值的预测,用户输入出行计划时,就可以预测到一天甚至一周分时段的拥堵情况,选择出行时间,而不是已经在路上了,再纠结于选择哪条路。再比如,最近微信发布的电子发票功能,在为用户解决实际问题,提高效率的同时,撬动企业级的应用,从个人应用深入到企业内部,让银行进一步感觉无力。另外,最近很高兴地收到了高德地图推出的早高峰的预警信息。我想无论怎样的应用,都要站在亲身体验的角度,问问自己需要的是什么,再用负责任和踏实的态度,沉下心来把问题解决到最好,就不会被评价成“简单粗暴”了。4、什么东西需要系统来实现?~~复制、流程、积累,归根到底还是积累最近接连几次有其他部门的朋友跟我抱怨,现在提一张报表的需求需要很长的时间,跟新的同事沟通多次根本不知道我们想要什么,真是无语。这样的事情已经是人员变动之后的常态了。小的事情看,无论是市场部的分析人员、信息化部的需求管理人员、厂商的开发人员,换了人,就会出现一段时间“归零”的状况。大的事情看,人换了,之前的工作没有积累,后来的人根本不明白之前工作做到什么程度了,这项工作似乎也“归零”了。另一个场景,每个月市场部分析人员获取数据编写分析报告,经营分析会开过之后,就“尘埃落定”了。数据部门加班为市场部人员提供的数据及材料,每年都花费了大量的费用。而这些支出到底创造了什么价值?是不是就是为了领导听起汇报来赏心悦目?我们真的需要坐下来好好想想了。曾经见过一个市场部的同事,使用Excel做了一个很复杂的模板,就为了把每月的数据汇总成逐月的数据,然后计算同比、环比、构成、绘制趋势图,而这些东西,用技术手段很容易实现的。为什么他们不把这个模板变成系统能力,让系统帮他?之前曾经有技术弟跟我说,现在懂业务的人才是最有价值的,没有技术实现不了的事儿,主要是要知道用技术做什么。再好的技术也要想好了要做什么,能做什么。个人认为,系统要做的事情就是复制、流程和积累,人都没有解决的问题,系统也不可能替你解决。如果你已经拥有成熟的模板,系统就可以把它复制用于各月、全国,在提高效率的同时,避免了人为操作的错误。如果你制定了完善的闭环流程,系统就能帮助你严格地执行。但是,最最有价值的还是积累,不仅数据应用、流程的积累,还有固化在系统中的“知识”的积累。它帮助后来的人熟悉数据,也不会因为人员的变动让工作归零。“积累”,是需要时时刻刻想到的事儿。 上面这张图,从大数据应用价值、系统能力层次的角度显示了能力积累的层级,也帮助我们很快地定位到我们目前能够达到的层级,清楚自己努力的目标。我们是在满足于提供数据粗加工的原材料,还是已经嵌入到企业的生产环节中,形成了商业合作模式?5、数据专业发展的关键是什么?~~人,还是人。从2008年联通公司重组到2012年数据中心成立,经过了4年的时间,期间多少艰辛不用多说。(此处略去301个字。)做什么事儿也离不开人,特别是数据专业,需要一批懂数据、用数据、踏实肯干、耐得住寂寞的人,团队才是最宝贵的资源。而人才队伍的建设必须具备的条件包括:(1)支持优胜劣汰的干部任免制度;(2)支持留住最优质的员工薪酬体系;(3)帮助员工快速成长的有效的培训交流、知识积累机制;(4)支持我们拥有竞争力的自主开发团队的薪酬体系;(5)支持我们选择最优质的合作伙伴的招标流程;(6)合作伙伴意识到自身的不足,专心积累,认真做事,和我们一起成长。6、总结最后,按照“自己的事儿、别人的事儿、老天爷的事儿”的分类方法,说说我们能做点儿什么“自己的事儿”吧:(1)首先要有稳定的数据管理架构,包括了数据、应用、系统、制度。这样的架构与公司战略目标相结合,形成演进路线和年度工作目标,通过年度目标的达成,循序渐进地逐步实现。数据管理架构需要在数据中心内部(集团、省级分公司),以及公司管理层、信息化部内部、其他业务部门之间达成共识,并坚定地、不打折扣地一起去推进实施。(2)明确岗位职责和分工界面(集团、省级分公司),并保持相对稳定,避免“临时的因事儿设岗”。定期组织员工培训、沟通,做好知识传递、信息共享,年度工作目标在员工层面达成共识,使新来的员工尽快进入新角色。通过专题研究组的形式邀请省公司参与数据的能力建设,调动省公司层面的积极性,养成数据中心人人“看数据、用数据”、“发现问题、解决问题”的良好习惯,做好自我完善、形成有效积累,形成“成长型”数据专业团队。(3)建立定期的用户(数据服务对象)沟通制度,主动介绍我们的数据架构和系统能力的提升情况,职责分工及年度工作目标,在用户层面达成共识。引导用户更多地使用系统能力并从中获益,让用户真实地感受到效率的提升,并愿意和我们一起来积累。(4)多方位整合身边资源,在完善自身能力、提高方法论、产品化水平等方面与合作伙伴达成共识,共同进步。引进咨询机构及高校专业人士参与开展综合指数、客户指标体系等多项专题研究,提升数据产品化和创新能力。(5)建立一个闭环的工作流程,使相对后端的数据流程参与到企业运营的前端流程中,以便及时反映企业的经营的变化,定期更新指标体系、报表架构及相关应用,避免前后脱节的问题,有效实施数据及应用的生命周期管理。说了这么多,一方面是因为这些年积攒的心里话不吐不快,另一方面想着这个专业能抓住机会,取得更好的发展成果。想起某位领导多少年前说的那句话~~“有为才有位”。乘着大数据的东风,我们的队伍已经再次壮大,但是,“理想很丰满,现实很骨感”,我们更应该意识到差距和肩上的责任,切忌浮躁,要脚踏实地。希望新来的同事们尽快适应,进入角色吧。
⑶ 大数据是什么意思,大数据概念怎么理解
大数据(big data),指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合,是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。
对于“大数据”(Big data)研究机构Gartner给出了这样的定义。“大数据”是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力来适应海量、高增长率和多样化的信息资产。
麦肯锡全球研究所给出的定义是:一种规模大到在获取、存储、管理、分析方面大大超出了传统数据库软件工具能力范围的数据集合,具有海量的数据规模、快速的数据流转、多样的数据类型和价值密度低四大特征。
大数据技术的战略意义不在于掌握庞大的数据信息,而在于对这些含有意义的数据进行专业化处理。换而言之,如果把大数据比作一种产业,那么这种产业实现盈利的关键,在于提高对数据的“加工能力”,通过“加工”实现数据的“增值”。
从技术上看,大数据与云计算的关系就像一枚硬币的正反面一样密不可分。大数据必然无法用单台的计算机进行处理,必须采用分布式架构。它的特色在于对海量数据进行分布式数据挖掘。但它必须依托云计算的分布式处理、分布式数据库和云存储、虚拟化技术。
随着云时代的来临,大数据(Big data)也吸引了越来越多的关注。分析师团队认为,大数据(Big data)通常用来形容一个公司创造的大量非结构化数据和半结构化数据,这些数据在下载到关系型数据库用于分析时会花费过多时间和金钱。大数据分析常和云计算联系到一起,因为实时的大型数据集分析需要像MapRece一样的框架来向数十、数百或甚至数千的电脑分配工作。
大数据需要特殊的技术,以有效地处理大量的容忍经过时间内的数据。适用于大数据的技术,包括大规模并行处理(MPP)数据库、数据挖掘、分布式文件系统、分布式数据库、云计算平台、互联网和可扩展的存储系统。
最小的基本单位是bit,按顺序给出所有单位:bit、Byte、KB、MB、GB、TB、PB、EB、ZB、YB、BB、NB、DB。