㈠ 谁能做大数据工程师
大数据是眼下非常时髦的技术名词,与此同时自然也催生出了一些与大数据处理相关的职业,通过对数据的挖掘分析来影响企业的商业决策。
这群人在国外被叫做数据科学家(Data Scientist),这个头衔最早由D.J.Pati和Jeff Hammerbacher于2008年提出,他们后来分别成为了领英(LinkedIn)和Facebook数据科学团队的负责人。而数据科学家这个职位目前也已经在美国传统的电信、零售、金融、制造、物流、医疗、教育等行业里开始创造价值。
不过在国内,大数据的应用才刚刚萌芽,人才市场还不那么成熟,“你很难期望有一个全才来完成整个链条上的所有环节。更多公司会根据自己已有的资源和短板,招聘能和现有团队互补的人才。”领英(LinkedIn)中国商务分析及战略总监王昱尧对《第一财经周刊》说。
于是每家公司对大数据工作的要求不尽相同:有的强调数据库编程、有的突出应用数学和统计学知识、有的则要求有咨询公司或投行相关的经验、有些是希望能找到懂得产品和市场的应用型人才。正因为如此,很多公司会针对自己的业务类型和团队分工,给这群与大数据打交道的人一些新的头衔和定义:数据挖掘工程师、大数据专家、数据研究员、用户分析专家等都是经常在国内公司里出现的Title,我们将其统称为“大数据工程师”。
王昱尧认为,在一个成熟的数据驱动型公司,“大数据工程师”往往是一个团队,它意味着从数据的收集、整理展现、分析和商业洞察、以至于市场转化的全过程。这个团队中可能包括数据工程师、分析师、产品专员、市场专员和商业决策者等角色,共同完成从原始数据到商业价值的转换—概括来讲,这是一个支持企业做出商业决策、发掘商业模式的重要群体。
由于国内的大数据工作还处在一个有待开发的阶段,因此能从其中挖掘出多少价值完全取决于工程师的个人能力。已经身处这个行业的专家给出了一些人才需求的大体框架,包括要有计算机编码能力、数学及统计学相关背景,当然如果能对一些特定领域或行业有比较深入的了解,对于其快速判断并抓准关键因素则更有帮助。
虽然对于一些大公司来说,拥有硕博学历的公司人是比较好的选择,不过阿里巴巴集团研究员薛贵荣强调,学历并不是最主要的因素,能有大规模处理数据的经验并且有喜欢在数据海洋中寻宝的好奇心会更适合这个工作。
除此之外,一个优秀的大数据工程师要具备一定的逻辑分析能力,并能迅速定位某个商业问题的关键属性和决定因素。“他得知道什么是相关的,哪个是重要的,使用什么样的数据是最有价值的,如何快速找到每个业务最核心的需求。”联合国网络大数据联合实验室数据科学家沈志勇说。学习能力能帮助大数据工程师快速适应不同的项目,并在短时间内成为这个领域的数据专家;沟通能力则能让他们的工作开展地更顺利,因为大数据工程师的工作主要分为两种方式:由市场部驱动和由数据分析部门驱动,前者需要常常向产品经理了解开发需求,后者则需要找运营部了解数据模型实际转化的情况。
你可以将以上这些要求看做是成为大数据工程师的努力方向,因为根据万宝瑞华管理合伙人颜莉萍的观察,这是一个很大的人才缺口。目前国内的大数据应用多集中在互联网领域,有超过56%的企业在筹备发展大数据研究,“未来5年,94%的公司都会需要数据科学家。”颜莉萍说。因此她也建议一些原本从事与数据工作相关的公司人可以考虑转型。
本期《第一财经周刊》采访了BAT这3家国内互联网公司,以及相关领域的人力资源专家,他们从职场角度为我们解读如何成为大数据工程师以及这类岗位的职场现状。
A 大数据工程师做什么?
用阿里巴巴集团研究员薛贵荣的话来说,大数据工程师就是一群“玩数据”的人,玩出数据的商业价值,让数据变成生产力。大数据和传统数据的最大区别在于,它是在线的、实时的,规模海量且形式不规整,无章法可循,因此“会玩”这些数据的人就很重要。
沈志勇认为如果把大数据想象成一座不停累积的矿山,那么大数据工程师的工作就是,“第一步,定位并抽取信息所在的数据集,相当于探矿和采矿。第二步,把它变成直接可以做判断的信息,相当于冶炼。最后是应用,把数据可视化等。”
因此分析历史、预测未来、优化选择,这是大数据工程师在“玩数据”时最重要的三大任务。通过这三个工作方向,他们帮助企业做出更好的商业决策。
找出过去事件的特征
大数据工程师一个很重要的工作,就是通过分析数据来找出过去事件的特征。比如,腾讯的数据团队正在搭建一个数据仓库,把公司所有网络平台上数量庞大、不规整的数据信息进行梳理,总结出可供查询的特征,来支持公司各类业务对数据的需求,包括广告投放、游戏开发、社交网络等。
找出过去事件的特征,最大的作用是可以帮助企业更好地认识消费者。通过分析用户以往的行为轨迹,就能够了解这个人,并预测他的行为。“你可以知道他是什么样的人、他的年纪、兴趣爱好,是不是互联网付费用户、喜欢玩什么类型的游戏,平常喜欢在网上做什么事情。”腾讯云计算有限公司北京研发中心总经理郑立峰对《第一财经周刊》说。下一步到了业务层面,就可以针对各类人群推荐相关服务,比如手游,或是基于不同特征和需求衍生出新的业务模式,比如微信的电影票业务。
预测未来可能发生的事情
通过引入关键因素,大数据工程师可以预测未来的消费趋势。在阿里妈妈的营销平台上,工程师正试图通过引入气象数据来帮助淘宝卖家做生意。“比如今年夏天不热,很可能某些产品就没有去年畅销,除了空调、电扇,背心、游泳衣等都可能会受其影响。那么我们就会建立气象数据和销售数据之间的关系,找到与之相关的品类,提前警示卖家周转库存。”薛贵荣说。
在网络,沈志勇支持“网络预测”部分产品的模型研发,试图用大数据为更广泛的人群服务。已经上线的包括世界杯预测、高考预测、景点预测等。以网络景点预测为例,大数据工程师需要收集所有可能影响一段时间内景点人流量的关键因素进行预测,并为全国各个景点未来的拥挤度分级—在接下来的若干天时间里,它究竟是畅通、拥挤,还是一般拥挤?
找出最优化的结果
根据不同企业的业务性质,大数据工程师可以通过数据分析来达到不同的目的。
以腾讯来说,郑立峰认为能反映大数据工程师工作的最简单直接的例子就是选项测试(AB Test),即帮助产品经理在A、B两个备选方案中做出选择。在过去,决策者只能依据经验进行判断,但如今大数据工程师可以通过大范围地实时测试—比如,在社交网络产品的例子中,让一半用户看到A界面,另一半使用B界面,观察统计一段时间内的点击率和转化率,以此帮助市场部做出最终选择。
作为电商的阿里巴巴,则希望通过大数据锁定精准的人群,帮助卖家做更好的营销。“我们更期待的是你能找到这样一批人,比起现有的用户,这些人对产品更感兴趣。”薛贵荣说。一个淘宝的实例是,某人参卖家原来推广的目标人群是产妇,但工程师通过挖掘数据之间的关联性后发现,针对孕妇群体投放的营销转化率更高。
B 需要具备的能力
数学及统计学相关的背景
就我们采访过的BAT三家互联网大公司来说,对于大数据工程师的要求都是希望是统计学和数学背景的硕士或博士学历。沈志勇认为,缺乏理论背景的数据工作者,更容易进入一个技能上的危险区域(Danger Zone)—一堆数字,按照不同的数据模型和算法总能捯饬出一些结果来,但如果你不知道那代表什么,就并不是真正有意义的结果,并且那样的结果还容易误导你。“只有具备一定的理论知识,才能理解模型、复用模型甚至创新模型,来解决实际问题。”沈志勇说。
计算机编码能力
实际开发能力和大规模的数据处理能力是作为大数据工程师的一些必备要素。“因为许多数据的价值来自于挖掘的过程,你必须亲自动手才能发现金子的价值。”郑立峰说。
举例来说,现在人们在社交网络上所产生的许多记录都是非结构化的数据,如何从这些毫无头绪的文字、语音、图像甚至视频中攫取有意义的信息就需要大数据工程师亲自挖掘。即使在某些团队中,大数据工程师的职责以商业分析为主,但也要熟悉计算机处理大数据的方式。
对特定应用领域或行业的知识
在颜莉萍看来,大数据工程师这个角色很重要的一点是,不能脱离市场,因为大数据只有和特定领域的应用结合起来才能产生价值。所以,在某个或多个垂直行业的经历能为应聘者积累对行业的认知,对于之后成为大数据工程师有很大帮助,因此这也是应聘这个岗位时较有说服力的加分项。
“他不能只是懂得数据,还要有商业头脑,不论对零售、医药、游戏还是旅游等行业,能就其中某些领域有一定的理解,最好还是与公司的业务方向一致的,”就此薛贵荣还打了个比方,“过去我们说一些奢侈品店员势利,看人一眼就知道买得起买不起,但这群人恰恰是有敏锐度的,我们认为他们是这个行业的专家。又比如对医疗行业了解的人,他在考虑医疗保险业务时,不仅会和人们医院看病的记录相关,也会考虑饮食数据,这些都是基于对该领域的了解。”
C 大数据工程师的职业发展
如何成为大数据工程师
由于目前大数据人才匮乏,对于公司来说,很难招聘到合适的人才——既要有高学历,同时最好还有大规模数据处理经验。因此很多企业会通过内部挖掘。
今年8月,阿里巴巴举办了一个大数据竞赛,把天猫平台上的数据拿出来,去除敏感问题后,放到云计算平台上交予7000多支队伍进行比赛,比赛分为内部赛和外部赛。“通过这个方式来激励内部员工,同时也发现外部人才,让各行业的大数据工程师涌现出来。”
颜莉萍建议,目前长期从事数据库管理、挖掘、编程工作的人,包括传统的量化分析师、Hadoop方面的工程师,以及任何在工作中需要通过数据来进行判断决策的管理者,比如某些领域的运营经理等,都可以尝试该职位,而各个领域的达人只要学会运用数据,也可以成为大数据工程师。
薪酬待遇
作为IT类职业中的“大熊猫”,大数据工程师的收入待遇可以说达到了同类的顶级。根据颜莉萍的观察,国内IT、通讯、行业招聘中,有10%都是和大数据相关的,且比例还在上升。颜莉萍表示,“大数据时代的到来很突然,在国内发展势头激进,而人才却非常有限,现在完全是供不应求的状况。”在美国,大数据工程师平均每年薪酬高达17.5万美元,而据了解,在国内顶尖互联网类公司,同一个级别大数据工程师的薪酬可能要比其他职位高20%至30%,且颇受企业重视。
职业发展路径
由于大数据人才数量较少,因此大多数公司的数据部门一般都是扁平化的层级模式,大致分为数据分析师、资深研究员、部门总监3个级别。大公司可能按照应用领域的维度来划分不同团队,而在小公司则需要身兼数职。有些特别强调大数据战略的互联网公司则会另设最高职位—如阿里巴巴的首席数据官。“这个职位的大部分人会往研究方向发展,成为重要数据战略人才。”颜莉萍说。另一方面,大数据工程师对商业和产品的理解,并不亚于业务部门员工,因此也可转向产品部或市场部,乃至上升为公司的高级管理层。
㈡ 中国每年孕产妇数量
经述中国顷此卫生部等有关部门发布的数据显示,2018年中国判裂孕产妇总数约为1700万,其中常住孕产妇1490万掘乎闭。
㈢ 大数据告诉你:亲爱的,你怀孕了
大数据,英文翻译为Big Data,听上去科技感十足的一个词,到底跟我们的生活有什么关系呢?我们不妨先从一个故事开始认识一下它。
在信息化领域,国外很多企业走在时代前列。美国一家零售连锁商塔吉特,很多年前就开始利用销售过程汇总的数据进行分析。有一段时间,塔吉特公司通过他们所有门店里女性的消费记录数据,进行“怀孕预测”。对于零售商来说,发现一个顾客是否怀孕非常重要。因为一旦有了小孩,就意味着一个家庭的消费观念会发生很大变化,如果能预测消费者的怀孕趋势就能及时向她们推送孕期每个阶段对应的优惠券,从而刺激消费。值得注意的是,有一天,一个中年男人怒气冲冲的来到塔吉特的一家零售店,他向商店经理投诉:“我女儿还是高中生,你们却给她邮寄婴儿服和婴儿床的优惠券,你们这样的行为是在鼓励她怀孕吗?”。塔吉特商店的经理几天后打电话向这个男人道歉,这个男人却感到非常抱歉,他跟塔吉特的经理道歉说:“我跟女儿谈过了,她的预产期是8月份,是我自己没有意识到这件事情。”
这就是一个典型的大数据案例, 大数据如此神奇,它可能比你的父母更了解你的小秘密。你喜欢什么款式的衣服,你最爱哪家甜品店,你最喜欢的明星是谁……大数据就像你的影子,对你了如指掌。
提起大数据,人们最先想到的一本书往往是《大数据时代》。
《大数据时代》的作者维克托•迈尔•舍恩伯格被誉为“大数据商业应用第一人”,十几年前就已经洞察到大数据的趋势,一直潜心研究大数据技术,不仅在哈佛大学、牛津大学等著名学府任教,也为微软、IBM等知名企业提供咨询服务,同时还是众多政府高层的智囊团。维克托将自身对大数据技术的研究与商业实践、政府决策相结合,进一步获得对大数据的全球视野。
我们身处一个数据大爆炸的时代,世界的数据以一种超乎想象的速度裂变。哲学上讲:量变引起质变。当数据累积到一定程度,必然引起质变。数据的价值也就由此诞生。维克托在《大数据时代》中强调了大数据给我们带来的三个转变:
更多:不是随机样本,而是全体数据
更杂,不是精确性,而是混杂性
更好,不是因果关系,而是相关关系
大数据的出现对社会科学提出了挑战,社会科学是非常依赖样本分析、研究和调查问卷的学科,而大数据时代,数据成为最容易获得的信息,我们不再受困于数据量的多少,开始利用所有的数据。
有数据证明,采用样本分析法的正确率可达97%。看上去3%的错误率似乎可以接受,但也要就事论事。现在大数据的核心在于预测,为了更精准的预测,自然是越少错误率越高,而当数据量足够大时,当样本=总体时,数据预测的准确性就能大大提高。
大数据以前的时代是,用尽可能少的数据获得尽可能多的信息,当人类进入到大数据时代时,是用尽可能多的数据获得信息。
每次出去旅游,想抢到便宜的机票简直是一场大战。打开购票网站,今天刷一下贵了100,明天刷一下便宜了200,后天再刷又贵了200,每次我都想怎么才能知道机票什么时候最便宜。原来,这个功能已经有公司实现了。有一家预测机票价格的公司叫Farecast,Farecast的预需要海量数据的支持,为了提高预测的准确度,Farecast收集了么过商业航空产业中每一条航线上每一架飞机内每一个座位,在一年内的综合票价记录。如今,Farecast已经有大约2000亿条的飞行数据,最终实现票价预测的准确度高达75%。如果没有海量数据的支持,所谓的票价预测基本约等于0。
Farecast的创始人埃齐奥尼说:“这只是一个暂时性的数据,随着你收集的数据越来越多,你的预测结果会越来越准确。”
海量数据的出现,也意味着大量混杂的、不精确的、甚至错误的数据出现。大数据时代95%的数据都是混乱的,如果还坚持传统“小数据”的精确算法,那将彻底错过大数据的价值。
为什么“小数据”要精确?
因为“小数据时代”或者像上文提到的“样本分析法”中,能收集到的信息量有限,所以必须保证数据尽量精确,才能提高预测的准确度。这是一个概率学问题,简单来说,给你三个苹果,只有一个是好的,那你挑到好苹果的概率是1/3,如果有100个苹果,即使有一半都是坏的,挑到好苹果的概率也有1/2。
胡适曾经讽刺过“差不多先生”,因为差不多先生的口头禅就是:凡事只要差不多就好了,何必太较真呢?“大数据”从某种角度来说也是一位“差不多先生”,要让我们习惯他可能还需要时间。
小朋友很小的时候就要读《十万个为什么》,培养对世界的好奇心,学习的过程就是搞清楚每一个现象背后的原因,这是我们从小到大养成的惯性思维。
大数据时代,这种思维需要变一变了。 数据量的剧增,使得事物与事物之间的联系越来越复杂,通过复杂的相关关系,大数据犹如神探破案,找出蛛丝马迹。现在,只需要知道“是什么”就够了,没必要知道“为什么”。
建立在相关关系分析法基础上的预测是大数据的核心。据统计,亚马逊成交量的三分之一都是来自于相关推荐的购买。当我在亚马逊上购买这本《大数据时代》时,系统还会同时给我推荐另外几本相关的书,比如吴军的《智能时代》,涂子沛的《大数据》等,这些书正好帮我构成了一个“大数据”的主题阅读书单,这样我就很可能把这一系列书全部加入购物车。
随着技术的发展,收集和分析数据的成本越来越低,人们更热衷于收集海量的数据,来预测分析可能出现的问题。比如,大数据可以用来预测汽车故障,这种功能很适合物流、快递行业。大型的物流快递公司会有数量众多的运输车队,一旦车在运输过程中出现故障,造成的延误、再装载损失都很严重。通过传感器检测汽车各种零件的使用情况,能及时预测哪些零件可能在什么时候出现故障,以便提前进行检查维修,这样就能大大减少成本损失。这种预测并不能告诉你,“为什么”会出现故障,而对于快递公司来说,也只需要只知道“是什么”将出现故障就足够了。
大数据时代,我们的生活将发生翻天覆地的变化,就像望远镜能让我们感受浩瀚的宇宙星空,显微镜能让我们观察最小颗粒的微生物。大数据是一种收集和分析海量数据的新技术,能帮助我们更好地认识世界、理解世界。大数据不是冰冷的事实,它其实分散在日常生活的各个角落,从思维模式上先给我们带来一场变革,然后当我们用大数据的思维看世界时,才发现“凡是过去,皆为序曲”。
未来已来,大数据时代裹挟着未来世界的新算法,新技术像潮水一样涌来,只有勇于拥抱变化的人才能急流勇进。 大数据时代,更多的数据,更多不确定性,更复杂的相关关系,提供了“更多,更快,更好”的可能。
㈣ 2022年孕妇难产死亡人数
2022年孕妇难产死兆洞亡人数为1920人。根据查询相关公开信息显示,族闷枯2022难产死亡率10万分之16.1,计算可得孕妇难产罩派死亡人数为1920人。
㈤ 2022年孕妇数量
根据中国统计局的数据,2022年全国孕妇数量约为1.2亿,占总人口的7.5%。
㈥ 2021孕妇生产死亡人数
2021孕妇生产死亡人数16.1/10万。2021年孕产妇死亡率已下降到16.1/10万,婴儿死亡迟正率下降至5.0‰,5岁以下儿童死亡率下降至7.1‰,妇幼健康核心指标已码御悔降至历史最低水拆知平。
㈦ 世界存在的身体有残缺的孕妇有多少
世界存在的身体有残缺的孕妇有悔纳瞎1520万,她们年龄不同,但身体碧空大部分都有残疾。在有茄氏残疾的情况下,他们还坚持生育。
㈧ 2022合肥孕妇生产死亡率多少
2022合肥孕妇生产死亡率10万分之16.1。根据查询相关资料公开信息显示,北京商报讯于2022年5月30日报道,国家卫生健康委召开一切为了人民健康之我们这十年系列主题新闻发布会(第5场),会上,国家卫生健康委妇幼司司长宋莉介绍,2022年我国孕产妇死亡率已下降到10万分之16.1,婴儿死亡扮档山率下降至千分之5.0,5岁以下儿童死亡率下降至千分之7.1,妇幼健康核心指标已降至历厅中史最低水平蠢镇。
㈨ 2022年孕妇多吗
不多。我国2022年全年出生轿模喊人口为1062万人,出生率为7.52‰;死亡人口1014万人,人口死亡码察率为7.18‰;人口自然增长率为0.34‰,尤其是这个闭野出生率是六十年以来最低。大数据表明,出生率越来越低,由此可见,孕妇不多。
㈩ 2022年孕妇和婴儿死亡人数
2022年孕妇人数16.1/10万,婴儿死亡人数5.0%。根据相滚卖关资料信息,国家卫健告简委发布2021年卫生健康事业发展统计公报,公报显示2022年孕妇和婴儿死亡人数都有所下降,孕产妇死亡率从16.9/10万下降到16.1/10万,婴儿死亡率从5.4‰下降到大友逗5.0‰。死亡是生命结束,而且所有的本来维持其存在(存活)的属性的丧失,不可逆转的永久性的终止。