❶ 攻克大数据 数据科学家的八种技能
攻克大数据:数据科学家的八种技能
随着大数据渗透进各行各业,负责淘洗数据、从中精炼价值的数据科学家无疑是这几年最炙手可热的职位,《哈佛商业评论》将之誉为21 世纪最性感工作。
1,因为优异的数据科学家就像独角兽一样珍贵难寻,而且可不是只有科技公司在抢人,传统金融界、零售商、广告、教育,几乎所有产业都需要数据科学家从大量数据中萃取精华。根据去年七月 Indeed.com 的调查,美国数据科学家每年均薪 12.3 万美金。
2,比起整体均薪多出 113%——当然,还是比每年平均可以领 74 万美金的 CEO 还少,但也够让 99.99% 的上班族望尘莫及。
能领这么惊人的薪资,数据科学家的本领真的不是三言两语就能讲完。但是到底什么是数据科学家?
顶尖的数据科学家最好统计、数学、程式能力最好都要掌握,而且要能从中洞察意义,并且拥有非凡的直觉,用数据数据发声,帮助公司制定重大决策。但是,其实就算同样都是寻找「数据科学家」,Google 跟沃尔玛超市要的人才,可能非常不一样。别因你好像缺了哪个专长而打退堂鼓,如果仔细阅读每家公司张贴的职缺叙述,你会发现说不定现有的技能就能进入数据科学的殿堂。Airbnb 数据科学家 Dave Holtz 把市场上所需的数据科学家概括成以下四类:
四种数据科学家
菜鸟数据科学家说穿了就是数据分析师
有些公司需要的数据科学家,说白话就是数据分析师(data analyst),而数据分析师就是菜鸟数据科学家。你的工作包括从 MySQL 萃取数据或是一名 Excel 专家,也许要能绘制基础的数据视觉图表、分析 A/B 测试的结果或者管理公司的 Google Analytics 帐号。这种公司对抱负远大的数据科学家来说,是很不错的练功场所,当你变成老手了,也能开始尝试新事物,扩充技能组合。
来清理我们乱糟糟的数据!
公司发展到了一定规模之後,累积一堆尚未理清的数据,而且持续大幅增加,因此他们会需要一个能够建立数据基本设施(data infrastrucure)的人,以让他们在这个基础上继续成长。由於你是第一个或第一批获聘的数据相关人员,工作通常不会太难,不求统计学家或机器学习专家才能胜任。在这种公司里面,带有软体工程背景的数据科学家就很吃香了,重点任务是提供数据到 proction code,关於数据的洞见与分析倒是其次。就像前面说的,你是这家公司的第一个数据探勘者,通常你不会获得太多上层的支援,虽然反而更有机会大放异彩,不过因为比较缺乏真正的挑战,也有可能面临停滞不前的窘境。
我们就是数据,数据就是我们
也有很多公司,主要的产品就是数据(或数据分析平台)。如果你想进入这种公司,那你势必要具备很高深的数据分析或机器学习功力。完美的人选应该是有正规的数学、统计、物理背景,而且有意继续朝学术面钻研。这些数据科学家的主要职责在於研发出色的数据产品,而非解答公司的营运问题。拥有大量消费者数据也以此作为主要营利来源的公司、或者提供基於数据的服务的公司,都归属此类。
产品并非数据、却以数据驱动产品的公司
很多公司都属这种类型。你可能会加入一组已经建立的数据科学家团队,这家公司很重视数据,但称不上一家数据公司。你既要能够进行数据分析、接触 proction code、也能将数据视觉化。一般来说,这种公司要的人才要不是通才,就是他们团队缺乏的某种特殊专才,比如数据视觉化或机器学习。想要通过这类公司的考验,端看你对「大数据(比如 Hive 或 Pig)」工具的熟稔程度,以及过往处理杂乱无章数据的经验。
现在,你了解“数据科学家”的定义很浮动,即使公司开缺都以数据科学家为名,但是他们要找的人其实不太一样,不一样的技能组合、不一样专长、不一样的经验层级,却都能够称之数据科学家,因此找工作时,务必详读职位描述,搞清楚你会进入什么样的团队、发展什么样的技能。
基本工具
无论哪一类公司,统计程式语言如 R 或 Python,以及数据库查询工具像 SQL 大概都是数据科学家必备的常识。
基础统计学
对统计起码要有基本认识,才称得上及格的数据科学家,一名拥有许多面试经验的人资说,很多他曾面试的人连 p-value 的定义都讲得不清不楚。你应该熟悉统计测试、分布、最大似然法则(maximum likelihood estimators)等等。机器学习也很重要,但更关键的能力,是你能否判断不同状况该用什么不同的技术。统计学适用於所有类型的公司,但对那些主要产品并非数据、却大幅依赖数据的公司来说尤为必备能力,老板需要的是你能不能利用数据帮助他们进行决策,以及设计、评估实验与结果。
机器学习
假如你是在握有大量数据的大型企业,或是产品本身就是以数据为卖点的公司工作,机器学习就是你用来吃饭的家伙。虽然 KNN 演算法(k-nearest neighbors)、随机森林(random forest)、集成学习(ensemble methods)这类机器学习的流行术语好像不懂不行,不过因为事实上很多技术都可以用 R、Python 程式库解决,所以即使你不是演算法的世界顶尖专家,并不代表就毫无希望。比较重要的是,能够纵观全局,每种状况出现都能找出最契合的技术。
多变量微积分、线性代数
就算你即将面试的公司并未要求机器学习或统计学知识,基础多变量微积分与线性代数问题十之八九都是逃避不了的必考题,因为数据科学就是由这些技术型塑而成。尽管很多事情可以交给 sklearn 或 R 自动执行,但是未来如果公司想要建立自有的方案,这些基本知识就变得很重要了。如果你置身於「数据就是产品」,或者预测绩效仅因小小进步或演算法优化就能带来惊人效益的公司里面,微积分、线性代数等数学概念都需了解通透。
清理数据
Data Munging 是最容易令人不耐的过程,你面对的是乱七八糟的数据。这些数据包含消失的数值、不一致的字串格式(比如「New York」与「new york」与「ny」)、数据格式(「2015-03-26」、「03/26/2015」,「unix time」、「timestamps」等等),必须劳心费神梳理这些庞杂的数据。虽然这工作吃力不讨好,但只要是数据科学家,大概都避免不了,而如果你是某家小公司的先遣数据科学家,或是在一家产品非与数据相关,但是数据却扮演重要角色的公司里工作,清理数据的任务格外重要。
数据视觉化与沟通
把枯燥繁琐的数据转成图像,以及向外界沟通的技能愈来愈重要,尤其是在年轻的公司制定由数据驱动的决策,或者协助其他组织进行数据决策的公司。「沟通」二字的真谛在於,面对技术人或一般人,你都能准确的传达研究发现,并能让他们轻易理解。至於视觉化,如果可以熟悉 ggplot、d3.js 等软体的运用,会有很大的助益,当然工具只是表象,能否参透数据视觉化的原则,才是最需费心的地方。
软件工程
如果你是公司数据科学团队的草创元老,拥有强悍的软体工程背景十分重要,你会负责处理很多数据登录(data logging),也有可能需要参与开发以数据为本的产品。
像个数据科学家般思考
所谓数据科学家,就是你解决问题的方法奠基於数据数据。在面试过程中,主考官可能会出一些比较艰涩的问题,比如公司想要执行的某个测试,或者计划开发的数据产品。判断事情的轻重缓急、作为数据科学家如何与工程师和产品经理互动、知道该用什么方式解决问题,都是你该培养的能力。
以上是小编为大家分享的关于攻克大数据 数据科学家的八种技能的相关内容,更多信息可以关注环球青藤分享更多干货
❷ 教你如何看懂旅游大数据
教你如何看懂旅游大数据_数据分析师考试
有时候,一句话、一张图片都会蕴含巨大的数字商机,但这是一门需要高度精准性的技术活儿,并非人人都看得懂大数据。
看懂游客行为
大家都在说大数据,携程近期投资专攻大数据研究的众荟信息技术有限公司(下称“众荟”)、阿里系的去啊旅行则与石基信息合作,而东呈酒店、如家酒店等也纷纷推出智能化管理。
每个旅游业者都会有自己的会员和消费数据记录,这些记录就是大数据的基础信息,然而在一堆数字和消费者行为面前究竟该如何分析处理并得出结论呢?
“首先要知道什么是大数据,大数据分为两大类,即结构化数据和非结构化数据,前者就是大家看到的一系列数字,后者则可能是一张图、一句话等并非直接体现为数字的信息。因此真正意义上的大数据分析不仅要做直接的数字分析,还要懂得建立数学模型,将非结构化数据转变为结构化数据并得出结论,这些并不简单。”众荟数据智能事业部总经理焦宇告诉记者。
焦宇给记者举了一个例子,现在很多游客会在OTA(在线旅游代理商)上比价和预订酒店,那么其搜索的关键词和浏览痕迹就会体现在OTA的记录里,如果客人浏览过这家酒店的页面却跳转了,并未下订单,则可以通过这个记录分析该客人不下单的原因,当这个客人通过价格、品牌、区域等关键词排序查找酒店信息后,其留下的浏览记录则可以统计出人们是对于价格敏感还是品牌敏感。
“经过研究,大部分人还是看重价格因素,由于价格的选择是有区间的,这就可以用浏览痕迹得出一个最让游客接受的价格区间数字。只有11%的人在意品牌,说明同类酒店可替代性很强。如果以区域关键词搜索,则代表地理位置数据,若可以精准到具体方位,并将这一信息传达给该区域的酒店,则无疑提高了酒店的入住率还能根据消费者行为适当调整房价,当供大于求时下调房价,反之则提升房价。还有一个颇有意思的研究,即游客浏览记录中若有A酒店的竞争对手酒店,则可以推理这个客人对于A这一类酒店有需求,该客人就是A酒店应该关注的潜在客人。”焦宇指出,要将海量的浏览记录变成有效数据,还得依靠数学模型,模型分为收敛型和发散型,大数据通常要经过收敛型模型将非结构化数据转化成结构化数据并得出结论。
一位连锁酒店经营者告诉记者,这些涵盖了消费者较能接受的价格区间、品牌等信息的大数据可以让酒店对价格、定位和营销等做出策略性调整,以提升入住率,提高酒店整体收益管理。
神奇的语言分析
除了价格、品牌,语言文字也是一种非结构化数据,尤其是如今当客人预订酒店旅游产品时一定会先看一下点评,或者自己体验后也会留言评价,这些语言背后也大有大数据学问。
记者多方采访和观察后了解到,不少客人会对已经入住的酒店进行评估,这些点评中经常会出现对酒店环境、客房设施、餐饮和服务的评价,比如“房间很干净,但是送餐服务比较慢”、“前台的服务差评”、“洗浴感受不错”等。这需要用专业的语义分析进行精准细分化分析并转换成结构化数据反馈给酒店经营者。
在人工智能和计算语言学中,语义分析为知识推理和语言提供了方法,也是未来搜索引擎发展的方向。比如,输入“苹果”通过语义分析,能够知道用户想找的是手机而不是水果。
“首先我们会通过专业的语义分析去除一批虚假点评或无实质内容的点评,而将真正对酒店有实质内容的点评留下,并对于每一句话进行断句和多维度切割。举个简单的例子,比如‘这个酒店很干净,但是送餐服务比较慢’,经过我们的断句和多维度切割分析后可以知道客房清洁度不错,但送餐有问题,那么我们接下来就要把结论进行细化分类并反馈给各部门。这里的问题就是速度,有时还涉及口味或者服务态度等。有时一段话的分析是非常复杂的,其中还有纠错比例。”众荟市场部高级副总裁胡凡表示。
从事酒店业超过15年的李先生告诉记者,比起简单的“好”或“不好”,经过多维度语义分析后得出的结论可以反馈到酒店各个相关部门,并且细化到是哪个细节好,或哪个细节有问题需要改进,那么管理层开例会时就能明确知道接下来的工作方向,而经过改善服务态度、速度甚至装饰风格,其所在的酒店入住率提升了10%,且RevPAR(RevenuePerAvailableRoom,每间可供租出客房产生的平均实际营业收入)有约15%的增加。
据悉,一些科技信息公司对于语义分析的维度已经可以达到1000个。
跨界与图片信息怎么玩
有时候,对于旅游大数据的分析还涉及跨界合作。
“国外是跨领域研究的,结合了多领域,比如地理信息、IT、商学院、社会学等。我举个跟踪游客的例子,现在我们采用跨界合作的多方位社交媒体来跟踪游客行为。社交媒体上有很多游客留下的痕迹,比如flickr,flickr上的图片留下了照片的地理坐标、拍摄时间、评论信息等,这些都是非常可贵的旅游大数据。”长期在澳大利亚研究旅游大数据分析的学者程明明告诉记者,用地理坐标来追踪轨迹则需要懂地理学的专家来帮忙,而商业管理方面的专才则可以分析游客去哪儿、是什么时间去等具有商业价值的数据。
在多方跨界分析研究后,业者可以知道哪些景点受欢迎、哪些是新的景点、游客在几点左右在景点甚至每次停留多久等。掌握这些大数据信息分析结果后,相关的旅游业者可以有效做到分流,不会造成景点承载力过于饱和。同时,对比景点信息和游客属性,可以知道不同国家游客对景点有什么不同需求,比如亚洲人是否更喜欢文化景点,如果是,则当地旅游推广营销时就要更多推出人文景点。
记者在采访中获悉,目前中国不少景区也正在与相关大数据分析公司合作,希望通过分析来预测未来一段时间的客流量,尤其是旺季黄金周的客流量预计,能帮助景区控制进入人数,提高安全性和服务质量。
颇有意思的是,图片也属于大数据。
“比如一些大型旅游预订网站上有大量图片,对于图片,我们需要IT技术人员来帮忙进行机器人训练(machinelearning)帮助我们识别不同的图片。比如究竟是人物还是风景效果好,然后我们再通过数学模型和旅游局、旅行社宣传的图片进行对比,得出游客感兴趣的图片和旅游局、旅行社所宣传的是否一致。如果不一致,那么不一致在什么方面,并需要如何改进。”程明明说道。
据悉,另有一种脑电波测试方式,能测试出人们看到图片时眼球第一秒会注视的地方即最吸引点,以及人们对于被测试图片的喜好或厌恶程度等。业者通过这些分析可以决定是否在销售时更换样图,餐厅或景点的宣传图片究竟是有人好还是空景好,合适的样图能够促进销量。
“当然,要做好旅游大数据研究并不简单,其数学模型比较复杂,比如包含线性回归之类的。其实,大数据研究是一个数据不断整合和多学科交叉的过程,未来还有很多商机可以依靠大数据被挖掘出来。”程明明如是说。
以上是小编为大家分享的关于教你如何看懂旅游大数据的相关内容,更多信息可以关注环球青藤分享更多干货
❸ 大数据与财务管理是什么
“大数据与财务管理,是中国普通高等学校专科专业。
该专业修学年限是三年。专业定义财务管理主要研究如何通过计划、决策、控制、考核、监督等管理活动对资金运动进行管理,学习会计、财务、税务筹划等专业理论知识,掌握基础会计、国家税收、证券投资分析、财务报表分析等内容,例如对企业采取的财务活动和财务成果作出合理的预算、负责监督和控制资金的运动情况、对企业资金进行最有利的调节以实现资金的合理利用。
大数据与财务管理专业主要培养大数据时代的“财经通才”+“财务专才”为目标,以“基础扎实、知识面宽、实践能力强、职业素养高”为宗旨,以“大数据+共享”财务为特色,培养适用于地区经济发展所需要的高素质应用型综合财务人才。注重人文素养、科学精神、诚信品质和社会责任意识培养,使学生掌握现代财务管理理论知识及大数据御瞎冲财务分析等实践技能,具有较强的沟通协调组织能力及分析和解决问题的能力,具备利用商业大数据进行财务分析、成本管控、投资决策等能力,让学生能够在各类工商企业、金融企业、中介机构、政府机构、事业单位及其他相关部门胜任会计核算、财务管理及相关工作的专业理财师、财务总监、财务分析师和财务策划师等。