① APP数据分析的常用指标有哪些
①用户数据监测用户的下载、注册、浏览、点击、退出、付款等行为是进行App数据分析的基础数据来源,需要及时对这些数据进行收集、整理,如果能够借助BI工具,比如DataFocus,对这些数据进行实时展示,监测数据的变动情况就再好不过了。
②广告投放效果分析
有时候公司花了很大的金钱和精力去不同渠道投放广告,但往往收效甚微,没有达到预期的效果。这时候就需要对这些广告的投放效果进行一个总结分析,哪些渠道的新增用户更多、投资回报率更高、注册转化率更高?而哪些渠道的效果较差?通过对这些内容的数据分析,优化配置资源,可以将更多的资源投放到表现较好的渠道中。
③App页面设计分析
设计完成的App一般都会存在一个核心模块,这是开发者最希望用户到达的一个界面。借助对App内用户的行为监测,对用户后续的操作行为进行监测,计算出核心模块到达率,同时可以对App界面设计的合理性进行探究。
④用户粘性分析
通过广告在提升App的知名度后,我们需要做的是留住更多的用户,且最好是活跃用户。通过监测用户的活跃情况、留存率和流失率等指标的进行用户留存分析和粘性分析。流失率的变化可以直观的反应出该APP在朝好的方向发展还是不好的方向发展,可以帮助调整App的内容,迎合用户喜好。
⑤用户画像分析
通过对使用用户的一些基础信息的分类整理,可以对用户进行画像,定位该App的核心用户,并可以针对这些用户进行后续的研发和推广。
② 企业财务分析过程中常见的数据分析指标有哪些
大家都知道,对一个公司的财务数据进行分析可以很好的掌握了解该公司的整体状况。投资如果能够很好的掌握数据分析常用的指标,就能很好的抓住企业的运营发展情况。那么在财务分析的过程中,哪些数据指标较为常见呢?接下来, 公司 为大家讲解。
一般来说,其实对企业财务数据的解析,主要是针对该企业业务运营成功及财务状况的综合总结与评价而作出的详细数据。在这些数据中,主要包含有企业的偿债、运营、获利以及发展等能力了数据。通过这些数据可以很好的得出企业的财务、经营是否健康发展。从而分析出后续的业务前景与潜力。
接下来,我们就争对以下几个常用的数据分析指标给大家做相关解读。
1、变现能力比率指标
这个主要反应的是一个企业公司生产现金的能力,通俗来说也就是赚钱的能力。表明该企业公司能够在短时间内现金流产出及资产流动的多少。如:速动比率与流动比率。
速动比率是流动资金总计与存货的差构成了速动资产总计/流动负债总计。反应的是马上变现用来偿还流动负债的能力。
流动比率是流动资产总计/流动负债总计。反应出企业流动资金在赢得短时间债务的时候,可以变现偿还债务的能力,其比率高低会大不相同。
2、负债比率指标
该比率很好的反应出资产、净资产、债务之间的关系,反应出公司企业尝付到期长期的债务能力。其中包含,如:产权比率、资产负债比率等。
3、获利能力比率指标
这个就更加容易理解了,主要指的是企业通过经营获取收益的能力。该指标对于投资人及债务人都是非常关注的。其中包含有,如:毛利率、净利率、资产净利率、净资产收益率等。
上述指标对于企业财务分析可以说是不仅常见而且还是非常重要的,当然除了这些,还会有其他的相关指标也是一样重要的。指标的不同,其特点也不同,投资者可以结合其他相关财务分析资料进行学习掌握。今天的内容就介绍到这里,希望能够帮助到大家。
③ 你知道互联网业务数据分析常用指标有哪些吗
常用的数据指标包括三方面:用户数据、行为数据、业务数据,串成一句话即是:谁,干了什么,结果如何
可从用户来源、用户存量、用户增量、用户健康度四个常用维度去看
用户来源 :指用户来源的渠道,比如:网络自然搜索、网络关键字投放、搜狗、微信等
用户存量 :指日活DAU(Daily Active User,日活跃用户数量)、月活MAU(Monthly Active User,月活跃用户数量)等用户活跃数据。注:需要说明的是MAU不等于各日的DAU之和,需要对用户去重统计才有意义。
用户增量 :指新增用户,定义新增用户的流程节点和基于维度不同,统计出来的数据不同,在日常工作中,要和团队明确统一定义的标准,降低沟通成本
用户健康度 :可用用户留存率等指标衡量,关于留存率计算一般有三种算法
可从访问次数/频率、访问时长、访问转化、访问跳出四个常用维度去看
访问次数/频率 :可用PV(Page View,页面浏览量)、UV(Unique Visitor,独立访客量)、访问深度来呈现
PV指页面访问次数,UV指访客人数
访问深度 :用来衡量用户对产品的了解程度
访问时长 :可一定程度量化当前页面内容对用户的吸引程度。注:在处理访问时长数据时,需要注意剔除一些非常大的值,避免用户去做其他事情页面没关这种极端情况带来的干扰
访问转化 :指用户访问相关页面后,转化成注册用户、付费用户的比率
访问跳出 :可用弹出率等指标衡量页面对用户的质量,注:弹出率是基于访问次数的
可从业务总量、人均付费、人数、产品健康度四个常用维度去看
总量 :一般会用GMV(Gross Merchandise Volume,成交总额)来度量,
人均付费 :一般用ARPU(Average Revenue Per User,每用户平均收入)/ARPPU(Average Revenue Per Paying User,每付费用户带来的平均收益)
人数 :一般指付费人数
产品健康度 :衡量大多数产品健康度,看其能带来的收益,即可以用付费率、付费频次等指标来衡量
上述具体指标,在实际工作中,要根据产品的具体形态调整。比如业务数据的指标,视频产品一般就会采用观看时长来衡量总量,观看人数来度量人数这个指标
④ 数据统计分析常用指标
数据统计分析常用指标
在进行数据分析时,经常会遇到一些分析指标或术语。这些术语是帮助我们打开思路,通过多个角度对数据进行深度解读,可以说是前人已经总结和使用的数据分析方法。下面是数据统计分析常用的指标或术语:1.平均数一般指算术平均数。算术平均数是指,全部数据累加除以数据个数。它是非常重要的基础性指标。几何平均数:适用于对比率数据的平均,并主要用于计算数据平均增长(变化)率。加权平均数:普通的算术平均数的权重相等,算术平均数是特殊的加权平均数(权重都是1)。例如,某人射击十次,其中二次射中10环,三次射中8环,四次射中7环,一次射中9环,那么他平均射中的环数为:(10×2+9×1+8×3+7×4)÷10=8.12.绝对数与相对数绝对数是反映客观现象总体在一定时间、地点条件下的总规模、总水平的综合性指标,如GDP。此外,也可以表现在一定条件下数量的增减变化。相对数是指两个有联系的指标对比计算得到的数值,他是用以反映客观现象逐渐数量联系程度的综合指标。相对数=比较数值(比数)/基础数值(基数)基数:对比标准的指标数值。比数:是用作与基数对比的指标数值。3.百分比与百分点百分比表示一个数是另一个数的百分之几的数,也叫百分率。百分点是用以表达不同百分数之间的“算术差距”(即差)的单位。用百分数表达其比例关系,用百分点表达其数值差距。1个百分点=1%,表示构成的变动幅度不宜用百分数,而应该用百分点。举例说,0.05和0.2分别是数,而且可分别化为百分数(5%和20%)。于是比较这两个数值有几种方法:①0.2是0.05的四倍,也就是说20%是5%的四倍,即百分之四百(400%)。②0.2比0.05多三倍,也就是说20%比5%多三倍,即百分之三百(300%)。③0.2比0.05多出0.15,也就是说20%比5%多十五个百分点。4.频数与频率频数是指一组数据中个别数据重复出现的次数。频数是绝对数,频率是相对数。5.比例与比率两者都是相对数。比例是指总体中各部分的数值占全部数值的比重,通常反映总体的构成和结构。比率是指不同类别数值的对比,它反映的不是部分与整体之间的关系,而是一个整体中各部分之间的关系。这一指标经常会用在社会经济领域。6.倍数与番数同属于相对数。倍数是一个数除以另一个数所得的商。A÷B=C,A就是C的倍数。(倍数一般是表示数量的增长或上升幅度,而不适用于表示数量的减少或下降。)番数是指原来数量的2的N次方倍。比如翻一番就是原来数的2倍,翻二番就是原来数乘以4,翻三番就是原来数乘以8。7.同比与环比同比是指与历史同时期进行比较得到的数据,该指标主要反映的是事物发展的相对情况。如2012年12月与2011年12月相比。英文翻译同比为year-on-year ratio。环比是指与前一个统计期进行比较得到的数值,该指标主要反映的是事物逐期发展的情况。2010年12月与2010年11月相比。环比英文可翻译为compare with the performance/figure/statistics last month。同比是与上年的同期水平对比,环比是同一年连环的两期对比。8.基线和峰值、极值分析峰值:增长曲线的最高点(顶点),如中国总人口2033年将达峰值15亿,性别比严重失衡。拐点:在数学上指改变曲线向上或向下方向的点。在统计学中指趋势开始改变的地方,出现拐点后的走势将保持基本稳定。9.增量与增速增量是指数值的变化方式和程度。如3增大到5,则3的增量为+2;3减少到1,则3的增量为-2。增速是指数值增长程度的相对指标。
⑤ 电商运营数据分析指标有哪些
1)总体运营指标:从流量、订单、总体销售业绩、整体指标进行把控,起码对运营的电商平台有个大致了解,到底运营的怎么样,是亏是赚。2)网站流量指标:即对访问你网站的访客进行分析,基于这些数据可以对网页进行改进,以及对访客的行为进行分析等等。
3)销售转化指标:分析从下单到支付整个过程的数据,帮助你提升商品转化率。也可以对一些频繁异常的数据展开分析。
4)客户价值指标:这里主要就是分析客户的价值,可以建立RFM价值模型,找出那些有价值的客户,精准营销等等。
5)商品类指标:主要分析商品的种类,那些商品卖得好,库存情况,以及可以建立关联模型,分析那些商品同时销售的几率比较高,而进行捆绑销售。
6)市场营销活动指标,主要监控某次活动给电商网站带来的效果,以及监控广告的投放指标。
7)风控类指标:分析卖家评论,以及投诉情况,发现问题,改正问题。
8)市场竞争指标:主要分析市场份额以及网站排名,进一步进行调整。
⑥ 销售数据分析指标有哪些
1、售罄率
计算公式:售罄率=(一个周期内)销售件数/进货件数
售罄率是指一定时间段某种货品的销售占总进货的比例,是根据一批进货销售多少比例才能收回销售成本和费用的一个考核指标,便于确定货品销售到何种程度可以进行折扣销售清仓处理的一个合理尺度。
2、库存周转率
计算公式:存货周转率=(一个周期内)销售货品成本/存货成本
库存天数=365天÷商品周转率
存货周转率是对流动资产周转率的补充说明,是衡量企业销售能力及存货管理水平的综合性指标。它是销售成本与平均存货的比率。
3、库销比
计算公式:库销比=(一个周期内)本期进货量/期末库存
是一个检测库存量是否合理的指标,如月库销比,年平均库销比等,计算方法:月库销比,月平均库存量/月销售额年平均库销比, 年平均库存量/年销售额,比率高说明库存量过大,销售不畅,过低则可能是生产跟不上。
4、存销比
计算公式:存销比=(一个周期内)库存/周期内日均销量
存销比是指在一个周期内,商品库存与周期内日均销量的比值,是用天数来反映商品即时库存状况的相对数。而更为精确的法则是使用日均库存和日均销售的数据来计算,从而反映当前的库存销售比例。
5、销售增长率
计算公式:销售增长率=(一周期内)销售金额或数量/(上一周期)销售金额或数量-1%
类似:环比增长率=(报告期-基期)/基期×100%
销售增长率是企业本年销售收入增长额同上年销售收入总额之比。本年销售增长额为本年销售收入减去上年销售收入的差额,它是分析企业成长状况和发展能力的基本指标。
6、销售毛利率
计算公式:销售毛利率=实现毛利额/实现销售额*100%
销售毛利率是毛利占销售净值的百分比,通常称为毛利率。销售毛利是销售净额与销售成本的差额,如果销售毛利率很低,表明企业没有足够多的毛利额,补偿期间费用后的盈利水平就不会高;也可能无法弥补期间费用,出现亏损局面。通过本指标可预测企业盈利能力。
7、老顾客贡献率
以销售额为例,计算公式=老顾客贡献的销售额/总体顾客的销售额 x 100%,分子分母也可以换成企业关心的其他指标,比如订单数、利润等。
8、品类支持率
计算公式:品类支持率=某品类销售数或金额÷全品类销售数或金额×100%
反应该品类对整体的贡献程度,越大说明对整体的贡献越大。
9、客单价
计算公式:客单价=总销售金额÷总销售客户数
是指店铺每一个顾客平均购买商品的金额,也即是平均交易金额。
10、坪效
计算公式: 平效 = 销售业绩÷店铺面积。
就是指终端卖场1平米的效率,一般是作为评估卖场实力的一个重要标准。
11、 交叉比率
计算公式: 交叉比率=毛利率×周转率
交叉比率通常以每季为计算周期,交叉比率低的优先淘汰商品。交叉比率数值愈大愈好,因它同时兼顾商品的毛利率及周转率,其数值愈大,表示毛利率高且周转又快。
⑦ 商品数据分析三个常用指标是什么
商品数据分析三个常用指标有:
1、客流量、客单价分析:
主要指本月平均每天人流量、客单价情况,与去年同期对比情况。这组数据在分析门店客流量、客单价时特别要注重门店开始促销活动期间及促销活动前的对比分析,促销活动的开展是否对于提高门店客流量、客单价起到了一定的作用。
(7)常用的数据分析指标主要包括什么扩展阅读
商品间接数据的组合分析方法
1、销售综合分析
销售综合分析的分析指标是销售额、毛利额、毛利率、库销比、售罄率;分析条件是时间段(任意时间段、自然时间段)、经营方式;分析层次是总部,门店,大类,款式,价位带,单品。
2、关联分析(同比/环比分析)
将上一级分析的报表条件传递给同比分析,用同比分析的结构来检验我们对毛利调整策略的结果,看一下数据变化趋势,以便进行下一阶段的商品调整。
3、顾客数与客单价
有效提升销售额的两个途径是:提高实现消费的顾客人数、提高每位顾客购买的金额数。有效顾客(即实现消费的顾客)数高,说明你的商品、价格和服务能吸引、满足消费者的需求,客单价高,说明你的商品宽度能满足消费者的一站式购物心理、商品陈列的相关性和连贯性能不断地激发消费者的购买欲望。
⑧ 数据分析指标有那些
有下面几个指标:
1. 常规数据指标的监测,不在话下。如用户量,新用户量,UGC量(社交产品),销量,付费量,推广期间的各种数据等等。这些是最基础也是最基本,同时也是boss们最关注的指标。你接手这项工作的时候第一任务就是把这些数据梳理好。
2. 渠道分析,或者说流量分析。对于一个在上升期得APP来说,你们会花资源去引流量、去别的渠道拉用户。 这时候就需要监测各个渠道的好坏,哪个效果好,哪个单价便宜,这都是需要渠道数据监测来完成。当然,你还需要跟踪监测不同渠道用户的后续表现,给每个渠道的用户进行打分,让BOSS知道哪个渠道值得投,哪个渠道是垃圾。 同时也可以监测iphone和Android用户的质量区别,一般来说,iphone用户质量要略高于android用户。当然,有多余精力的话还可以监测不同机型之间用户的表现区别。 总之就是在不同的维度上监测不同用户的表现。
3. 用户的核心转化率。想想你的APP的核心功能是什么,然后去监测这个核心功能的转化率。在游戏APP里可能叫付费率,在电商APP里可能叫购买率。不同的行业都有相应的不同转化率,你可以将自己的产品和行业平均进行对比,看看自己的产品在行业中所处的地位。同时,通过长期的监测,你还可以更具这项数据评判APP不同版本的好坏。
4. 用户使用时长的监测。 一方面,这是一个监测用户活跃度的非常好的指标。用户使用时间长就意味这活跃度高,反之亦然。另一方面,想一想你的APP在设计的时候,当初预计一个正常的用户每天会用多少时间,上线后用户真正用的时间是否和你的预计相同? 如果这里面有很大的偏差,就说明用户对APP的认知和你当时设想是有不同的。 这个时候你就需要想想如何来调整你的产品,去迎合用户的认知。(这里说一个题外话,个人认为在对产品做修改的时候一定是想办法去迎合用户,而不是想办法改变用户让用户去适应产品。这里以微博作为例子,用户一直把微博看做是一款传媒产品,一款信息交流工具。而微博一直想把它打造成一个综合社交平台,推出了微博会员,用户推荐,各种私信评论规则等,后台事实证明这一切都没有改变用户对微博的认知,微博所作的一切都是无效的。所以当你苦恼于为什么用户没有按照我的设想去用产品的时候,一定要想着我该怎样变才能迎合用户的需求,而不是去想我该怎样变才能让用户认可产品的设计?)
5. 用户流失情况。 一方面需要监测用户的流失率,比如新用户进来后,第一、三、七、三十天还在使用产品的有多少人。流失率的变化可以直观的反应APP再朝好的方向发展还是不好的方向发展。行业中也有一些平均水平指标,你可以参考这些指标评判自己APP的好坏。另一方面需要找到用户流失的地方,看看用户在哪些地方流失了,然后有的放矢,进行相应的改动。如果有能力的话,建模将用户流失的各种情况都刻画出来,这样在产品的后续改动中就更加游刃有余了。
6. 活跃用户动态。密切关注APP活跃用户的动态,倾听他们的声音。一旦发现异常立马组织人员商讨对策。活跃用户(或者说核心用户)是APP最宝贵的资源,关注他们的一举一动,这个重要性不需要多说了吧.
7. 用户特征描述。这点和指标关系不大,有点建模的意思了。 将用户的各个指标特征进行描述,越详细越好。如性别,年龄,地域,手机型号,网络型号,职业收入,兴趣爱好等等。这些数据平时没什么用,但对于产品人员来说,有时候会给他们很大的灵感。如果可能的话,还可以分以下维度:如活跃用户的特征是什么样的,较沉默的用户的特征是怎样的,流失用户的特征是怎样的。
8. 用户生命周期的监测。这个是专门针对那些社交、游戏类的APP来说的。当你的APP上线一段时间后(6-12个月),你可以回头看看一个正常的用户,完整的体验你的APP的流程是怎样的,大概需要多少时间。根据这个数据再结合一些其它数据可以大致的估算下你的产品能够到怎样的规模,让你的BOSS们知道这款产品最终能发展成什么样。 当然这个很难,产品的发展受到太多因素的影响,光靠你一个数据分析师来预测显然是不那么靠谱的。
⑨ “数据分析”需要哪些“指标”
分析数据需要的指标有:
常规数据指标的监测,不在话下。如用户量,新用户量,UGC量(社交产品),销量,付费量,推广期间的各种数据等等。
渠道分析,或者说流量分析。对于一个在上升期得APP来说,你们会花资源去引流量、去别的渠道拉用户。
用户的核心转化率。
用户使用时长的监测。
用户流失情况。
活跃用户动态。
用户特征描述。
用户生命周期的监测。
⑩ 数据采集与分析的指标有哪些
讲解几个数据分析的常用指标
增长研究社
08-04 · 优质科技领域创作者
评价指标是评判数据表现的衡量标准,它是数据分析中非常重要的部分,也是产品经理必须掌握的重点内容。不同的数分任务采用不同的评价指标,对于同一种任务在不同场景下也会采用不同的评价指标。
例如在检测垃圾邮件这个场景中,这是一个典型的二分类问题,所以可以用精确率和AUC曲线这两个指标判断模型的效果;在人脸识别场景中,使用误识率、拒识率和ROC曲线这三个指标评判模型的效果。
不同指标的着重点不一样,一个指标在不同场景下适用性可能不一样,产品经理需要学习不同指标的特性,在项目中根据实际需要选择不同的评价指标。下文中我们重点讲解一些产品经理常用的评价指标。
01 混淆矩阵
混淆矩阵(Confusion Matrix)是评价模型精度的一种标准格式,用一个N行N列的矩阵形式来表示。矩阵每一列代表预测值,每一行代表实际值。
从混淆矩阵的名字不难看出来,它的作用是表明多个类别之间是否有混淆,也就是模型到底判断对了多少个结果,有多少个结果判断错了。同时混淆矩阵能够帮助我们理解准确率、精确率和召回率的区别。
面对一个二分类问题时,通常我们会将结果表示为正类与负类,两者可以随意指定。在上述区分猫狗图片的例子中,我们假定猫为正类、狗为负类。那么在实际进行预测的时候就会出现四种情况,如下图所示:
混淆矩阵
如果这张图片是猫,机器预测出来的结果也是猫,这种情况称为真正类(True Positive,以下简称TP);
如果这张图片是狗,机器预测出来的结果也是狗,这种情况称为真负类(True Negative,以下简称TN);
如果这张图片是猫,机器预测出来的结果是狗,这种情况称为假负类(False Negative,以下简称FN);
如果这张图片是狗,机器预测的结果是猫,则为假正类(False Positive,以下简称FP)。
02 准确率
准确率(Accuracy)是指预测正确的样本占总样本的比例,即模型找到的真正类与真负类与整体预测样本的比例。用公式表示为:
Accuracy=(TP+TN)/(TP+TN+FP+FN)
准确率的取值范围为[0,1],一般情况下取值越大,代表模型预测能力越好。
假设上述猫狗图片分类的例子中,猫狗图片各有500张。最后模型预测的结果中真正类有318个,真负类有415个,假正类有75个,假负类有182个。根据准确率的定义可以算出来目前模型的准确率为:(318+415)/(1000)=0.73。
准确率是评价模型效果最通用的指标之一,描述模型找到“真”类别的能力。也就是说模型准确识别出猫和狗的概率为0.73。但是在使用的时候有两点需要我们注意。首先是准确率没有针对不同类别进行区分,最后求得的准确率对每个类别而言是平等对待的,这种评价方式在很多场景下是有欠缺的。
在本例中,虽然可以看到模型的整体准确率是73.30%,但是从结果中明显可以看出来,模型对于猫的识别效果远不如对狗的识别效果。如果我们模型的目的是为了把猫的图片挑出来,那么这个准确率就有些虚高。
在实际的病患诊断中,计算机诊断出某患者患有癌症,实际上却未患癌症与计算机诊断出某患者未患有癌症,而实际上却患有癌症这两种情况的重要性不一样,不能一概而论。我们需要明确后续是降低误诊率还是提高确诊率,才能让后续模型优化更有针对性。
另外在正负样本极不平衡的情况下,准确率这个指标存在很大的缺陷。例如在银行的全量客户中,要寻找适合推荐信托产品的超高净值客户是非常难的。因为这部分人群要求存款较多、收入较高,比较稀少,往往只有万分之一的概率。
如果一个预测客户适不适合信托产品的模型用准确率去评判,哪怕模型把全部客户预测成负类,即全部都是不适合的情况,那么这个模型的精度也有 99% 以上。
但这个指标就失去了原有的意义,因为无法找到任何高净值的人群。所以我们一再强调,没有万能的指标,根据场景选择合适的指标非常重要。
03 精确率与召回率
精确率(Precision)和召回率(Recall)是一对好兄弟,虽然是两个不同的评价指标,但它们互相影响,通常一起出现。在很多书上又把精确率称为查准率,把召回率称为查全率。
召回率是针对原始样本而言的指标,它表示原始样本中的正例有多少被预测正确。
原始样本中的正例有两种情况,一种是把原来的正类预测成正类(TP),另一种就是把原来的正类预测为负类(FN),这两种情况组成了原始样本所有的正例。计算公式为:
Recall=TP/(TP+FN)
上述模型中识别猫类图片的召回率为:
318/(318+182)=0.63
从这个角度可以看出来总共500张猫的图片,模型只找对了318张,相比准确率而言,召回率更真实地反应了模型的效果。
而精确率是针对预测结果而言的指标,它表示预测为正类的样本中有多少是对的。预测结果为正例有两种情况,一种就是把正类预测为正类(TP),另一种就是把负类预测为正类(FP)。所以精确率的计算公式为:
Precision=TP/(TP+FP)
即上述模型中识别猫类图片的精确率为:
318/(318+75)=0.81
从这个指标可以看出来模型总共把393张图片预测为猫,其中只有318张图片预测正确。所以模型可能存在欠拟合的情况,将部分狗的照片判断成猫,判断为正类的条件太宽松。下一步优化的时候可以选择适当降低条件以此提高模型效果。如下图所示可以看出精确率与召回率的区别:
精确率与召回率
在理想情况下,我们希望精确率和召回率两者都越高越好。
然而事实上这两者在很多情况下是互相矛盾的。当召回率变高时意味着需要尽可能找到原始样本的正例,因此模型覆盖的数量会变多,模型就更高的几率犯错,将原本不属于该分类的样本也加进来,这就导致精确率下降。
如果我们希望模型尽可能多得找出猫的图片,我们会想办法提高召回率;如果我们希望模型找到的图片少一点但找出来的都是猫的图片,我们会想办法提高精确率。
有两个很典型的场景可以说明这两个指标实际运用的区别,一个是对于地震的预测,我们希望尽可能预测到所有的地震,哪怕这些预测到的地震中只有少数真正发生了地震,在这个时候我们就可以牺牲精确率。
宁愿发出100次警报,但是把10次真实的地震都预测对了,也不希望预测了10次但是只有8次真实的地震被预测出来了,因为只要有1次地震没被发现都会造成巨大的损失。因此这是一个“宁可抓错,不可放过”的场景。
还有一种是垃圾邮件分类的场景,我们希望模型能够尽可能找到所有垃圾邮件,但是我们更不希望把自己正常的邮件被分到垃圾邮件中,哪怕是一封正常的邮件,这会对用户造成很严重的后果。对于少数没有被识别出来的垃圾邮件,其实用户是可以容忍的。
这时候我们宁可少分类成垃圾邮件,但必须确保分的都是对的,这就是一个“宁可放过,不可抓错”的场景。因此在不同的场合中,需要产品经理根据实际情况,自己判断希望是精确率比较高或是召回率比较高。
另外精确率和准确率是比较容易混淆的两个评估指标,两者的核心区别在于:精确率是一个二分类指标,只适用于二分类任务,而准确率能应用于多分类任务。
04 ROC曲线
在逻辑回归的分类模型里,对于正负例的界定,通常会设一个阈值。大于阈值的样本判定为正类,小于阈值的样本为负类。如果我们减小这个阈值,会让更多的样本被识别为正类,从而提高了正类的识别率,但同时也会使得更多的负类被错误识别为正类。
直接调整阈值可以提升或降低模型的精确率和召回率,也就是说使用精确率和召回率这对指标进行评价时会使得模型多了“阈值”这样一个超参数,并且这个超参数会直接影响模型的泛化能力。在数学上正好存在ROC曲线能够帮助我们形象化地展示这个变化过程。
ROC曲线是一个画在二维平面上的曲线,平面的横坐标是假正类率(FalsePositive Rate,简称FPR),计算公式为:
FPR=FP/(FP+TN)
纵坐标是真正类率(True Positive Rate,简称TPR),计算公式为:
TPR=TP/(TP+FN)
对于一个分类器而言,每一个阈值下都会有一个FPR和TPR,这个分类器就可以映射成ROC平面上的一个点。当我们调整这个分类器分类时使用的阈值,就可以得到一个经过(0,0),(1, 1)的曲线,这条曲线就是这个分类器的ROC曲线,如下图所示。
ROC曲线
从图中可以看到,所有算法的ROC曲线都在y=x这条线的上方,因为y=x表示了随机的猜测的概率。所有二分类问题随便猜正确或不正确都是50%的准确率。
一般情况下不存在比随机猜测的准确率更糟糕的算法,因为我们总是可以将错误率转换为正确率。如果一个分类器的准确率是40%,那么将两类的标签互换,准确率就变为了60%。
从图中可以看出来,最理想的分类器是到达(0,1)点的折线,代表模型的准确率达到100%,但是这种情况在现实中是不存在的。如果我们说一个分类器A比分类器B好,实际上我们指的是A的ROC曲线能够完全覆盖B的ROC曲线。如果有交点,只能说明A在某个场合优于B,如下图所示。
分类器A与分类器B的ROC曲线
ROC曲线通常搭配着它对应的比率图一起使用,我们继续用猫狗图片分类的例子说明这两个图怎么看。原本我们猫狗的图片各有500张,如所示图形的X轴代表预测的概率值,Y轴代表观察的数量。
假设我们用一个新的分类器对图片进行分类,分类结果用黑色线代表狗图片的分布,用灰色代表猫图片的分布。模型给出的分值越高代表模型判断这张图片是猫的把握越大,反之模型的给出的分值越低代表模型判断这张图片不是猫的把握越大,也就是说这张图片更有可能是狗。
从下图中可以看出来这个分类器的分类效果还是挺好的,基本上基本把两个物群的分布分开,ROC曲线也非常靠近(0,1)这个点。
某分类器下的ROC曲线
如上图所示,如果将阈值设为0.3,左边划线部分的面积代表模型判断为狗的图片数量有300张左右,并且从图中可以看出来这300张图片全部分类正确。
如果将阈值设为0.5,则左边划线部分的面积代表模型判断为狗的图片有530张左右,从图中重叠部分可以看出来大约有40个分类结果是包含错误分类的,这些错误分类包括实际是狗的图片被分成猫的情况以及实际是猫的图片被分类成狗的情况。
0.3阈值与0.5阈值下的分类结果
这时候我们用另外一个分类器再进行分类,结果如图3-16所示。可以看到整个分类结果向右偏移,同时模型的效果变差,因为两个分类结果重叠的部分变大,无论我们把阈值设在哪里都会比上一个分类器产生更多的错误分类。
假如这时我们采用“宁可抓错,不可放过”的原则把阈值设置为0.8,则右边划线部分只有200个左右不会被分类为狗的图片,其余800个结果全部会被判定为狗的图片,尽管这里面有350个分类结果是错误的结果。
新的分类器下的ROC曲线
从上述例子中看出来,ROC曲线可以帮助我们从图像的角度分辨两个分类结果的分布情况以及选择模型合适的阈值。因此也是很多产品经理比较喜爱的指标之一。
这时很多读者可能会有疑问,既然已经有那么多评价标准,为什么还要使用ROC呢?
原因在于ROC曲线有个很好的特性:当测试集中的正负样本的分布变换的时候,ROC曲线能够保持不变。在实际的数据集中经常会出现样本类不平衡,即正负样本比例差距较大,而且测试数据中的正负样本也可能随着时间变化,使用ROC曲线不管是数据集怎么变换,都有直观的展示效果。
05 AUC值
ROC曲线一定程度上可以反映分类器的分类效果,但始终是以图像的形式,不能告诉我们直接的结果。我们希望有一个指标,这个指标越大代表模型的效果越好,越小代表模型的效果越差。于是引入了AUC值(Area Under Curve)的概念。
AUC是数据分析中最常用的模型评价指标之一,实际上AUC代表的含义就是ROC曲线下的面积,如下图所示,它直观地反映了ROC曲线表达的分类能力。AUC值通常大于0.5小于1,AUC(面积)越大的分类器,性能越好。
AUC值的图形展示
AUC值的定义是:从所有正类样本中随机选取一个样本,再从所有负类样本中随机选取一个样本,然后分类器对这两个随机样本进行预测,把正类样本预测为正类的概率为p1,把负类样本预测为正类的概率为p0,p1>p0的概率就等于AUC值。
即AUC值是指随机给定一个正样本和一个负样本,分类器输出该正样本为正的概率值比分类器输出该负样本为正的那个概率值要大的可能性,AUC值越高代表模型的排序能力越强。理论上,如果模型把所有正样本排在负样本之前,此时AUC的取值为1,代表模型完全分类正确,但这种情况在实际中不可能出现。
总结AUC值的四种取值结果有:
AUC=1时,代表采用这个预测模型,不管设定什么阈值都能得出完美预测,模型能够将所有的正样本都排在负样本前面。但是在现实中不存在完美的分类器。
0.5<AUC<1时,代表模型的效果比随机猜测的准确率高,也就是说模型能够将大部分的正样本排在负样本前面,模型有一定的预测价值。
AUC=0.5时,代表模型的预测效果与随机猜测一样,只有50%的准确率。也就是说模型完全不能区分哪些是正样本哪些是负样本,没有预测价值。
AUC<0.5时,代表模型的预测效果比随机猜测还差;但只要将样本正负例互换,结果就能优于随机猜测。