『壹』 数据分析中5大常见问题及对策
1. 无思路:数据杂乱,不知到从何入手
成因:分析的业务目标不明晰,致使数据采集过剩;分析方法与分析的场景不懂得怎样结合,导致无从下手。
对策:首先,学会理解业务背景和团队的业务目标;熟悉各分析方法及应用场景,后面有介绍。
2. 无侧重:分析逻辑不严谨,生搬硬凑乱猜想
成因:没有整体考虑对数据造成波动的可能原因,把关联性指标用作为因果关系指标,成为了“为了分析而分析”。
对策:数据分析应形成闭环,确定分析目标——采集数据——列举可能原因(金字塔/公式化思维,后面介绍)–验证猜想–得出分析结论–后续优化对策。
3. 无规划:分析时,却发现数据缺失,采集难度高
成因:对所上线产品的价值收益不清晰,未提前规划观察指标及进行相关的数据采集需求开发,巧妇也难为无米之炊啊!
对策:明确产品的成功指标,可提前构思分析思路,进而反推所需的数据需求细节。
4. 无记录:数据异常,却不知道做了什么
成因:团队内部信息同步不及时。可能是活动导致的产品数据暴增,或者产品更新导致系统故障数据下跌。
对策:建立团队内部的协作机制,信息及时同步至共享平台。如:运营活动上线前X天,及时同步至产品相关活动规划,并做好备份记录和通知相关部门。
5. 不熟练:对分析工具不熟悉,分析耗时大
成因:分析工具如excel,若不是在学校有专门课程,基本是自学或者报相关课程,工作忙没抽时间单独学习是根本原因。
对策:建议列出自己的薄弱环节,有针对的找相关的课程学习,如果是小白,建议系统地学学,后面会涉及。
关于数据分析中5大常见问题及对策,青藤小编就和您分享到这里了。如果您对大数据工程有浓厚的兴趣,希望这篇文章可以为您提供帮助。如果您还想了解更多关于数据分析师、大数据工程师的技巧及素材等内容,可以点击本站的其他文章进行学习。
以上是小编为大家分享的关于数据分析中5大常见问题及对策的相关内容,更多信息可以关注环球青藤分享更多干货
『贰』 数据分析师常见的面试问题
关于数据分析师常见的面试问题集锦
1、你处理过的最大的数据量?你是如何处理他们的?处理的结果。
2、告诉我二个分析或者计算机科学相关项目?你是如何对其结果进行衡量的?
3、什么是:提升值、关键绩效指标、强壮性、模型按合度、实验设计、2/8原则?
4、什么是:协同过滤、n-grams, map rece、余弦距离?
5、如何让一个网络爬虫速度更快、抽取更好的信息以及更好总结数据从而得到一干净的数据库?
6、如何设计一个解决抄袭的方案?
7、如何检验一个个人支付账户都多个人使用?
8、点击流数据应该是实时处理?为什么?哪部分应该实时处理?
9、你认为哪个更好:是好的数据还是好模型?同时你是如何定义“好”?存在所有情况下通用的模型吗?有你没有知道一些模型的定义并不是那么好?
10、什么是概率合并(aka模糊融合)?使用sql处理还是其它语言方便?对于处理半结构化的数据你会选择使用哪种语言?
11、你是如何处理缺少数据的?你推荐使用什么样的处理技术?
12、你最喜欢的编程语言是什么?为什么?
13、对于你喜欢的统计软件告诉你喜欢的与不喜欢的3个理由。
14、sas, r, python, perl语言的区别是?
15、什么是大数据的诅咒?
16、你参与过数据库与数据模型的设计吗?
17、你是否参与过仪表盘的设计及指标选择?你对于商业智能和报表工具有什么想法?
18、你喜欢td数据库的什么特征?
19、如何你打算发100万的营销活动邮件。你怎么去优化发送?你怎么优化反应率?能把这二个优化份开吗?
20、如果有几个客户查询oracle数据库的效率很低。为什么?你做什么可以提高速度10倍以上,同时可以更好处理大数量输出?
21、如何把非结构化的数据转换成结构化的数据?这是否真的有必要做这样的转换?把数据存成平面文本文件是否比存成关系数据库更好?
22、什么是哈希表碰撞攻击?怎么避免?发生的频率是多少?
23、如何判别maprece过程有好的负载均衡?什么是负载均衡?
24、请举例说明maprece是如何工作的?在什么应用场景下工作的很好?云的安全问题有哪些?
25、(在内存满足的情况下)你认为是100个小的哈希表好还是一个大的哈希表,对于内在或者运行速度来说?对于数据库分析的评价?
26、为什么朴素贝叶斯差?你如何使用朴素贝叶斯来改进爬虫检验算法?
27、你处理过白名单吗?主要的规则?(在欺诈或者爬行检验的情况下)
28、什么是星型模型?什么是查询表?
29、你可以使用excel建立逻辑回归模型吗?如何可以,说明一下建立过程?
30、在sql, perl, c++, python等编程过程上,待为了提升速度优化过相关代码或者算法吗?如何及提升多少?
31、使用5天完成90%的精度的解决方案还是花10天完成100%的精度的解决方案?取决于什么内容?
32、定义:qa(质量保障)、六西格玛、实验设计。好的与坏的实验设计能否举个案例?
33、普通线性回归模型的缺陷是什么?你知道的其它回归模型吗?
34、你认为叶数小于50的决策树是否比大的好?为什么?
35、保险精算是否是统计学的一个分支?如果不是,为何如何?
36、给出一个不符合高斯分布与不符合对数正态分布的数据案例。给出一个分布非常混乱的数案例。
37、为什么说均方误差不是一个衡量模型的好指标?你建议用哪个指标替代?
38、你如何证明你带来的算法改进是真的有效的与不做任何改变相比?你对a/b测试熟吗?
39、什么是敏感性分析?拥有更低的敏感性(也就是说更好的强壮性)和低的预测能力还是正好相反好?你如何使用交叉验证?你对于在数据集中插入噪声数据从而来检验模型的.敏感性的想法如何看?
40、对于一下逻辑回归、决策树、神经网络。在过去XX年中这些技术做了哪些大的改进?
41、除了主成分分析外你还使用其它数据降维技术吗?你怎么想逐步回归?你熟悉的逐步回归技术有哪些?什么时候完整的数据要比降维的数据或者样本好?
42、你如何建议一个非参数置信区间?
43、你熟悉极值理论、蒙特卡罗逻辑或者其它数理统计方法以正确的评估一个稀疏事件的发生概率?
44、什么是归因分析?如何识别归因与相关系数?举例。
45、如何定义与衡量一个指标的预测能力?
46、如何为欺诈检验得分技术发现最好的规则集?你如何处理规则冗余、规则发现和二者的本质问题?一个规则集的近似解决方案是否可行?如何寻找一个可行的近似方案?你如何决定这个解决方案足够好从而可以停止寻找另一个更好的?
47、如何创建一个关键字分类?
48、什么是僵尸网络?如何进行检测?
49、你有使用过api接口的经验吗?什么样的api?是谷歌还是亚马逊还是软件即时服务?
50、什么时候自己编号代码比使用数据科学者开发好的软件包更好?
51、可视化使用什么工具?在作图方面,你如何评价tableau?r?sas?在一个图中有效展现五个维度?
52、什么是概念验证?
53、你主要与什么样的客户共事:内部、外部、销售部门/财务部门/市场部门/it部门的人?有咨询经验吗?与供应商打过交道,包括供应商选择与测试。
54、你熟悉软件生命周期吗?及it项目的生命周期,从收入需求到项目维护?
55、什么是cron任务?
56、你是一个独身的编码人员?还是一个开发人员?或者是一个设计人员?
57、是假阳性好还是假阴性好?
58、你熟悉价格优化、价格弹性、存货管理、竞争智能吗?分别给案例。
59、zillow’s算法是如何工作的?
60、如何检验为了不好的目的还进行的虚假评论或者虚假的fb帐户?
61、你如何创建一个新的匿名数字帐户?
62、你有没有想过自己创业?是什么样的想法?
63、你认为帐号与密码输入的登录框会消失吗?它将会被什么替代?
64、你用过时间序列模型吗?时滞的相关性?相关图?光谱分析?信号处理与过滤技术?在什么样的场景下?
65、哪位数据科学有你最佩服?从哪开始?
66、你是怎么开始对数据科学感兴趣的?
67、什么是效率曲线?他们的缺陷是什么,你如何克服这些缺陷?
68、什么是推荐引擎?它是如何工作的?
69、什么是精密测试?如何及什么时候模拟可以帮忙我们不使用精密测试?
70、你认为怎么才能成为一个好的数据科学家?
71、你认为数据科学家是一个艺术家还是科学家?
72、什么是一个好的、快速的聚类算法的的计算复杂度?什么好的聚类算法?你怎么决定一个聚类的聚数?
73、给出一些在数据科学中“最佳实践的案例”。
74、什么让一个图形使人产生误解、很难去读懂或者解释?一个有用的图形的特征?
75、你知道使用在统计或者计算科学中的“经验法则”吗?或者在商业分析中。
76、你觉得下一个20年最好的5个预测方法是?
77、你怎么马上就知道在一篇文章中(比如报纸)发表的统计数字是错误,或者是用作支撑作者的论点,而不是仅仅在罗列某个事物的信息?例如,对于每月官方定期在媒体公开发布的失业统计数据,你有什么感想?怎样可以让这些数据更加准确?
;『叁』 你通过数据分析,解决了哪些有趣的问题
比如这个问题全球人口每日会消耗多少食物?
为了得出所需要的答案,第一步就需要找数据,为了得到你分析报告所需的数据,你清洗的经验也是非常重要的。接着你肯定会想怎样让最终结果更加合理,有解释性。这时候你需要做一系列的探索工作,一天的食物量受哪些因素影响?一天吃几顿?全球哪些国家食物消耗量大?最大是多少?所消耗的食物种类是哪些?第三步,你分析完了需要呈现报告讲故事,你报告中的图表也是起到非常重要的效果,你的图表的交互、地图、二维或者多维。
这个分析的过程应该是有趣的,你因为一个问题而通过数据分析去表达论述事实,既看到事实的原貌、又有全局感,最后你还能发现问题并解决。
『肆』 数据分析能够解决哪些日常问题
如下:
1、可以解决成本与利润的问题,提高效率。
2、可以解决合理与公平的问题,数据说话。
3、可以解决目标与奖金的问题,合理安排。
目的:
数据分析的目的是把隐藏在一大批看来杂乱无章的数据中的信息集中和提炼出来,从而找出所研究对象的内在规律。在实际应用中,数据分析可帮助人们做出判断,以便采取适当行动。数据分析是有组织有目的地收集数据、分析数据,使之成为信息的过程。这一过程是质量管理体系的支持过程。
在产品的整个寿命周期,包括从市场调研到售后服务和最终处置的各个过程都需要适当运用数据分析过程,以提升有效性。例如设计人员在开始一个新的设计以前,要通过广泛的设计调查,分析所得数据以判定设计方向,因此数据分析在工业设计中具有极其重要的地位。
『伍』 大数据可以解决的问题有哪些
大数据具体可以分为数据采集、数据分析和数据展现等几个部分,由于大数据采用的是非结构化的数据,与传统的数据分析相比价值密度、数据量大,通俗来说就是传统的数据分析相当于顺藤摸瓜,大数据分让禅析相当于画地为牢。
可以举几个大数据的实际应用场景,比如商业营销,商家通过统一的数据标准在平台采集客户信息,分析客户偏好,有针对性的制定营销策略,这个模式目前在每个行业营销领域都很常见,再比如人工智能、物联网方面,这两个方面都是本身数据就是非结构化的,利用传统的数据分析方式无法有效处理,只能通过大数据的手段进行分析。
总之,大数据解决的问题不是哪一个领域而是每一个领域,不是某一时刻影响我们的生活而是每一刻都在影响我们生活。大数据仍然需要统一的数据标准作为支撑,具体解决的问题以及落地场景,还在不断的完善,随着技术以及时间的推移,大配消数据应用越来越广泛,解决的问题也是越来越多,可能后续的问题就是大数据还有哪坦卖尘些不能解决的问题。
『陆』 数据分析师面试常见问题有哪些
1、如何理解过拟合?
过拟合和欠拟合一样,都是数据挖掘的基本概念。过拟合指的就是数据训练得太好,在实际的测试环境中可能会产生错误,所以适当的剪枝对数据挖掘算法来说也是很重要的。
欠拟合则是指机器学习得不充分,数据样本太少,不足以让机器形成自我认知。
2、为什么说朴素贝叶斯是“朴素”的?
朴素贝叶斯是一种简单但极为强大的预测建模算法。之所以称为朴素贝叶斯,是因为它假设每个输入变量是独立的。这是一个强硬的假设,实际情况并不一定,但是这项技术对于绝大部分的复杂问题仍然非常有效。
3、SVM 最重要的思想是什么?
SVM 计算的过程就是帮我们找到超平面的过程,它有个核心的概念叫:分类间隔。SVM 的目标就是找出所有分类间隔中最大的那个值对应的超平面。在数学上,这是一个凸优化问题。同样我们根据数据是否线性可分,把 SVM 分成硬间隔 SVM、软间隔 SVM 和非线性 SVM。
4、K-Means 和 KNN 算法的区别是什么?
首先,这两个算法解决的是数据挖掘中的两类问题。K-Means 是聚类算法,KNN 是分类算法。其次,这两个算法分别是两种不同的学习方式。K-Means 是非监督学习,也就是不需要事先给出分类标签,而 KNN 是有监督学习,需要我们给出训练数据的分类标识。最后,K 值的含义不同。K-Means 中的 K 值代表 K 类。KNN 中的 K 值代表 K 个最接近的邻居。