A. 数据挖掘学习心得体会
正如柏拉图所说:需要是发明之母。随着信息时代的步伐不断迈进,大量数据日积月累。我们迫切需要一种工具来满足从数据中发现知识的需求!而数据挖掘便应运而生了。正如书中所说:数据挖掘已经并且将继续在我们从数据时代大步跨入信息时代的历程中做出贡献。
数据挖掘应当更正确的命名为“从数据中挖掘知识”,不过后者显得过长了些。
数据挖掘——从大量数据中挖掘有趣模式和知识的过程。作为作为知识发现过程,他通常包括数据处理、数据集成、数据变换、模式发现、模式评估和知识表示六个步骤。
数据挖掘处理数据之多,挖掘模式之有趣,使用技术之大量,应用范围之广泛都将会是前所未有的;而数据挖掘任务之重也一直并存。这些问题将继续激励数据挖掘的进一步研究与改进。
关于数据挖掘的相关学习,推荐CDA数据师的相关课程,课程内容兼顾培养解决数据挖掘流程问题的横向能力以及解决数据挖掘算法问题的纵向能力。要求学生具备从数据治理根源出发的思维,通过数字化工作方法来探查业务问题,通过近因分析、宏观根因分析等手段,再选择业务流程优化工具还是算法工具,而非“遇到问题调算法包”点击预约免费试听课。
B. 如何学习数据挖掘
学习一门技术要和行业靠拢,没有行业背景的技术如空中楼阁。技术尤其是计算机领域的技术发展是宽泛且快速更替的(十年前做网页设计都能成立公司),一般人没有这个精力和时间全方位的掌握所有技术细节。但是技术在结合行业之后就能够独当一面了,一方面有利于抓住用户痛点和刚性需求,另一方面能够累计行业经验,使用互联网思维跨界让你更容易取得成功。不要在学习技术时想要面面俱到,这样会失去你的核心竞争力。
想要学习数据挖掘,推荐咨询CDA数据分析师的课程。CDA课程以项目调动学员数据挖掘实用能力的场景式教学为主,在讲师设计的业务场景下由讲师不断提出业务问题,再由学员循序渐进思考并操作解决问题的过程中,帮助学员掌握真正过硬的解决业务问题的数据挖掘能力。这种教学方式能够引发学员的独立思考及主观能动性,学员掌握的技能知识可以快速转化为自身能够灵活应用的技能,在面对不同场景时能够自由发挥。点击预约免费试听课。
C. 如何系统地学习数据挖掘
磨刀不误砍柴工。在学习数据挖掘之前应该明白几点:
数据挖掘目前在中国的尚未流行开,犹如屠龙之技。
数据初期的准备通常占整个数据挖掘项目工作量的70%左右。
数据挖掘本身融合了统计学、数据库和机器学习等学科,并不是新的技术。
数据挖掘技术更适合业务人员学习(相比技术人员学习业务来的更高效)
数据挖掘适用于传统的BI(报表、OLAP等)无法支持的领域。
数据挖掘项目通常需要重复一些毫无技术含量的工作。
如果你阅读了以上内容觉得可以接受,那么继续往下看。
学习一门技术要和行业靠拢,没有行业背景的技术如空中楼阁。技
术尤其是计算机领域的技术发展是宽泛且快速更替的(十年前做网页设计都能成立公司),一般人没有这个精力和时间全方位的掌握所有技术细节。但是技术在结合
行业之后就能够独当一面了,一方面有利于抓住用户痛点和刚性需求,另一方面能够累计行业经验,使用互联网思维跨界让你更容易取得成功。不要在学习技术时想
要面面俱到,这样会失去你的核心竞争力。
一、目前国内的数据挖掘人员工作领域大致可分为三类。
1)数据分析师:在拥有行业数据的电商、金融、电信、咨询等行业里做业务咨询,商务智能,出分析报告。
2)数据挖掘工程师:在多媒体、电商、搜索、社交等大数据相关行业里做机器学习算法实现和分析。
3)科学研究方向:在高校、科研单位、企业研究院等高大上科研机构研究新算法效率改进及未来应用。
二、说说各工作领域需要掌握的技能。
(1).数据分析师
需要有深厚的数理统计基础,但是对程序开发能力不做要求。
需要熟练使用主流的数据挖掘(或统计分析)工具如Business Analytics and Business Intelligence Software(SAS)、SPSS、EXCEL等。
需要对与所在行业有关的一切核心数据有深入的理解,以及一定的数据敏感性培养。
经
典图书推荐:《概率论与数理统计》、《统计学》推荐David
Freedman版、《业务建模与数据挖掘》、《数据挖掘导论》、《SAS编程与数据挖掘商业案例》、《Clementine数据挖掘方法及应用
》、《Excel 2007 VBA参考大全》、《IBM SPSS Statistics 19 Statistical Proceres
Companion》等。
(2).数据挖掘工程师
需要理解主流机器学习算法的原理和应用。
需要熟悉至少一门编程语言如(Python、C、C++、Java、Delphi等)。
需要理解数据库原理,能够熟练操作至少一种数据库(Mysql、SQL、DB2、Oracle等),能够明白MapRece的原理操作以及熟练使用Hadoop系列工具更好。
经典图书推荐:《数据挖掘概念与技术》、《机器学习实战》、《人工智能及其应用》、《数据库系统概论》、《算法导论》、《Web数据挖掘》、《 Python标准库》、《thinking in Java》、《Thinking in C++》、《数据结构》等。
(3).科学研究方向
需要深入学习数据挖掘的理论基础,包括关联规则挖掘 (Apriori和FPTree)、分类算法(C4.5、KNN、Logistic Regression、SVM等) 、聚类算法 (Kmeans、Spectral Clustering)。目标可以先吃透数据挖掘10大算法各自的使用情况和优缺点。
相对SAS、SPSS来说R语言更适合科研人员The R Project for Statistical Computing,因为R软件是完全免费的,而且开放的社区环境提供多种附加工具包支持,更适合进行统计计算分析研究。虽然目前在国内流行度不高,但是强烈推荐。
可以尝试改进一些主流算法使其更加快速高效,例如实现Hadoop平台下的SVM云算法调用平台--web 工程调用hadoop集群。
需要广而深的阅读世界著名会议论文跟踪热点技术。如KDD,ICML,IJCAI,Association for the Advancement of Artificial Intelligence,ICDM 等等;还有数据挖掘相关领域期刊:ACM Transactions on Knowledge Discovery from Data,IEEE Transactions on Knowledge and Data Engineering,Journal of Machine Learning Research Homepage,IEEE Xplore: Pattern Analysis and Machine Intelligence, IEEE Transactions on等。
可以尝试参加数据挖掘比赛培养全方面解决实际问题的能力。如Sig KDD ,Kaggle: Go from Big Data to Big Analytics等。
可以尝试为一些开源项目贡献自己的代码,比如Apache Mahout: Scalable machine learning and data mining ,myrrix等(具体可以在SourceForge或GitHub.上发现更多好玩的项目)。
经
典图书推荐:《机器学习》
《模式分类》《统计学习理论的本质》《统计学习方法》《数据挖掘实用机器学习技术》《R语言实践》,英文素质是科研人才必备的《Machine
Learning: A Probabilistic Perspective》《Scaling up Machine Learning :
Parallel and Distributed Approaches》《Data Mining Using SAS Enterprise
Miner : A Case Study Approach》《Python for Data Analysis》等。
三、以下是通信行业数据挖掘工程师的工作感受。
真
正从数据挖掘项目实践的角度讲,沟通能力对挖掘的兴趣爱好是最重要的,有了爱好才可以愿意钻研,有了不错的沟通能力,才可以正确理解业务问题,才能正确把
业务问题转化成挖掘问题,才可以在相关不同专业人才之间清楚表达你的意图和想法,取得他们的理解和支持。所以我认为沟通能力和兴趣爱好是个人的数据挖掘的
核心竞争力,是很难学到的;而其他的相关专业知识谁都可以学,算不上个人发展的核心竞争力。
说到这里可能很多数据仓库专家、程序员、统计
师等等都要扔砖头了,对不起,我没有别的意思,你们的专业对于数据挖掘都很重要,大家本来就是一个整体的,但是作为单独一个个体的人来说,精力有限,时间
有限,不可能这些领域都能掌握,在这种情况下,选择最重要的核心,我想应该是数据挖掘技能和相关业务能力吧(从另外的一个极端的例子,我们可以看,
比如一个迷你型的挖掘项目,一个懂得市场营销和数据挖掘技能的人应该可以胜任。这其中他虽然不懂数据仓库,但是简单的Excel就足以胜任高打6万个样本
的数据处理;他虽然不懂专业的展示展现技能,但是只要他自己看的懂就行了,这就无需什么展示展现;前面说过,统计技能是应该掌握的,这对一个人的迷你项目
很重要;他虽然不懂编程,但是专业挖掘工具和挖掘技能足够让他操练的;这样在迷你项目中,一个懂得挖掘技能和市场营销业务能力的人就可以圆满完成了,甚至
在一个数据源中根据业务需求可以无穷无尽的挖掘不同的项目思路,试问就是这个迷你项目,单纯的一个数据仓库专家、单纯的一个程序员、单纯的一个展示展现技
师、甚至单纯的一个挖掘技术专家,都是无法胜任的)。这从另一个方面也说明了为什么沟通能力的重要,这些个完全不同的专业领域,想要有效有机地整合在一起
进行数据挖掘项目实践,你说没有好的沟通能力行吗?
数据挖掘能力只能在项目实践的熔炉中提升、升华,所以跟着项目学挖掘是最有效的捷径。
国外学习挖掘的人都是一开始跟着老板做项目,刚开始不懂不要紧,越不懂越知道应该学什么,才能学得越快越有效果。我不知道国内的数据挖掘学生是怎样学的,
但是从网上的一些论坛看,很多都是纸上谈兵,这样很浪费时间,很没有效率。
另外现在国内关于数据挖掘的概念都很混乱,很多BI只是局限在
报表的展示和简单的统计分析,却也号称是数据挖掘;另一方面,国内真正规模化实施数据挖掘的行业是屈指可数(银行、保险公司、移动通讯),其他行业的应用
就只能算是小规模的,比如很多大学都有些相关的挖掘课题、挖掘项目,但都比较分散,而且都是处于摸索阶段,但是我相信数据挖掘在中国一定是好的前景,因为
这是历史发展的必然。
讲到移动方面的实践案例,如果你是来自移动的话,你一定知道国内有家叫华院分析的公司(申明,我跟这家公司没有任何
关系,我只是站在数据挖掘者的角度分析过中国大多数的号称数据挖掘服务公司,觉得华院还不错,比很多徒有虚名的大公司来得更实际),他们的业务现在已经覆
盖了绝大多数中国省级移动公司的分析挖掘项目,你上网搜索一下应该可以找到一些详细的资料吧。我对华院分析印象最深的一点就是2002年这个公司白手起
家,自己不懂不要紧,一边自学一边开始拓展客户,到现在在中国的移动通讯市场全面开花,的确佩服佩服呀。他们最开始都是用EXCEL处理数据,用肉眼比较
选择比较不同的模型,你可以想象这其中的艰难吧。
至于移动通讯的具体的数据挖掘的应用,那太多了,比如不同话费套餐的制订、客户流失模
型、不同服务交叉销售模型、不同客户对优惠的弹性分析、客户群体细分模型、不同客户生命周期模型、渠道选择模型、恶意欺诈预警模型,太多了,记住,从客户
的需求出发,从实践中的问题出发,移动中可以发现太多的挖掘项目。最后告诉你一个秘密,当你数据挖掘能力提升到一定程度时,你会发现无论什么行业,其实数
据挖掘的应用有大部分是重合的相似的,这样你会觉得更轻松。
四、成为一名数据科学家需要掌握的技能图。(原文:Data Science: How do I become a data scientist?)
D. 该如何学习数据挖掘
技能一:理解数据库。
还以为要与文本数据打交道吗?答案是:NO!进入了这个领域,你会发现几乎一切都是用数据库来存储数据,如MySQL,Postgres,CouchDB,MongoDB,Cassandra等。理解数据库并且能熟练使用它,将是一个基础能力。
技能二:掌握数据整理、可视化和报表制作。
数据整理,是将原始数据转换成方便实用的格式,实用工具有DataWrangler和R。数据可视化,是创建和研究数据的视觉表现,实用工具有ggvis,D3,vega。数据报表是将数据分析和结果制作成报告。也是数据分析师的一个后续工作。这项技能是做数据分析师的主要技能。可以借助新型软件帮助自己迅速学会分析。如大数据魔镜可视化分析软件(“魔镜”)既可以满足企业需求,也可以适应个人需要,是进行数据分析的一个新型而精准的产品。
技能三:懂设计
说到能制作报表成果,就不得不说说图表的设计。在运用图表表达数据分析师的观点时,懂不懂设计直接影响到图形的选择、版式的设计、颜色的搭配等,只有掌握设计原则才能让结果一目了然。否则图表杂乱无章,数据分析内容不能良好地呈现出来,分析结果就不能有效地传达。
技能四:几项专业技能
统计学技能——统计学是数据分析的基础,掌握统计学的基本知识是数据分析师的基本功。从数据采集、抽样到具体分析时的验证探索和预测都要用到统计学。
社会学技能——从社会化角度看,人有社会性,收群体心理的影响。数据分析师没有社会学基本技能,很难对市场现象做出合理解释。
另外,最好还能懂得财务管理知识和心理学概况。这些都将会使你做数据分析的过程更容易。
技能五:提升个人能力。
有了产品可以将数据展示出来,还需要具备基本的分析师能力。首先,要了解模型背后的逻辑,不能单纯地在模型中看,而要放到整个项目的上下文中去看。要理解数据的信息,形成一个整体系统,这样才能够做好细节。另外,与数据打交道,细心和耐心也是必不可少的。
技能六:随时贴近数据文化
拥有了数据分析的基本能力,还怕不够专业?不如让自己的生活中充满数据分析的气氛吧!试着多去数据分析的论坛看看,多浏览大数据知识的网站,让自己无时无刻不在进步,还怕不能学会数据分析吗?
拥有这些技能,再去做数据分析,数据将在你手里变得更亲切,做数据分析也会更简单更便捷,速成数据分析师不再遥远。
大数据魔镜知识社区,你可以关注下,shi.moojnn.com
E. 如何学好数据挖掘
很多人都开始关注数据分析,这是因为数据分析行业十分有前景。而学习数据分析需要学习数据挖掘,其中学习数据挖掘需要掌握很多的知识。我们在这篇文章中给大家介绍一下数据分析以及数据挖掘需要学习的知识,希望能够给大家带来帮助。
需要告诉大家的是,我们学习有关数据的知识的时候,一定离不开统计知识的学习,当然Excel、SPSS、R等是需要掌握的基本技能。如果我们做数据挖掘的话,就要重视数学知识,数据挖掘要从海量数据中发现规律,这就需要一定的数学知识,最基本的比如线性代数、高等代数、凸优化、概率论等。这些都是学习数据挖掘的基本功。
而数据挖掘中的朴素贝叶斯算法需要概率方面的知识,SKM算法需要高等代数或者区间论方面的知识。当然,我们可以直接套模型,R、Python这些工具有现成的算法包,可以直接套用。但如果我们想深入学习这些算法,最好去学习一些数学知识,也会让我们以后的路走得更顺畅。我们经常会用到的语言包括Python、Java、C或者C++,我自己用Python或者Java比较多。有时用MapRece写程序,再用Hadoop或者Hyp来处理数据,如果用Python的话会和Spark相结合。
可以挖掘的数据类型有很多,具体就是关系数据库、数据仓库、事务数据库、空间数据库、时间序列数据库、文本数据库和多媒体数据库。关系数据库就是表的集合,每个表都赋予一个唯一的名字。每个表包含一组属性列或字段,并通常存放大量元组,比如记录或行。关系中的每个元组代表一个被唯一关键字标识的对象,并被一组属性值描述。
那么什么是数据仓库呢?数据仓库就是通过数据清理、数据变换、数据集成、数据装入和定期数据刷新构造。数据挖掘的工作内容是什么呢?数据分析更偏向统计分析,出图,作报告比较多,做一些展示。数据挖掘更偏向于建模型。比如,我们做一个电商的数据分析。万达电商的数据非常大,具体要做什么需要项目组自己来定。电商数据能给我们的业务什么样的推进,我们从这一点入手去思考。我们从中挑出一部分进行用户分群。
关于数据挖掘需要学习的知识我们就给大家介绍到这里了,相信大家看了这篇文章以后对数据挖掘有了一个新的看法。其实数据挖掘的学习并非一日两日就能够完成,只有我们坚持学习,我们才能够有所收获。