导航:首页 > 网络数据 > 如何学大数据挖掘

如何学大数据挖掘

发布时间:2023-01-10 13:43:46

① 如何系统地学习数据挖掘

磨刀不误砍柴工。在学习数据挖掘之前应该明白几点:

数据挖掘目前在中国的尚未流行开,犹如屠龙之技。

数据初期的准备通常占整个数据挖掘项目工作量的70%左右。

数据挖掘本身融合了统计学、数据库和机器学习等学科,并不是新的技术。

数据挖掘技术更适合业务人员学习(相比技术人员学习业务来的更高效)

数据挖掘适用于传统的BI(报表、OLAP等)无法支持的领域。

数据挖掘项目通常需要重复一些毫无技术含量的工作。

如果你阅读了以上内容觉得可以接受,那么继续往下看。

学习一门技术要和行业靠拢,没有行业背景的技术如空中楼阁。技
术尤其是计算机领域的技术发展是宽泛且快速更替的(十年前做网页设计都能成立公司),一般人没有这个精力和时间全方位的掌握所有技术细节。但是技术在结合
行业之后就能够独当一面了,一方面有利于抓住用户痛点和刚性需求,另一方面能够累计行业经验,使用互联网思维跨界让你更容易取得成功。不要在学习技术时想
要面面俱到,这样会失去你的核心竞争力。

一、目前国内的数据挖掘人员工作领域大致可分为三类。

1)数据分析师:在拥有行业数据的电商、金融、电信、咨询等行业里做业务咨询,商务智能,出分析报告。

2)数据挖掘工程师:在多媒体、电商、搜索、社交等大数据相关行业里做机器学习算法实现和分析。
3)科学研究方向:在高校、科研单位、企业研究院等高大上科研机构研究新算法效率改进及未来应用。

二、说说各工作领域需要掌握的技能。
(1).数据分析师

需要有深厚的数理统计基础,但是对程序开发能力不做要求。
需要熟练使用主流的数据挖掘(或统计分析)工具如Business Analytics and Business Intelligence Software(SAS)、SPSS、EXCEL等。
需要对与所在行业有关的一切核心数据有深入的理解,以及一定的数据敏感性培养。

典图书推荐:《概率论与数理统计》、《统计学》推荐David
Freedman版、《业务建模与数据挖掘》、《数据挖掘导论》、《SAS编程与数据挖掘商业案例》、《Clementine数据挖掘方法及应用
》、《Excel 2007 VBA参考大全》、《IBM SPSS Statistics 19 Statistical Proceres
Companion》等。

(2).数据挖掘工程师

需要理解主流机器学习算法的原理和应用。
需要熟悉至少一门编程语言如(Python、C、C++、java、Delphi等)。
需要理解数据库原理,能够熟练操作至少一种数据库(Mysql、SQL、DB2、Oracle等),能够明白MapRece的原理操作以及熟练使用Hadoop系列工具更好。
经典图书推荐:《数据挖掘概念与技术》、《机器学习实战》、《人工智能及其应用》、《数据库系统概论》、《算法导论》、《Web数据挖掘》、《 Python标准库》、《thinking in Java》、《Thinking in C++》、《数据结构》等。

(3).科学研究方向

需要深入学习数据挖掘的理论基础,包括关联规则挖掘 (Apriori和FPTree)、分类算法(C4.5、KNN、Logistic Regression、SVM等) 、聚类算法 (Kmeans、Spectral Clustering)。目标可以先吃透数据挖掘10大算法各自的使用情况和优缺点。

相对SAS、SPSS来说R语言更适合科研人员The R Project for Statistical Computing,因为R软件是完全免费的,而且开放的社区环境提供多种附加工具包支持,更适合进行统计计算分析研究。虽然目前在国内流行度不高,但是强烈推荐。
可以尝试改进一些主流算法使其更加快速高效,例如实现Hadoop平台下的SVM云算法调用平台--web 工程调用hadoop集群。

需要广而深的阅读世界著名会议论文跟踪热点技术。如KDD,ICML,IJCAI,Association for the Advancement of Artificial Intelligence,ICDM 等等;还有数据挖掘相关领域期刊:ACM Transactions on Knowledge Discovery from Data,IEEE Transactions on Knowledge and Data Engineering,Journal of Machine Learning Research Homepage,IEEE Xplore: Pattern Analysis and Machine Intelligence, IEEE Transactions on等。

可以尝试参加数据挖掘比赛培养全方面解决实际问题的能力。如Sig KDD ,Kaggle: Go from Big Data to Big Analytics等。

可以尝试为一些开源项目贡献自己的代码,比如Apache Mahout: Scalable machine learning and data mining ,myrrix等(具体可以在SourceForge或GitHub.上发现更多好玩的项目)。


典图书推荐:《机器学习》
《模式分类》《统计学习理论的本质》《统计学习方法》《数据挖掘实用机器学习技术》《R语言实践》,英文素质是科研人才必备的《Machine
Learning: A Probabilistic Perspective》《Scaling up Machine Learning :
Parallel and Distributed Approaches》《Data Mining Using SAS Enterprise
Miner : A Case Study Approach》《Python for Data Analysis》等。

三、以下是通信行业数据挖掘工程师的工作感受。


正从数据挖掘项目实践的角度讲,沟通能力对挖掘的兴趣爱好是最重要的,有了爱好才可以愿意钻研,有了不错的沟通能力,才可以正确理解业务问题,才能正确把
业务问题转化成挖掘问题,才可以在相关不同专业人才之间清楚表达你的意图和想法,取得他们的理解和支持。所以我认为沟通能力和兴趣爱好是个人的数据挖掘的
核心竞争力,是很难学到的;而其他的相关专业知识谁都可以学,算不上个人发展的核心竞争力。

说到这里可能很多数据仓库专家、程序员、统计
师等等都要扔砖头了,对不起,我没有别的意思,你们的专业对于数据挖掘都很重要,大家本来就是一个整体的,但是作为单独一个个体的人来说,精力有限,时间
有限,不可能这些领域都能掌握,在这种情况下,选择最重要的核心,我想应该是数据挖掘技能和相关业务能力吧(从另外的一个极端的例子,我们可以看,
比如一个迷你型的挖掘项目,一个懂得市场营销和数据挖掘技能的人应该可以胜任。这其中他虽然不懂数据仓库,但是简单的Excel就足以胜任高打6万个样本
的数据处理;他虽然不懂专业的展示展现技能,但是只要他自己看的懂就行了,这就无需什么展示展现;前面说过,统计技能是应该掌握的,这对一个人的迷你项目
很重要;他虽然不懂编程,但是专业挖掘工具和挖掘技能足够让他操练的;这样在迷你项目中,一个懂得挖掘技能和市场营销业务能力的人就可以圆满完成了,甚至
在一个数据源中根据业务需求可以无穷无尽的挖掘不同的项目思路,试问就是这个迷你项目,单纯的一个数据仓库专家、单纯的一个程序员、单纯的一个展示展现技
师、甚至单纯的一个挖掘技术专家,都是无法胜任的)。这从另一个方面也说明了为什么沟通能力的重要,这些个完全不同的专业领域,想要有效有机地整合在一起
进行数据挖掘项目实践,你说没有好的沟通能力行吗?

数据挖掘能力只能在项目实践的熔炉中提升、升华,所以跟着项目学挖掘是最有效的捷径。
国外学习挖掘的人都是一开始跟着老板做项目,刚开始不懂不要紧,越不懂越知道应该学什么,才能学得越快越有效果。我不知道国内的数据挖掘学生是怎样学的,
但是从网上的一些论坛看,很多都是纸上谈兵,这样很浪费时间,很没有效率。

另外现在国内关于数据挖掘的概念都很混乱,很多BI只是局限在
报表的展示和简单的统计分析,却也号称是数据挖掘;另一方面,国内真正规模化实施数据挖掘的行业是屈指可数(银行、保险公司、移动通讯),其他行业的应用
就只能算是小规模的,比如很多大学都有些相关的挖掘课题、挖掘项目,但都比较分散,而且都是处于摸索阶段,但是我相信数据挖掘在中国一定是好的前景,因为
这是历史发展的必然。

讲到移动方面的实践案例,如果你是来自移动的话,你一定知道国内有家叫华院分析的公司(申明,我跟这家公司没有任何
关系,我只是站在数据挖掘者的角度分析过中国大多数的号称数据挖掘服务公司,觉得华院还不错,比很多徒有虚名的大公司来得更实际),他们的业务现在已经覆
盖了绝大多数中国省级移动公司的分析挖掘项目,你上网搜索一下应该可以找到一些详细的资料吧。我对华院分析印象最深的一点就是2002年这个公司白手起
家,自己不懂不要紧,一边自学一边开始拓展客户,到现在在中国的移动通讯市场全面开花,的确佩服佩服呀。他们最开始都是用EXCEL处理数据,用肉眼比较
选择比较不同的模型,你可以想象这其中的艰难吧。

至于移动通讯的具体的数据挖掘的应用,那太多了,比如不同话费套餐的制订、客户流失模
型、不同服务交叉销售模型、不同客户对优惠的弹性分析、客户群体细分模型、不同客户生命周期模型、渠道选择模型、恶意欺诈预警模型,太多了,记住,从客户
的需求出发,从实践中的问题出发,移动中可以发现太多的挖掘项目。最后告诉你一个秘密,当你数据挖掘能力提升到一定程度时,你会发现无论什么行业,其实数
据挖掘的应用有大部分是重合的相似的,这样你会觉得更轻松。

四、成为一名数据科学家需要掌握的技能图。(原文:Data Science: How do I become a data scientist?)

② 大数据挖掘需要学习哪些技术大数据的工作

首先
我由各种编程语言的背景——matlab,R,java,C/C++,python,网络编程等
我又一定的数学基础——高数,线代,概率论,统计学等
我又一定的算法基础——经典算法,神经网络,部分预测算法,群智能算法等
但这些目前来讲都不那么重要,但慢慢要用到

Step 1:大数据理论,方法和技术

③ 如何进行大数据挖掘

数据挖掘是从大量的、不完全的、有噪声的、模糊的、随机的数据中提取隐含在其中的、人们事先不知道的、但又是潜在有用的信息和知识的过程。

数据挖掘流程:

定义问题:清晰地定义出业务问题,确定数据挖掘的目的。

数据准备:数据准备包括:选择数据–在大型数据库和数据仓库目标中 提取数据挖掘的目标数据集;数据预处理–进行数据再加工,包括检查数据的完整性及数据的一致性、去噪声,填补丢失的域,删除无效数据等。

数据挖掘:根据数据功能的类型和和数据的特点选择相应的算法,在净化和转换过的数据集上进行数据挖掘。

结果分析:对数据挖掘的结果进行解释和评价,转换成为能够最终被用户理解的知识。

④ 朋友想学习大数据,有哪里可以学习呢

大数据也是最近几年才火起来的学科,之前发展一直是不瘟不火的,可能是和这些年高速发展是互联网有一定的关系的。

目前想要学习大数据建议还是去一线城市进行学习的比较好,大数据是属于高度技术行业,在二三线城市现在发展得还不是很好,大多数的大企业都是在一线城市,所以很多技术都是出现在一线城市的。

选择去北京学习大数据确实非常不错,因为现在大数据发展比较好的地方也就是北上广这样的地方。而且在这里也是大数据培训机构比较集中的地方,这里的机构有很多,其中相对比较专业的机构也有很多,大家可以选择到的几率也比较高。

具体的大家可以通过机构的师资、课程、学习环境以及就业情况等多方面的内容去对比选择,我相信总有一家是比较适合你的。

如果,确定了想要到北京学习大数据技术的话,大家可以到尚硅谷来进行了解一下。

学习大数据之前建议献血好计算机基础知识,否则如同聚沙成塔一般根基不稳。

具体到大数据本身,建议先掌握一些基本的工具,例如hive,Hadoop,hbase,es等,先做一些简单的数据分析。

个人学习经验,如果是我会先选择找一本入门的大数据相关的书籍,通读一遍,建立对大数据的一个概念。然后可以到b站或者慕课网等学习网站找视频资源,这类视频也有深有浅,看自己当时的情况有选择的看。最后,你想要更近一步的探究大数据,就应该找更专业的书籍或论文去研读,这一类论文可以到知网或者谷歌文献去找。

一、如何将商业运营问题转化为大数据挖掘问题

那么,问题来了,我们该如何把上述的商业运营问题转化为数据挖掘问题?可以对数据挖掘问题进行细分,分为四类问题:分类问题、聚类问题、关联问题、预测问题。

1、分类问题

用户流失率、促销活动响应、评估用户度都属于数据挖掘的分类问题,我们需要掌握分类的特点,知道什么是有监督学习,掌握常见的分类方法:决策树、贝叶斯、KNN、支持向量机、神经网络和逻辑回归等。

2、聚类问题

细分市场、细分客户群体都属于数据挖掘的聚类问题,我们要掌握聚类特点,知道无监督学习,了解常见的聚类算法,例如划分聚类、层次聚类、密度聚类、网格聚类、基于模型聚类等。

3、关联问题

交叉销售问题等属于关联问题,关联分析也叫购物篮分析,我们要掌握常见的关联分析算法:Aprior算法、Carma算法,序列算法等。

4、预测问题

我们要掌握简单线性回归分析、多重线性回归分析、时间序列等。

二、用何种工具实操大数据挖掘

能实现数据挖掘的工具和途径实在太多,SPSS、SAS、Python、R等等都可以,但是我们需要掌握哪个或者说要掌握哪几个,才算学会了数据挖掘?这需要看你所处的层次和想要进阶的路径是怎样的。

第一层级:达到理解入门层次

了解统计学和数据库即可。

第二层级:达到初级职场应用层次

数据库+统计学+SPSS(也可以是SPSS代替软件)

第三层级:达到中级职场应用层次

SAS或R

第四层级:达到数据挖掘师层次

SAS或R+Python(或其他编程语言)

三、如何利用Python学习大数据挖掘

只要能解决实际问题,用什么工具来学习数据挖掘都是无所谓,这里首推Python。那该如何利用Python来学习数据挖掘?需要掌握Python中的哪些知识?

1、Pandas库的操作

Panda是数据分析特别重要的一个库,我们要掌握以下三点:

pandas 分组计算;

pandas 索引与多重索引;

索引比较难,但是却是非常重要的

pandas 多表操作与数据透视表

2、numpy数值计算

numpy数据计算主要应用是在数据挖掘,对于以后的机器学习,深度学习,这也是一个必须掌握的库,我们要掌握以下内容:

Numpy array理解;

数组索引操作;

数组计算;

Broadcasting(线性代数里面的知识)

3、数据可视化-matplotlib与seaborn

Matplotib语法

python最基本的可视化工具就是matplotlib。咋一看Matplotlib与matlib有点像,要搞清楚二者的关系是什么,这样学习起来才会比较轻松。

seaborn的使用

seaborn是一个非常漂亮的可视化工具。

pandas绘图功能

前面说过pandas是做数据分析的,但它也提供了一些绘图的API。

4、数据挖掘入门

这部分是最难也是最有意思的一部分,要掌握以下几个部分:

机器学习的定义

在这里跟数据挖掘先不做区别

代价函数的定义

Train/Test/Validate

Overfitting的定义与避免方法

5、数据挖掘算法

数据挖掘发展到现在,算法已经非常多,下面只需掌握最简单的,最核心的,最常用的算法:

最小二乘算法;

梯度下降;

向量化;

极大似然估计;

Logistic Regression;

Decision Tree;

RandomForesr;

XGBoost;

6、数据挖掘实战

通过机器学习里面最著名的库scikit-learn来进行模型的理解。

以上,就是为大家理清的大数据挖掘学习思路逻辑。可是,这还仅仅是开始,在通往数据挖掘师与数据科学家路上,还要学习文本处理与自然语言知识、linux与Spark的知识、深度学习知识等等,我们要保持持续的兴趣来学习数据挖掘。

网易云课堂

⑤ 学大数据需要什么基础

说到大数据,肯定少不了分析软件,这应该是大数据工作的根基,但市面上很多各种分析软件,如果不是过来人,真的很难找到适合自己或符合企业要求的。小编通过各大企业对大数据相关行业的岗位要求,总结了以下几点:
(1)SQL数据库的基本操作,会基本的数据管理
(2)会用Excel/SQL做基本的数据分析和展示
(3)会用脚本语言进行数据分析,Python or R
(4)有获取外部数据的能力,如爬虫
(5)会基本的数据可视化技能,能撰写数据报告
(6)熟悉常用的数据挖掘算法:回归分析、决策树、随机森林、支持向量机等
对于学习大数据,总体来说,先学基础,再学理论,最后是工具。基本上,每一门语言的学习都是要按照这个顺序来的。
1、学习数据分析基础知识,包括概率论、数理统计。基础这种东西还是要掌握好的啊,基础都还没扎实,知识大厦是很容易倒的哈。
2、你的目标行业的相关理论知识。比如金融类的,要学习证券、银行、财务等各种知识,不然到了公司就一脸懵逼啦。
3、学习数据分析工具,软件结合案列的实际应用,关于数据分析主流软件有(从上手度从易到难):Excel,SPSS,stata,R,Python,SAS等。
4、学会怎样操作这些软件,然后是利用软件从数据的清洗开始一步步进行处理,分析,最后输出结果,检验及解读数据。
当然,学习数学与应用数学、统计学、计算机科学与技术等理工科专业的人确实比文科生有着客观的优势,但能力大于专业,兴趣才会决定你走得有多远。毕竟数据分析不像编程那样,需要你天天敲代码,要学习好多的编程语言,数据分析更注重的是你的实操和业务能力。如今的软件学习都是非常简单便捷的,我们真正需要提升的是自己的逻辑思维能力,以及敏锐的洞察能力,还得有良好的沟通表述能力。这些都是和自身的努力有关,而不是单纯凭借理工科背景就可以啃得下来的。相反这些能力更加倾向于文科生,毕竟好奇心、创造力也是一个人不可或缺的。

⑥ 新手如何学大数据

要想学好大数据要学会以下知识:

1.会基本的linux操作;

2.至少要精通一门JVM系的语言;

3.掌握一门实时流式处理框架;

4.学好分布式存储框架;

5.深入了解和学习分布式协调框架;

6.新开发的列式存储数据库,也是要学好的;

7.学习Kafka处理消息队列。

大数据分析师或者数据科学家要想学好大数据,需要掌握以下技能:

1.要有扎实的数学功底,不仅要熟练掌握一元微积分的使用,还一定要精通线性代数,尤其是矩阵的运算、向量空间、秩等概念。

2.要基本掌握概率和各种统计学方法。

3.学习分析交互框架,比如Hive。

4.学习机器学习的框架。

⑦ 如何自学大数据 自学大数据方法

1、第一阶段:主要学习java基础,学完出来并不能找工作,因为学的都是基础,需要更进一步的努力,如果本身是java程序员,可以跳过!

2、第二阶段:主要学习javaweb,学完也不能找工作哦,因为这些大部分人学一学都能会,并不达到工作的标准,你需要的是继续学习!

3、第三阶段:主要学习java的三大框架,SSM框架,说实在的,现在学完这个框架也只能简单的找一份五六千的工作,大学生出来大部分也都会做!

4、第四阶段:到这个阶段,你会真正接触到大数据,学习大数据的知识,学完能够独立开发爬虫系统,能够独立开发搜索系统,能够完成实时数据采集、存储、计算及商业应用。找工作工资会在八千到一万之间

5、第五阶段:主要和大数据息息相关的Hadoop知识,学完能够胜任离线相关工作,包括ETL工程师、任务调度工程师、Hive工程师、数据仓库工程师等。找份上万的工作分分钟哦!

6、第六阶段:学习spark,能够胜任Spark相关工作,包括ETL工程师、Spark工程师、Hbase工程师、用户画像系统工程师、大数据反欺诈工程师。目前企业急缺Spark相关人才。学完一万五的工资可以拿到!

7、第七阶段:机器学习,人工智能,这个是现今企业最缺的人才,学完这个阶能够胜任机器学习、数据挖掘等相关工作,包括推荐算法工程师、数据挖掘工程师、机器学习工程师,填补人工智能领域人才急剧增长缺口。

⑧ 零基础学数据挖掘应该怎么入门

初级数据分析师需要掌握的技能有:统计学基础、Python语言、网页分析、数据库技术、常用模型理论、数据分析入门并不难,难的是之后的积累才是重点,如何在实际工作、项目中真正发挥数据分析的作用,产生价值。

数据分析师要具备六种核心能力:

1.基础科学的能力

可以说,在数据决策的时代,数据分析几乎渗透到企业的每个业务环节中。掌握统计学,才能知道每一种数据分析的模型,什么样的输入,什么样的输出,有什么样的作用。

2.使用分析工具的能力

任何数据分析师从事业务方向的工作都必须会统计学,统计学的学习最好辅助SPSS或其他SAS来学,做到数据分析基本功扎实,兼顾实战性。学习中,要掌握SQL的基础语法、中级语法和常用函数,结合关系数据库系统来学习SQL语句。

3.掌握编程语言的能力

Python主要掌握基础语法,pandas操作、numpy操作、sklearn建模,学会用python编写网络爬虫爬取数据等等。

4.逻辑思维的能力

逻辑思维对于数据分析来说特别重要。反映商业数据里,大家可以理解为去搭建商业框架或者说是故事线,有逻辑的推进,结果才会另人信服。

5.数据可视化的能力

有了Python的基础,就可以学习数据可视化了。运营和产品都需要学习可视化,Python中可视化的工具有matplotlib,seaborn,ploltly;

6.模型评估的能力

Model建模,知道模型建好后应该怎样去评估,掌握怎样用一些定量的指标,数据、数值来衡量模型建好后到底有多准确,或者说到底有多错误。模型评估的指标或计算方式选择正确与否,能够直接影响到整个项目获模型是否有效。

想要了解更多关于数据挖掘的问题可以到CDA认证中心咨询一下,CDA是大数据和人工智能时代面向国际范围全行业的数据分析专业人才职业简称,具体指在互联网、金融、咨询、电信、零售、医疗、旅游等行业专门从事数据的采集、清洗、处理、分析并能制作业务报告、提供决策的新型数据人才。

⑨ 大数据挖掘方法有哪些

谢邀。

大数据挖掘的方法:

神经网络由于本身良好的鲁棒性、自组织自适应性、并行处理、分布存储和高度容错等特性非常适合解决数据挖掘的问题,因此近年来越来越受到人们的关注。


遗传算法是一种基于生物自然选择与遗传机理的随机搜索算法,是一种仿生全局优化方法。遗传算法具有的隐含并行性、易于和其它模型结合等性质使得它在数据挖掘中被加以应用。


决策树是一种常用于预测模型的算法,它通过将大量数据有目的分类,从中找到一些有价值的,潜在的信息。它的主要优点是描述简单,分类速度快,特别适合大规模的数据处理。


粗集理论是一种研究不精确、不确定知识的数学工具。粗集方法有几个优点:不需要给出额外信息;简化输入信息的表达空间;算法简单,易于操作。粗集处理的对象是类似二维关系表的信息表。


它是利用覆盖所有正例、排斥所有反例的思想来寻找规则。首先在正例集合中任选一个种子,到反例集合中逐个比较。与字段取值构成的选择子相容则舍去,相反则保留。按此思想循环所有正例种子,将得到正例的规则(选择子的合取式)。


在数据库字段项之间存在两种关系:函数关系和相关关系,对它们的分析可采用统计学方法,即利用统计学原理对数据库中的信息进行分析。可进行常用统计、回归分析、相关分析、差异分析等。


即利用模糊集合理论对实际问题进行模糊评判、模糊决策、模糊模式识别和模糊聚类分析。系统的复杂性越高,模糊性越强,一般模糊集合理论是用隶属度来刻画模糊事物的亦此亦彼性的。

阅读全文

与如何学大数据挖掘相关的资料

热点内容
计算机网络章节练习 浏览:999
单片机的外部中断程序 浏览:48
表格批量更名找不到指定文件 浏览:869
js的elseif 浏览:584
3dmaxvray视频教程 浏览:905
imgtool工具中文版 浏览:539
java帮助文件在哪里 浏览:965
win10切换输入语言 浏览:696
haier电视网络用不了怎么办 浏览:361
苹果6手机id怎么更改 浏览:179
米家扫地机器人下载什么app 浏览:82
如何在编程猫代码岛20种树 浏览:915
手机基础信息存储在哪个文件 浏览:726
如何查找手机备份文件 浏览:792
内存清理工具formac 浏览:323
iphone过滤骚扰电话 浏览:981
wap网络如何使用微信 浏览:699
手机迅雷应用盒子在哪个文件夹 浏览:351
windows8网络连接 浏览:442
怎么快速增加qq群人数 浏览:919

友情链接