如何选择大数据基础知识

A. 大数据怎么学习

兴趣是第一老师。选择学习一门课程和技能时，个人兴趣是至关重要，对于学习像大专数据这样抽象的技能更是如属此。

学习java语言和linux操作系统，这两个是学习大数据的基础。

最关键的是学习Hadoop+spark，掌握大数据的收集、生成、调用工具。

树立大数据思维，创造性开发、使用大数据。

深度了解大数据的意义、价值、市场、开发及运用前景。

到大数据管理中心、运用企业实习实践，掌握开发、运用技能。

B. 学大数据需要什么基础知识和能力

大数据的发展历程总体上可以划分为三个重要阶段，萌芽期、成熟期和大规模应用期，20世纪90年至21世纪初，为萌芽期，随着，一批商业智能工具和知识管理技术的开始和应用，度过了数据萌芽。

21世纪前十年则为成熟期，主要标志为，大数据解决方案逐渐走向成熟，形成了并行计算与分布式系统两大核心技，谷歌的GFS和MapRece等大数据技术受到追捧，Hadoop平台开始大行期道，2010年以后，为大规模应用期，标志为，数据应用渗透各行各业，数据驱动决策，信息社会智能化程度快速提高。

点击链接加入群聊【大数据学习交流群】：互联网科技发展蓬勃兴起，人工智能时代来临，抓住下一个风口。为帮助那些往想互联网方向转行想学习，却因为时间不够，资源不足而放弃的人。我自己整理的一份最新的大数据进阶资料和高级开发教程， 欢迎进阶中和进想深入大数据的小伙伴加入。

数据时代的到来，也推动了数据行业的发展，包括企业使用数据获取价值，促使了大量人员从事于数据的学习，学习大数据需要掌握基础知识，接下从我的角度，为大家做个简要的阐述。

学习大数据需要掌握的知识，初期了解概念，后期就要学习数据技术，主要包括：

1.大数据概念

2.大数据的影响

3.大数据的影响

4.大数据的应用

5.大数据的产业

6.大数据处理架构Hadoop

7.大数据关键技术

8.大数据的计算模式

后三个牵涉的数据技技术，就复杂一点了，可以细说一下：

1.大数据处理架构Hadoop：Hadoop的特性、Hadoop生态系统、Hadoop的安装与使用；

2.大数据关键技术技术：数据采集、数据存储与管理、数据处理与分析、数据隐私与安全；

3.大数据处理计算模式：批处理计算、流计算、图计算、查询分析计算

数据的核心技术就是获取数据价值，获取数据前提是，先要有数据，这就牵涉数据挖掘了。

一、Java语言以java语言为基础掌握面向对象编程思想所涉及的知识，以及该知识在面向对象编程思想中的应用，培养学生设计程序的能力。掌握程度：精通

二、数据结构与算法掌握基于JAVA语言的底层数据结构和算法原理，并且能够自己动手写出来关于集合的各种算法和数据结构，并且了解这些数据结构处理的问题和优缺点。掌握程度：熟练。
三、数据库原理与MYSQL数据库掌握关系型数据库的原理，掌握结构化数据的特性。掌握关系型数据库的范式。通过MYSQL数据库掌握通过SQL语言与MYSQL数据库进行交互。熟练掌握各种复杂SQL语句的编写。掌握程度：熟练。
四、LINUX操作系统全面了解LINUX。详解LINUX下的管理命令、用户管理、网络配置管理等。掌握SHELL脚本编程，能够根据具体业务进行复杂SHELL脚本的编写。掌握程度：精通。
五、Hadoop技术学习Hadoop技术的两个核心：分布式文件系统HDFS和分布式计算框架MapRece。掌握MR的运行过程及相关原理，精通各种业务的MR程序编写。掌握Hadoop的核心源码及实现原理。掌握使用Hadoop进行海量数据的存储、计算与处理。掌握程度：精通。
六、分布式数据库技术:精通分布式数据库HBASE、掌握Mongodb及了解其它分布式数据库技术。精通分布式数据库原理、应用场景、HBASE数据库的设计、操作等，能结合HIVE等工具进行海量数据的存储于检索。掌握程度：精通。
七、数据仓库HIVE精通基于hadoop的数据仓库HIVE。精通HIVESQL的语法，精通使用HIVESQL进行数据操作。内部表、外部表及与传统数据库的区别，掌握HIVE的应用场景及Hive与HBase的结合使用。掌握程度：精通。
八、PYTHON语言精通PYTHON语言基础语法及面向对象。精通PYTHON语言的爬虫、WEB、算法等框架。并根据业务可以基于PYTHON语言开发完成的业务功能和系统。掌握程度：精通。
九、机器学习算法熟练掌握机器学习经典算法，掌握算法的原理，公式，算法的应用场景。熟练掌握使用机器学习算法进行相关数据的分析，保证分析结果的准确性。掌握程度：熟练。
十、Spark高级编程技术掌握Spark的运行原理与架构，熟悉Spark的各种应用场景，掌握基于SparkRDD的各种算子的使用；精通SparkStreaming针对流处理的底层原理，熟练应用SparkSql对各种数据源处理,熟练掌握Spark机器学习算法库。达到能够在掌握Spark的各种组件的基础上，能够构建出大型的离线或实时的业务项目。掌握程度：精通。
十一、真实大数据项目实战通过几个真实的大数据项目把之前学习的知识与大数据技术框架贯穿，学习真实的大数据项目从数据采集、清洗、存储、处理、分析的完整过程，掌握大数据项目开发的设计思想，数据处理技术手段，解决开发过程中遇到的问题和技术难点如何解决。

C. 大数据分析应该掌握哪些基础知识呢

前言，学大数据要先换电脑：

保证电脑4核8G内存64位操作系统，尽量有ssd做系统盘，否则卡到你丧失信心。硬盘越大越好。
1，语言要求

java刚入门的时候要求javase。

scala是学习spark要用的基本使用即可。

后期深入要求：
java NIO，netty，多线程，ClassLoader，jvm底层及调优等，rpc。
2，操作系统要求
linux 基本的shell脚本的使用。

crontab的使用，最多。

cpu，内存，网络，磁盘等瓶颈分析及状态查看的工具。

scp，ssh，hosts的配置使用。

telnet，ping等网络排查命令的使用
3，sql基本使用
sql是基础，hive，sparksql等都需要用到，况且大部分企业也还是以数据仓库为中心，少不了sql。

sql统计，排序，join，group等，然后就是sql语句调优，表设计等。

4，大数据基本了解
Zookeeper，hadoop，hbase，hive，sqoop，flume，kafka，spark，storm等这些框架的作用及基本环境的搭建，要熟练，要会运维，瓶颈分析。

5，maprece及相关框架hive，sqoop
深入了解maprece的核心思想。尤其是shuffle，join，文件输入格式，map数目，rece数目，调优等。
6，hive和hbase等仓库
hive和hbase基本是大数据仓库的标配。要回用，懂调优，故障排查。

hbase看浪尖hbase系列文章。hive后期更新。

7，消息队列的使用
kafka基本概念，使用，瓶颈分析。看浪尖kafka系列文章。

8，实时处理系统
storm和spark Streaming

9，spark core和sparksql
spark用于离线分析的两个重要功能。

10，最终方向决策
a),运维。（精通整套系统及故障排查，会写运维脚本啥的。）

b),数据分析。（算法精通）

c),平台开发。（源码精通）

自学还是培训？
无基础的同学，培训之前先搞到视频通学一遍，防止盲目培训跟不上讲师节奏，浪费时间，精力，金钱。
有基础的尽量搞点视频学基础，然后跟群里大牛交流，前提是人家愿意，
想办法跟大牛做朋友才是王道。

D. 大数据分析应该掌握哪些基础知识

1、思维模式转变的催化剂是大量新技术的诞生，它们能够处理大数据分析所带来的3个V的挑战。扎根于开源社区，Hadoop已经是目前大数据平台中应用率最高的技术，特别是针对诸如文本、社交媒体订阅以及视频等非结构化数据。
2、除分布式文件系统之外，伴随Hadoop一同出现的还有进行大数据集处理MapRece架构。根据权威报告显示，许多企业都开始使用或者评估Hadoop技术来作为其大数据平台的标准。
3、我们生活的时代，相对稳定的数据库市场中还在出现一些新的技术，而且在未来几年，它们会发挥作用。事实上，NoSQL数据库在一个广义上派系基础上，其本身就包含了几种技术。
4、总体而言，他们关注关系型数据库引擎的限制，如索引、流媒体和高访问量的网站服务。在这些领域，相较关系型数据库引擎，NoSQL的效率明显更高。
5、在Gartner公司评选的2012年十大战略技术中，内存分析在个人消费电子设备以及其他嵌入式设备中的应用将会得到快速的发展。随着越来越多的价格低廉的内存用到数据中心中，如何利用这一优势对软件进行最大限度的优化成为关键的问题。
6、内存分析以其实时、高性能的特性，成为大数据分析时代下的“新宠儿”。如何让大数据转化为最佳的洞察力，也许内存分析就是答案。大数据背景下，用户以及IT提供商应该将其视为长远发展的技术趋势。

E. 怎样进行大数据的入门级学习

记住学到这里可以作为你学大数据的一个节点。

Zookeeper：这是个万金油，安装Hadoop的HA的时候就会用到它，以后的Hbase也会用到它。它一般用来存放一些相互协作的信息，这些信息比较小一般不会超过1M，都是使用它的软件对它有依赖，对于我们个人来讲只需要把它安装正确，让它正常的run起来就可以了。

Mysql：我们学习完大数据的处理了，接下来学习学习小数据的处理工具mysql数据库，因为一会装hive的时候要用到，mysql需要掌握到什么层度那?你能在Linux上把它安装好，运行起来，会配置简单的权限，修改root的密码，创建数据库。这里主要的是学习SQL的语法，因为hive的语法和这个非常相似。

Sqoop：这个是用于把Mysql里的数据导入到Hadoop里的。当然你也可以不用这个，直接把Mysql数据表导出成文件再放到HDFS上也是一样的，当然生产环境中使用要注意Mysql的压力。

Hive：这个东西对于会SQL语法的来说就是神器，它能让你处理大数据变的很简单，不会再费劲的编写MapRece程序。有的人说Pig那?它和Pig差不多掌握一个就可以了。

Oozie：既然学会Hive了，我相信你一定需要这个东西，它可以帮你管理你的Hive或者MapRece、Spark脚本，还能检查你的程序是否执行正确，出错了给你发报警并能帮你重试程序，最重要的是还能帮你配置任务的依赖关系。我相信你一定会喜欢上它的，不然你看着那一大堆脚本，和密密麻麻的crond是不是有种想屎的感觉。

Hbase：这是Hadoop生态体系中的NOSQL数据库，他的数据是按照key和value的形式存储的并且key是唯一的，所以它能用来做数据的排重，它与MYSQL相比能存储的数据量大很多。所以他常被用于大数据处理完成之后的存储目的地。

Kafka：这是个比较好用的队列工具，队列是干吗的?排队买票你知道不?数据多了同样也需要排队处理，这样与你协作的其它同学不会叫起来，你干吗给我这么多的数据(比如好几百G的文件)我怎么处理得过来，你别怪他因为他不是搞大数据的，你可以跟他讲我把数据放在队列里你使用的时候一个个拿，这样他就不在抱怨了马上灰流流的去优化他的程序去了，因为处理不过来就是他的事情。而不是你给的问题。当然我们也可以利用这个工具来做线上实时数据的入库或入HDFS，这时你可以与一个叫Flume的工具配合使用，它是专门用来提供对数据进行简单处理，并写到各种数据接受方(比如Kafka)的。

Spark：它是用来弥补基于MapRece处理数据速度上的缺点，它的特点是把数据装载到内存中计算而不是去读慢的要死进化还特别慢的硬盘。特别适合做迭代运算，所以算法流们特别稀饭它。它是用scala编写的。Java语言或者Scala都可以操作它，因为它们都是用JVM的。

F. 学习大数据要什么基础

大数据开发学习要掌握java、linux、hadoop、storm、flume、hive、Hbase、spark等基础知识。

学会这两项基础后，接下来就需要学习大数据相关的技术了。首先学习Hadoop，需要学习它的HDFS、MapRece和YARN的组件，学会了这些，接下来就按顺序学习Zookeeper，Mysql，Sqoop，Hive，Oozie，Hbase，Kafka，Spark。当我们把这些技术都学会了，基本上就能成为一个专业的大数据开发工程师了。

之后再进阶提高一下，学习一下python、机器学习、数据分析等知识，能让自己在今后的工作中更好的配合算法工程师、数据分析师，让自己变得更进步更优秀。

G. 大数据需要什么基础

学习大数据需要以下几个方面的基础： 新手学大数据，首先要具备的是编程语言基础，如Java、C++等，要初步掌握面向对象、抽象类、接口、继承、多态和数据流及对象流等基础，编程语言在大数据中占据了不可逾越的地位，掌握一门编程语言再学习大数据会轻松很多，甚至编程语言要比大数据学习的时间更长。 Linux系统的基本操作是大数据不可分割的一部分，大数据的组件都是在这个系统中跑的

H. 想自学大数据，要从哪方面入手呢

自学大数据很难
因为你的数据不知道从哪里来
如果用模拟， 那就学hadoop生态
单机部署伪分布式环境， 然后编写MapRece程序，
搭建hive hbase
走一套数据收集、处理流程
这就是自学

I. 学大数据需要具备什么基础

第一、计算机基础知识。计算机基础知识涉及到三大块内容，包括操作系统、编程语言和计算机网络，其中操作系统要重点学习一下Linux操作系统，编程语言可以选择Java或者Python。

如果要从事大数据开发，应该重点关注一下Java语言，而如果要从事大数据分析，可以重点关注一下Python语言。计算机网络知识对于大数据从业者来说也比较重要，要了解基本的网络通信过程，涉及到网络通信层次结构和安全的相关内容。

第二、数据库知识。数据库知识是学习大数据相关技术的重要基础，大数据的技术体系有两大基础，一部分是分布式存储，另一部分是分布式计算，所以存储对于大数据技术体系有重要的意义。

初学者可以从Sql语言开始学起，掌握关系型数据库知识对于学习大数据存储依然有比较重要的意义。另外，在大数据时代，关系型数据库依然有大量的应用场景。

第三、数学和统计学知识。从学科的角度来看，大数据涉及到三大学科基础，分别是数学、统计学和计算机，所以数学和统计学知识对于大数据从业者还是比较重要的。

从大数据岗位的要求来看，大数据分析岗位（算法）对于数学和统计学知识的要求程度比较高，大数据开发和大数据运维则稍微差一些，所以对于数学基础比较薄弱的初学者来说，可以考虑向大数据开发和大数据运维方向发展。

大数据的价值体现在以下几个方面：

（1）对大量消费者提供产品或服务的企业可以利用大数据进行精准营销；

（2）做小而美模式的中小微企业可以利用大数据做服务转型；

（3）面临互联网压力之下必须转型的传统企业需要与时俱进充分利用大数据的价值。

J. 大数据分析应该掌握哪些基础知识

大数据分析师应该要学的知识有，统计概率理论基础，软件操作结合分析模型进行实际运用，数据挖掘或者数据分析方向性选择，数据分析业务应用。
1、统计概率理论基础
这是重中之重，千里之台，起于垒土，最重要的就是最下面的那几层。统计思维，统计方法，这里首先是市场调研数据的获取与整理，然后是最简单的描述性分析，其次是常用的推断性分析，方差分析，到高级的相关，回归等多元统计分析，掌握了这些原理，才能进行下一步。
2、软件操作结合分析模型进行实际运用
关于数据分析主流软件有（从上手度从易到难）：Excel，SPSS，Stata，R，SAS等。首先是学会怎样操作这些软件，然后是利用软件从数据的清洗开始一步步进行处理，分析，最后输出结果，检验及解读数据。
3、数据挖掘或者数据分析方向性选择
其实数据分析也包含数据挖掘，但在工作中做到后面会细分到分析方向和挖掘方向，两者已有区别，关于数据挖掘也涉及到许多模型算法，如：关联法则、神经网络、决策树、遗传算法、可视技术等。
4、数据分析业务应用
这一步也是最难学习的一步，行业有别，业务不同，业务的不同所运用的分析方法亦有区分，实际工作是解决业务问题，因此对业务的洞察能力非常重要。(10)如何选择大数据基础知识扩展阅读
分析工作内容
1、搜索引擎分析师(Search Engine Optimization Strategy Analyst，简称SEO分析师)是一项新兴信息技术职业，主要关注搜索引擎动态，修建网站，拓展网络营销渠道，网站内部优化，流量数据分析，策划外链执行方案，负责竞价推广。
2、SEO分析师需要精通商业搜索引擎相关知识与市场运作。通过编程，HTML，CSS，JavaScript，MicrosoftASP.NET，Perl，PHP，Python等建立网站进行各种以用户体验为主同时带给公司盈利但可能失败的项目尝试。