学习大数据的基础

『壹』 大数据的基础是什么

大数据的基础是存储和计算。大数据的特点就是数据量的规模较大，因此首要问题就是存储问题。然后核心问题就是大数据量的计算问题。这两个部分组成了大数据的根基。

『贰』 想要学习大数据，应该怎么入门

记住学到这里可以作为你学大数据的一个节点。

Zookeeper：这是个万金油，安装Hadoop的HA的时候就会用到它，以后的Hbase也会用到它。它一般用来存放一些相互协作的信息，这些信息比较小一般不会超过1M，都是使用它的软件对它有依赖，对于我们个人来讲只需要把它安装正确，让它正常的run起来就可以了。

Mysql：我们学习完大数据的处理了，接下来学习学习小数据的处理工具mysql数据库，因为一会装hive的时候要用到，mysql需要掌握到什么层度那?你能在linux上把它安装好，运行起来，会配置简单的权限，修改root的密码，创建数据库。这里主要的是学习SQL的语法，因为hive的语法和这个非常相似。

Sqoop：这个是用于把Mysql里的数据导入到Hadoop里的。当然你也可以不用这个，直接把Mysql数据表导出成文件再放到HDFS上也是一样的，当然生产环境中使用要注意Mysql的压力。

Hive：这个东西对于会SQL语法的来说就是神器，它能让你处理大数据变的很简单，不会再费劲的编写MapRece程序。有的人说Pig那?它和Pig差不多掌握一个就可以了。

Oozie：既然学会Hive了，我相信你一定需要这个东西，它可以帮你管理你的Hive或者MapRece、Spark脚本，还能检查你的程序是否执行正确，出错了给你发报警并能帮你重试程序，最重要的是还能帮你配置任务的依赖关系。我相信你一定会喜欢上它的，不然你看着那一大堆脚本，和密密麻麻的crond是不是有种想屎的感觉。

Hbase：这是Hadoop生态体系中的NOSQL数据库，他的数据是按照key和value的形式存储的并且key是唯一的，所以它能用来做数据的排重，它与MYSQL相比能存储的数据量大很多。所以他常被用于大数据处理完成之后的存储目的地。

Kafka：这是个比较好用的队列工具，队列是干吗的?排队买票你知道不?数据多了同样也需要排队处理，这样与你协作的其它同学不会叫起来，你干吗给我这么多的数据(比如好几百G的文件)我怎么处理得过来，你别怪他因为他不是搞大数据的，你可以跟他讲我把数据放在队列里你使用的时候一个个拿，这样他就不在抱怨了马上灰流流的去优化他的程序去了，因为处理不过来就是他的事情。而不是你给的问题。当然我们也可以利用这个工具来做线上实时数据的入库或入HDFS，这时你可以与一个叫Flume的工具配合使用，它是专门用来提供对数据进行简单处理，并写到各种数据接受方(比如Kafka)的。

Spark：它是用来弥补基于MapRece处理数据速度上的缺点，它的特点是把数据装载到内存中计算而不是去读慢的要死进化还特别慢的硬盘。特别适合做迭代运算，所以算法流们特别稀饭它。它是用scala编写的。java语言或者Scala都可以操作它，因为它们都是用JVM的。

『叁』 学习大数据要什么基础

大数据开发学习要掌握java、linux、hadoop、storm、flume、hive、Hbase、spark等基础知识。

学会这两项基础后，接下来就需要学习大数据相关的技术了。首先学习Hadoop，需要学习它的HDFS、MapRece和YARN的组件，学会了这些，接下来就按顺序学习Zookeeper，Mysql，Sqoop，Hive，Oozie，Hbase，Kafka，Spark。当我们把这些技术都学会了，基本上就能成为一个专业的大数据开发工程师了。

之后再进阶提高一下，学习一下python、机器学习、数据分析等知识，能让自己在今后的工作中更好的配合算法工程师、数据分析师，让自己变得更进步更优秀。

『肆』 学习大数据需要哪些基础

第一：计算机基础知识。计算机基础知识涉及到三大块内容，包括操作系统、编程语言和计算机网络，其中操作系统要重点学习一下Linux操作系统，编程语言可以选择Java或者Python。如果要从事大数据开发，应该重点关注一下Java语言，而如果要从事大数据分析，可以重点关注一下Python语言。计算机网络知识对于大数据从业者来说也比较重要，要了解基本的网络通信过程，涉及到网络通信层次结构和安全的相关内容。
第二：数据库知识。数据库知识是学习大数据相关技术的重要基础，大数据的技术体系有两大基础，一部分是分布式存储，另一部分是分布式计算，所以存储对于大数据技术体系有重要的意义。初学者可以从Sql语言开始学起，掌握关系型数据库知识对于学习大数据存储依然有比较重要的意义。另外，在大数据时代，关系型数据库依然有大量的应用场景。
第三：数学和统计学知识。从学科的角度来看，大数据涉及到三大学科基础，分别是数学、统计学和计算机，所以数学和统计学知识对于大数据从业者还是比较重要的。从大数据岗位的要求来看，大数据分析岗位（算法）对于数学和统计学知识的要求程度比较高，大数据开发和大数据运维则稍微差一些，所以对于数学基础比较薄弱的初学者来说，可以考虑向大数据开发和大数据运维方向发展。

『伍』 学习大数据需要什么基础

一、计算机编码能力

实际开发能力和大规模的数据处理能力是作为大数据工程师的一些必备要素。举例来说，现在人们在社交网络上所产生的许多记录都是非结构化的数据，如何从这些毫无头绪的文字、语音、图像甚至视频中拾取有意义的信息就需要大数据工程师亲自挖掘。

二、数学及统计学相关的背景

国内BAT为代表的大公司，对于大数据工程师的要求都是希望是统计学和数学背景的硕士或博士学历。缺乏理论背景的数据工作者，按照不同的数据模型和算法总能捯饬出一些结果来，但如果你不知道那代表什么，就并不是真正有意义的结果，并且那样的结果还容易误导你。只有具备一定的理论知识，才能理解模型、复用模型甚至创新模型，来解决实际问题。

三、特定应用领域或行业的知识

大数据工程师这个角色很重要的一点是，不能脱离市场，因为大数据只有和特定领域的应用结合起来才能产生价值。所以，在某个或多个垂直行业的经历能为应聘者积累对行业的认知，对于之后成为大数据工程师有很大帮助。

『陆』 大数据需要什么基础

学习大数据要有一定的编程基础，这是大数据大部分岗位都需要的。目前从事大数据方向的程序员比较普遍使用的语言有四种，分别是Python、Java、Scala和R，这四种语言都有一定的应用场景，不同岗位的程序员使用的语言也稍有不同。

『柒』 学习大数据需要什么基础

学习大数据需要的基础：

学习大数据开发技术相关的开发技术知识体系是比较庞大的，对于大数据的学习来说学，确实逻辑思维能力是更重要的。基础知识是可以通过学习进行弥补的，大数据培训则成为小伙伴比较靠谱的学习方式。在大数据培训班第一阶段就是基础内容的学习。

不同的大数据培训机构在课程内容上侧重点可能会有所不同，所以在培训周期上也会有所差异。硅谷大数据培训班，学习课程内容除了第一阶段学习Java语言基础之外，还要学习HTML、CSS、Java、JavaWeb和数据库、Linux基础、Hadoop生态体系、Spark生态体系等课程内容。

项目实战对学习大数据的同学来说是一个必须经过的过程。学习大数据的同学只有经过项目实战训练，才能在面试和后期工作中从容应对，这是一个很重要的过程。

当然了，项目实战训练时间与项目的难度、项目的数量相关，项目难度较大、项目较多，当然学习的时间会更长。

大数据(big data)，或称巨量资料，指的是所涉及的资料量规模巨大到无法透过目前主流软件工具，在合理时间内达到撷取、管理、处理、并整理成为帮助企业经营决策更积极目的的资讯。

对于“大数据”（Big data）研究机构Gartner给出了这样的定义。“大数据”是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力来适应海量、高增长率和多样化的信息资产。

麦肯锡全球研究所给出的定义是：一种规模大到在获取、存储、管理、分析方面大大超出了传统数据库软件工具能力范围的数据集合，具有海量的数据规模、快速的数据流转、多样的数据类型和价值密度低四大特征。

大数据技术的战略意义不在于掌握庞大的数据信息，而在于对这些含有意义的数据进行专业化处理。换而言之，如果把大数据比作一种产业，那么这种产业实现盈利的关键，在于提高对数据的“加工能力”，通过“加工”实现数据的“增值”。

『捌』 大数据需要什么基础

学习大数据需要以下几个方面的基础： 新手学大数据，首先要具备的是编程语言基础，如Java、C++等，要初步掌握面向对象、抽象类、接口、继承、多态和数据流及对象流等基础，编程语言在大数据中占据了不可逾越的地位，掌握一门编程语言再学习大数据会轻松很多，甚至编程语言要比大数据学习的时间更长。 Linux系统的基本操作是大数据不可分割的一部分，大数据的组件都是在这个系统中跑的

『玖』 学习大数据需要掌握哪些基础

数学分析
高等数学
概率
统计
算法
优化
编程语言（python C++ java等）
以上课程学完，然后再学编程和技巧。