从零开始学大数据算法

1. 想从零开始自学大数据，请问有哪些书籍推荐

在人人高呼的大数据时代，你是想继续做一个月薪6K+的码农，还是想要翻身学习成为炙手可热名企疯抢的大数据工程师呢？
随着互联网技术的发展，大数据行业前景非常被看好，有很多朋友对大数据行业心向往之，却苦于不知道该如何下手，或者说学习大数据不知道应该看些什么书。作为一个零基础大数据入门学习者该看哪些书?今天就给大家分享几本那些不容错过的大数据书籍。

1、《数据挖掘》
这是一本关于数据挖掘领域的综合概述，本书前版曾被KDnuggets的读者评选为最受欢迎的数据挖掘专著，是一本可读性极佳的教材。它从数据库角度全面系统地介绍数据挖掘的概念、方法和技术以及技术研究进展，并重点关注近年来该领域重要和最新的课题——数据仓库和数据立方体技术，流数据挖掘，社会化网络挖掘，空间、多媒体和其他复杂数据挖掘。
2、《Big Data》
这是一本在大数据的背景下，描述关于数据建模，数据层，数据处理需求分析以及数据架构和存储实现问题的书。这本书提供了令人耳目一新的全面解决方案。但不可忽略的是，它也引入了大多数开发者并不熟悉的、困扰传统架构的复杂性问题。本书将教你充分利用集群硬件优势的Lambda架构，以及专门用来捕获和分析网络规模数据的新工具，来创建这些系统。
3、《Mining of Massive Datasets》
这是一本书是关于数据挖掘的。但是本书主要关注极大规模数据的挖掘，也就是说这些数据大到无法在内存中存放。由于重点强调数据的规模，所以本书的例子大都来自Web本身或者Web上导出的数据。另外，本书从算法的角度来看待数据挖掘，即数据挖掘是将算法应用于数据，而不是使用数据来“训练”某种类型的机器学习引擎。

2. 大数据适合零基础的人学习吗

一般来说大数据的学习基础是java也就是说如果你有java的基础，学习起来就会很轻松。不过现在有很多的培训机构都说是可以0基础学习大数据，个人觉得还是有基础比较好。

3. 想学大数据，不知道如何入门

零基础学习大数据一般有以下几步：
1、了解大数据理论
2、计算机编程语言学习
3、大数据相关课程学习
4、实战项目
（1）了解大数据理论
要学习大数据你至少应该知道什么是大数据，大数据一般运用在什么领域。对大数据有一个大概的了解，你才能清楚自己对大数据究竟是否有兴趣，如果对大数据一无所知就开始学习，有可能学着学着发现自己其实不喜欢，这样浪费了时间精力，可能还浪费了金钱。所以如果想要学习大数据，需要先对大数据有一个大概的了解。
（2）计算机编程语言的学习
对于零基础的朋友，一开始入门可能不会太简单，大数据学习是需要java基础的，而对于从来没有接触过编程的朋友来说，要从零开始学习，是需要一定的时间和耐心的。
（3）大数据相关课程的学习
一般来说，大数据课程，包括大数据技术入门，海量数据高级分析语言，海量数据存储分布式存储，以及海量数据分析分布式计算等部分，Linux，Hadoop，Scala, HBase, Hive, Spark等专业课程。如果要完整的学习大数据的话，这些课程都是必不可少的。
（4）实战项目
不用多说，学习完任何一门技术，最后的实战训练是最重要的，进行一些实际项目的操作练手，可以帮助我们更好的理解所学的内容，同时对于相关知识也能加强记忆，在今后的运用中，也可以更快的上手，对于相关知识该怎么用也有了经验。

4. 大数据学习入门规划

大数据方向的工作目前分为三个主要方向:
01.大数据工程师
02.数据分析师
03.大数据科学家
04.其他（数据挖掘本质算是机器学习，不过和数据相关，也可以理解为大数据的一个方向吧）
一、大数据工程师的技能要求
二、大数据学习路径
三、学习资源推荐（书籍、博客、网站）
一、大数据工程师的技能要求总结如下:
必须技能10条:01.Java高级编程(虚拟机、并发)02.Linux 基本操作03.Hadoop（此处指HDFS+MapRece+Yarn ）04.HBase（JavaAPI操作+Phoenix ）05.Hive06.Kafka 、07.Storm08.Scala09.Python10.Spark (Core+sparksql+Spark streaming ）进阶技能6条:11.机器学习算法以及mahout库加MLlib12.R语言13.Lambda 架构14.Kappa架构15.Kylin16.Aluxio
二、学习路径
第一阶段:
01.Linux学习（跟鸟哥学就ok了）
02.Java 高级学习（《深入理解Java虚拟机》、《Java高并发实战》
第二阶段:
03.Hadoop （董西成的书）04.HBase（《HBase权威指南》）05.Hive（《Hive开发指南》）06.Scala（《快学Scala》）07.Spark （《Spark 快速大数据分析》）08.Python （跟着廖雪峰的博客学习就ok了）
第三阶段:对应技能需求，到网上多搜集一些资料就ok了，我把最重要的事情(要学什么告诉你了)，剩下的就是你去搜集对应的资料学习就ok了当然如果你觉得自己看书效率太慢，你可以网上搜集一些课程，跟着课程走也OK 。这个完全根据自己情况决定,如果看书效率不高就上网课，相反的话就自己看书。
三，学习资源推荐:01.Apache 官网02.Stackoverflow04.github03.Cloudra官网04.Databrick官网05.过往的记忆（技术博客）06.CSDN，51CTO 07.至于书籍当当、京东一搜会有很多，其实内容都差不多
那么如何从零开始规划大数据学习之路！
大数据的领域非常广泛，往往使想要开始学习大数据及相关技术的人望而生畏。大数据技术的种类众多，这同样使得初学者难以选择从何处下手。本文将为你开始学习大数据的征程以及在大数据产业领域找到工作指明道路，提供帮助。

5. 怎么自学大数据

自学大数据学习路线：（前提：以Java语言为基础）

总共分为四个模块：

• 大数据基础

• 大数据框架

• 大数据项目

• 其他

第一模块：大数据基础

• Java基础：集合，IO流

• JVM：重点是项目调优

• 多线程：理论和项目应用

• Linux：最基本的操作

这一个模块的重点是为了面试做准备，个人根据自己的情况去复习，复习的时候理论部分建议看书和博客资料，应用部分建议看视频和Demo调试。

下面分别去详细的介绍一下：

• Java基础：集合，IO流

主要是理论部分，可以看书或者博客总结，这一块没什么推荐的，网上很多资料可以找到。

• JVM：重点是项目调优

• 多线程：理论和项目应用

这两块重点要结合到项目中，通过项目中的实际使用，然后反馈到对应的理论基础，这一块建议在B站上看对应的视频。B站”尚硅谷“官网上的视频很详细。

• Linux：最基本的操作

这一块有时间，先把《鸟哥的Linux私房菜》这本书看一遍，然后装个Linux系统自己玩玩，对应的最常使用的命令自己敲敲。

如果没时间，就把最常用的命令自己敲敲，网上有对应的总结，自己很容易搜到。一定要自己敲敲。

第二模块：大数据框架

Hadoop：重点学，毕竟大数据是以Hadoop起家的，里面就HDFS，MapReces，YARN三个模块。

Hive：先学会怎么用，当作一个工具来学习。

Spark：重点学，用来替代Hadoop的MapReces的，里面重点有三块：Spark Core，Spark SQL，Spark Streaming。

Flink：我还没学。

Hbase：当作一个工具来学习，先学习怎么用。

Kafka：先学怎么用，其实里面的模块可以先理解成两部分：生产者和消费者。所有的核心都是围绕这两个展开的。

Flume：当作一个工具来学习，先学习怎么用。

Sqoop：当作一个工具来学习，先学习怎么用。

Azkaban：当作一个工具来学习，先学习怎么用。

Scala：这个是一门编程语句，基于Java 而来的，可以工作后在学习。

Zookeeper：当作一个工具来学习，先学习怎么用。

以上的学习视频和资料可以在B站的”尚硅谷“和”若泽大数据“里找到，很详细。资料目前最详细的资料就是各个框架对应的官网。视频里也是对着官网一步一步讲的。官网都是英文的，可以用Google浏览器的翻译插件，翻译成中文后在看。

第三模块：大数据项目

B站的”尚硅谷“和”若泽大数据“。

第四模块：其他

分布式：知道最基本的概念，有个分布式项目的经验。分布式项目可以在B站的”尚硅谷“里找到。

算法：网上有详细的总结，书：推荐《剑指Offer》和《算法4》，看算法的目的是先掌握实现算法的思路然后才是实现方式。

SQL：主要是调优，网上有很详细的总结。

除此之外：Storm框架不要学了。

很多准备前期都是为了面试，例如：JVM和多线程，SQL调优和算法。这些东西真正使用的过程中千差万别，但核心知识不变，所以面试的时候总是会问，这一块的前期以通过面试为主要点。

学习了差不多了，例如：Hadoop，Hive 和Spark学完了，就去面试面试，通过面试的情况在来调整自己的学习。

6. 学大数据需要什么基础

说到大数据，肯定少不了分析软件，这应该是大数据工作的根基，但市面上很多各种分析软件，如果不是过来人，真的很难找到适合自己或符合企业要求的。小编通过各大企业对大数据相关行业的岗位要求，总结了以下几点：
（1）SQL数据库的基本操作，会基本的数据管理
（2）会用Excel/SQL做基本的数据分析和展示
（3）会用脚本语言进行数据分析，Python or R
（4）有获取外部数据的能力，如爬虫
（5）会基本的数据可视化技能，能撰写数据报告
（6）熟悉常用的数据挖掘算法：回归分析、决策树、随机森林、支持向量机等
对于学习大数据，总体来说，先学基础，再学理论，最后是工具。基本上，每一门语言的学习都是要按照这个顺序来的。
1、学习数据分析基础知识，包括概率论、数理统计。基础这种东西还是要掌握好的啊，基础都还没扎实，知识大厦是很容易倒的哈。
2、你的目标行业的相关理论知识。比如金融类的，要学习证券、银行、财务等各种知识，不然到了公司就一脸懵逼啦。
3、学习数据分析工具，软件结合案列的实际应用，关于数据分析主流软件有(从上手度从易到难)：Excel，SPSS，stata，R，Python，SAS等。
4、学会怎样操作这些软件，然后是利用软件从数据的清洗开始一步步进行处理，分析，最后输出结果，检验及解读数据。
当然，学习数学与应用数学、统计学、计算机科学与技术等理工科专业的人确实比文科生有着客观的优势，但能力大于专业，兴趣才会决定你走得有多远。毕竟数据分析不像编程那样，需要你天天敲代码，要学习好多的编程语言，数据分析更注重的是你的实操和业务能力。如今的软件学习都是非常简单便捷的，我们真正需要提升的是自己的逻辑思维能力，以及敏锐的洞察能力，还得有良好的沟通表述能力。这些都是和自身的努力有关，而不是单纯凭借理工科背景就可以啃得下来的。相反这些能力更加倾向于文科生，毕竟好奇心、创造力也是一个人不可或缺的。

7. 如何开始学习大数据

首先我们要了解Java语言和操作系统，这两个是学习大数据的基础，学习的顺序不分前后。

Java ：只要了解一些基础即可，做大数据不需要很深的Java 技术，学java SE 就相当于有学习大数据基础。

Linux：因为大数据相关软件都是在Linux上运行的，所以Linux要学习的扎实一些，学好Linux对你快速掌握大数据相关技术会有很大的帮助，能让你更好的理解hadoop、hive、hbase、spark等大数据软件的运行环境和网络环境配置，能少踩很多坑，学会shell就能看懂脚本这样能更容易理解和配置大数据集群。还能让你对以后新出的大数据技术学习起来更快。

Hadoop：这是现在流行的大数据处理平台几乎已经成为大数据的代名词，所以这个是必学的。Hadoop里面包括几个组件HDFS、MapRece和YARN，HDFS是存储数据的地方就像我们电脑的硬盘一样文件都存储在这个上面，MapRece是对数据进行处理计算的，它有个特点就是不管多大的数据只要给它时间它就能把数据跑完，但是时间可能不是很快所以它叫数据的批处理。

Zookeeper：这是个万金油，安装Hadoop的HA的时候就会用到它，以后的Hbase也会用到它。它一般用来存放一些相互协作的信息，这些信息比较小一般不会超过1M，都是使用它的软件对它有依赖，对于我们个人来讲只需要把它安装正确，让它正常的run起来就可以了。

Mysql：我们学习完大数据的处理了，接下来学习学习小数据的处理工具mysql数据库，因为一会装hive的时候要用到，mysql需要掌握到什么层度那?你能在Linux上把它安装好，运行起来，会配置简单的权限，修改root的密码，创建数据库。这里主要的是学习SQL的语法，因为hive的语法和这个非常相似。

Sqoop：这个是用于把Mysql里的数据导入到Hadoop里的。当然你也可以不用这个，直接把Mysql数据表导出成文件再放到HDFS上也是一样的，当然生产环境中使用要注意Mysql的压力。

Hive：这个东西对于会SQL语法的来说就是神器，它能让你处理大数据变的很简单，不会再费劲的编写MapRece程序。有的人说Pig那?它和Pig差不多掌握一个就可以了。

Oozie：既然学会Hive了，我相信你一定需要这个东西，它可以帮你管理你的Hive或者MapRece、Spark脚本，还能检查你的程序是否执行正确，出错了给你发报警并能帮你重试程序，最重要的是还能帮你配置任务的依赖关系。我相信你一定会喜欢上它的，不然你看着那一大堆脚本，和密密麻麻的crond是不是有种想屎的感觉。

Hbase：这是Hadoop生态体系中的NOSQL数据库，他的数据是按照key和value的形式存储的并且key是唯一的，所以它能用来做数据的排重，它与MYSQL相比能存储的数据量大很多。所以他常被用于大数据处理完成之后的存储目的地。

Kafka：这是个比较好用的队列工具，队列是干吗的?排队买票你知道不?数据多了同样也需要排队处理，这样与你协作的其它同学不会叫起来，你干吗给我这么多的数据(比如好几百G的文件)我怎么处理得过来，你别怪他因为他不是搞大数据的，你可以跟他讲我把数据放在队列里你使用的时候一个个拿，这样他就不在抱怨了马上灰流流的去优化他的程序去了，因为处理不过来就是他的事情。而不是你给的问题。当然我们也可以利用这个工具来做线上实时数据的入库或入HDFS，这时你可以与一个叫Flume的工具配合使用，它是专门用来提供对数据进行简单处理，并写到各种数据接受方(比如Kafka)的。

Spark：它是用来弥补基于MapRece处理数据速度上的缺点，它的特点是把数据装载到内存中计算而不是去读慢的要死进化还特别慢的硬盘。特别适合做迭代运算，所以算法流们特别稀饭它。它是用scala编写的。Java语言或者Scala都可以操作它，因为它们都是用JVM的。

8. 零基础能学大数据吗大数据分析好不好学

0基础可以学习大数据的，只要你的学历在大专及以上
大数据分析师，回分两类：
一种偏向产品和运营答，更加注重业务，主要工作包括日常业务的异常监控、客户和市场研究、参与产品开发、建立数据模型提升运营效率等；
另一种则更注重数据挖掘技术，门槛较高，需要扎实的算法能力和代码能力。同时薪资待遇也更好。
第一种门槛低些，入门比较容易，第二类难度大些，对数学基础和算法等要求更高。如果是说第一类的话，认真一点是很好掌握的。

9. 入门大数据需要学习什么内容

作为一名零基础学习者，请不要将大数据开发看做一门与Java、python等相似的IT语言，大数据更像是一门技术，其所包含的内容相对比较多。在正式开始学习之前，可以买一些大数据相关书籍或者找一些网上的学习资料，先建立对行业以及对大数据相关职位的了解。

比如，大数据分为哪些发展方向，不同的发展方向对应哪些发展职位，各个职位的发展所要求的核心技能点是什么，企业对于大数据人才的需求是什么样的，了解清楚了这些，才能真正考虑清楚，学什么怎么学。

以大数据开发来说，其中涉及到的主要是大数据应用开发，要求一定的编程能力，在学习阶段，主要需要学习掌握大数据技术框架，包括hadoop、hive、oozie、flume、hbase、kafka、scala、spark等等……

以大数据分析来说，有主攻业务运营方面的数据分析师，也有主攻机器学习、深度学习等的数据挖掘师，具体到其中的各个职位，更是有着更加具体的技能要求，那么在学习阶段就要先做好相关的准备了。

关于入门大数据需要学习什么内容，青藤小编就和您分享到这里了。如果您对大数据工程有浓厚的兴趣，希望这篇文章可以为您提供帮助。如果您还想了解更多关于数据分析师、大数据工程师的技巧及素材等内容，可以点击本站的其他文章进行学习。

10. 0基础如何学习大数据

第一阶段：Java语言基础，只需要学习Java的标准版JavaSE就可以了，做大数据不需要很深的Java 技术，当然Java怎么连接数据库还是要知道。

第二阶段：Linux精讲(因为大数据相关软件都是在Linux上运行的，所以Linux要学习的扎实一些，学好Linux对你快速掌握大数据相关技术会有很大的帮助，能让你更好的理解hadoop、hive、hbase、spark等大数据软件的运行环境和网络环境配置，能少踩很多坑)。

第三阶段：Hadoop生态系统，这是现在流行的大数据处理平台几乎已经成为大数据的代名词，所以这个是必学的。Hadoop里面包括几个组件HDFS、MapRece和YARN，HDFS是存储数据的地方就像我们电脑的硬盘一样文件都存储在这个上面，MapRece是对数据进行处理计算的，它有个特点就是不管多大的数据只要给它时间它就能把数据跑完，但是时间可能不是很快所以它叫数据的批处理。

第四阶段:strom实时开发，torm是一个免费并开源的分布式实时计算系统。利用Storm可以很容易做到可靠地处理无限的数据流，像Hadoop批量处理大数据一样，Storm可以实时处理数据。Storm简单，可以使用任何编程语言。

第五阶段：Spark生态体系，它是用来弥补基于MapRece处理数据速度上的缺点，它的特点是把数据装载到内存中计算而不是去读慢的要死进化还特别慢的硬盘。特别适合做迭代运算，所以算法流们特别稀饭它。它是用scala编写的。

第六阶段：大数据项目实战，大数据实战项目可以帮助大家对大数据所学知识更加深刻的了解、认识，提高大数据实践技术。