第一阶段：Java语言基础
★ Java语言基础
1、面向对象思维JAVASE
2、（类加载机制与反射，annotation，泛型，网络编程，多线程，IO，异常处理，常用API，面向对象，JAVA编程基础）
3、Java8新特性
JAVA战狼班第二阶段：数据库
★ 数据库
1、Oracle（SQL语句、SQL语句原理、SQL语句优化、表、视图
2、序列、索引、Oracle数据字典、Oracle 数据库PL/SQL开发
3、数据库设计原则、 MySQL 、 JDBC
第三阶段：Web基础
★ Web基础
1、HTML5（H5）基本文档结构、链接、列表、表格、表单;
2、CSS 基础语法、盒子模型、浮动布局、定位;
3、JavaScript语言基础、DOM 编程、事件模型等），JQuery，AJAX框架，XML，BootStrap组件
第四阶段：Java Web技术和主流框架
★ Java Web技术和主流框架
1、jsP&Servlet、struts2，hibernate4，spring4，JPA，maven
2、SpringData，SpringMVC，MyBatis，SpringSecurity，shiro，Nginx
第五阶段：Linux
★ Linux
1、Linux安装、熟悉Linux的基础命令、vi编辑器的使用、awk和sed命令使用、用户和组
2、文件及目录权限管理、使用ACL进行高级访问控制、网络配置和软件包安装、启动流程和服务管理
3、系统监控和日志管理、进程管理和计划任务、ssh远程登录、shell基础和shell脚本。
第六阶段：大数据技术（Hadoop和Spark）
★ 大数据技术（Hadoop和Spark）
1、Hadoop （Hadoop基础和环境搭建，HDFS体系结构，MapRece；Hadoop的集群模式、HDFS联盟，利用ZooKeeper来实现Hadoop集群的HA（高可用性）功能
2、Yarn的任务调度机制，Apache Hive，Pig数据处理，集成Hadoop和Sqoop
3、Flume以及Apache Kafka来实现数据的交换,安装部署HBase,Storm）
4、Scala 语言（Scala环境搭建、Scala基础语法、模式匹配、重载与构造器、Map与rece、元组、继承、StringContext，Option Some None，Tuple；集合方法和运算，future 对象同步处理和异步处理返回结果）
5、Spark（Spark搭建，Spark-shell 的使用，Spark-submit 提交应用， Spark的内核设计和实现，并对内核中的实现架构、运行原理进行详细的讲解；Spark生态体系中的各个组件，包括：Spark Core，Shark，Spark SQL和Spark Streaming等等）
第七阶段：项目
★ 项目
1、China-UCSP 项目 SSM(Spring+SpringMVC+MyBatis)
2、用户关系管理系统 S2SH+Maven+Nodejs+MySQL技术实战开发
3、电子商务交易平台 S2SH+Maven+Shiro+Oracle
㈡ hbase java端调用
这是缺少必要的类org/apache/hadoop/thirdparty/guava/common/primitives/UnsignedBytes
你可以到jarsearch上搜索含有这个类的jar包，然后把它放到classpath下就行了
㈢ HDFS文件
Hadoop支持的文件系统由很多（见下图），HDFS只是其中一种实现。Java抽象类 org.apache.hadoop.fs.FileSystem 定义了Hadoop中一个文件系统的客户端接口，并且该抽象类有几个具体实现。Hadoop一般使用URI（下图）方案来选取合适的文件系统实例进行交互。
特别的，HDFS文件系统的操作可以使用 FsSystem shell 、客户端（http rest api、Java api、C api等）。
FsSystem shell 的用法基本同本地shell类似，命令可参考 FsSystem shell
Hadoop是用Java写的，通过Java Api（ FileSystem 类）可以调用大部分Hadoop文件系统的交互操作。更详细的介绍可参考 hadoop Filesystem 。
非Java开发的应用可以使用由WebHDFS协议提供的HTTP REST API，但是HTTP比原生的Java客户端要慢，所以不到万不得已尽量不要使用HTTP传输特大数据。通过HTTP来访问HDFS有两种方法：
两种如图
在第一种情况中，namenode和datanode内嵌的web服务作为WebHDFS的端节点运行（是否启用WebHDFS可通过dfs.webhdfs.enabled设置，默认为true）。文件元数据在namenode上，文件读写操作首先被发往namenode，有namenode发送一个HTTP重定向至某个客户端，指示以流的方式传输文件数据的目的或源datanode。
第二种方法依靠一个或多个独立代理服务器通过HTTP访问HDFS。所有集群的网络通信都需要通过代理，因此客户端从来不直接访问namenode或datanode。使用代理后可以使用更严格的防火墙策略和带宽策略。
HttpFs代理提供和WebHDFS相同的HTTP接口，这样客户端能够通过webhdfs URI访问接口。HttpFS代理启动独立于namenode和datanode的守护进程，使用httpfs.sh 脚本，默认在一个不同的端口上监听（14000）。
下图描述了
读文件时客户端与 HDFS 中的 namenode， datanode 之间的数据流动。
对上图的解释如下：
在读取过程中， 如果 FSDataInputStream 在和一个 datanode 进行交流时出现了一个错误，他就去试一试下一个最接近的块，他当然也会记住刚才发生错误的 datanode 以至于之后不会再在这个 datanode 上进行没必要的尝试。 DFSInputStream 也会在 datanode 上传输出的数据上核查检查数(checknums).如果损坏的块被发现了， DFSInputStream 就试图从另一个拥有备份的 datanode 中去读取备份块中的数据。
在这个设计中一个重要的方面就是客户端直接从 datanode 上检索数据，并通过 namenode 指导来得到每一个块的最佳 datanode。这种设计允许 HDFS 扩展大量的并发客户端，因为数据传输只是集群上的所有 datanode 展开的。期间，namenode 仅仅只需要服务于获取块位置的请求（块位置信息是存放在内存中，所以效率很高）。如果不这样设计，随着客户端数据量的增长，数据服务就会很快成为一个瓶颈。
我们知道，相对于客户端(之后就是 maprece task 了)，块的位置有以下可能性：
我们认为他们对于客户端的带宽递减，距离递增（括号中表示距离）。示意图如下：
如果集群中的机器都在同一个机架上，我们无需其他配置，若集群比较复杂，由于hadoop无法自动发现网络拓扑，所以需要额外配置网络拓扑。
基本读取程序，将文件内容输出到console
FileSystemCat
随机读取
展开原码
下图描述了写文件时客户端与 HDFS 中的 namenode， datanode 之间的数据流动。
对上图的解释如下：
如果在任何一个 datanode 在写入数据的时候失败了，接下来所做的一切对客户端都是透明的：首先， pipeline 被关闭，在确认队列中的剩下的包会被添加进数据队列的起始位置上，以至于在失败的节点下游的任 何节点都不会丢失任何的包。然后与 namenode 联系后，当前在一个好的 datanode 会联系 namenode， 给失败节点上还未写完的块生成一个新的标识ID， 以至于如果这个失败的 datanode 不久后恢复了，这个不完整的块将会被删除。失败节点会从 pipeline 中移除，然后剩下两个好的 datanode 会组成一个的新的 pipeline ，剩下的 这些块的包(也就是刚才放在数据队列队首的包)会继续写进 pipeline 中好的 datanode 中。最后，namenode 注意到块备份数小于规定的备份数，他就安排在另一个节点上创建完成备份，直接从已有的块中复制就可以。然后一直到满足了备份数( dfs.replication )。如果有多个节点的写入失败了，如果满足了最小备份数的设置( dfs.namenode.repliction.min ),写入也将会成功，然后剩下的备份会被集群异步的执行备份，直到满足了备份数( dfs.replication )。
创建目录
文件压缩有两大好处：
Hadoop 对于压缩格式的是自动识别。如果我们压缩的文件有相应压缩格式的扩展名（比如 lzo，gz，bzip2 等）。Hadoop 会根据压缩格式的扩展名自动选择相对应的解码器来解压数据，此过程完全是 Hadoop 自动处理，我们只需要确保输入的压缩文件有扩展名。
Hadoop中有多种压缩格式、算法和工具，下图列出了常用的压缩方法。
表中的“是否可切分”表示对应的压缩算法是否支持切分，也就是说是否可以搜索数据流的任意位置并进一步往下读取数据，可切分的压缩格式尤其适合MapRece。
所有的压缩算法都需要权衡空间/时间：压缩和解压缩速度更快，其代价通常是只能节省少量的空间。不同的压缩工具有不同的特性：
更详细的比较如下
1.压缩性能比较
2.优缺点
另外使用hadoop原生（native）类库比其他java实现有更快的压缩和解压缩速度。特征比较如下：
使用容器文件格式结合压缩算法也能更好的提高效率。顺序文件、Arvo文件、ORCFiles、Parqurt文件同时支持压缩和切分。
压缩举例（Java）
压缩
解压缩
六、文件序列化
序列化是指将结构化数据转换为字节流以便在网络上传输或写到磁盘进行永久存储。反序列化狮子将字节流转换回结构化对象的逆过程。
序列化用于分布式数据处理的两大领域：进程间通信和永久存储。
对序列化的要求时是格式紧凑（高效使用存储空间）、快速（读写效率高）、可扩展（可以透明地读取老格式数据）且可以互操作（可以使用不同的语言读写数据）。
Hadoop使用的是自己的序列化格式 Writable ，它绝对紧凑、速度快，但不太容易用java以外的语言进行扩展或使用。
当然，用户也可以使用其他序列化框架或者自定义序列化方式，如 Avro 框架。
Hadoop内部还使用了 Apache Thrift 和 Protocal Buffers 来实现RPC和数据交换。
㈣ 我正在捣腾hadoop，用java编写了一个程序，想要连接到hdfs上，运行后显示如下，这是什么问题呢求解！
你的hadoop是2.X的，但是还是按1.X的配置，需修改配置，或者还原hadoop版本。
㈤ 如何用java实现基于JedisCluster对象的连接池
基于redis集群的java小demo，用于从hadoop中读取文件，然后写入redis集群，但是单个连接在生产中不够效率，不知道哪位大神能给点基于JedisCluster的连接池示例？
下面是我的一点代码
`static {
URL.setURLStreamHandlerFactory(new FsUrlStreamHandlerFactory());
}
public static void main(String[] args) throws Exception {
writeRedis("hdfs://mycluster/test/test.txt",new int[]{0});
//writeRedis(initConfig());
}
public static void writeRedis(String inpath, int[] keyIndex) throws Exception {
InputStream in = new URL(inpath).openStream();// 输入流 ]
LineIterator br = org.apache.commons.io.IOUtils.lineIterator(in, "utf8");// 指定输入流与字符编码
JedisCluster cluster = RedisUtils.getClusterConn();
String[] line = null;
while (br.hasNext()) {
String s = br.next();
line = RedisUtils.split(s);
String key = "";
for (int i = 0; i < keyIndex.length; i++) {
key += line[keyIndex[i]];// TODO:如果有必要，添加分隔符
}
cluster.setnx(key, s);
}
RedisUtils.clusterClose(cluster);
}`
㈥ Java入门如何学习怎么学好Java开发
Java如今已经是全球编程语言排名第一的语源稿言，运用广泛，前景广阔，而且很多软件的开发都离不开Java，而在以Java为核心的开发领域中，JavaEE程序员的需求量10年来一直居于首位!也正是因为如此很多的小伙伴参加Java培训，当然也有部分小伙伴想要先了解一下，Java到底是什么，怎么可以学好，有个大概的认知才参加Java培训或者Java学习，那么Java入门如何学习?怎么学好Java开发?学习要点是什么?掌握以下内容让Java入门更快，掌握Java更轻松。
一、Java入门如何学习?怎么学好Java开发?Java必备基础知识
1、你需要精通面向对象分析与设计(OOA/OOD)、涉及模式(GOF，J2EEDP)以及综合模式。你应该十分了解UML，尤其是class，object，interaction以及statediagrams。
2、你需要学习JAVA语言的基础知识以及局碰它的核心类库(collections，serialization，streams，networking，multithreading，reflection以及其他)。
3、你应该了解JVM，classloaders，classreflect，以及垃圾回收的基本工作机制等。你应该有能力反编译一个类文件并且明白一些基本的汇编指令。
4、你需要学习java数据库技术，如JDBCAPI并且会使用至少一种persistence/ORM构架，例如Hibernate，JDO，CocoBase，TopLink，InsideLiberator或者iBatis。
5、你应该熟练掌握一种JAVAIDE例如sunOne，netBeans，IntelliJIDEA或者Eclipse。(有些人更喜欢VI或EMACS来编写文件。随便你用什么了：)
6、JAVA(精确的说是有些配置)是冗长的，它需要很多的人工代码(例如EJB)，所以你需要熟悉代码生成工具，例如XDoclet等等。
二、Java入门如何学习?怎么学好Java开发?Java学习5大阶段
阶段1：Java设计和编程思想掌握的技能：
精通面向对象思想和Java基础语法;熟练Java异常处理;精通JavaI/O操作;掌握Java多线程操作;精通Jjava集合类的使用;掌握Java网络编程;精通数据库/JDBC的使用。
阶段2：Web前端开发掌握的技能：
掌握html+css+js相关技术;通过H5相关的库快速编写代码;搭桐裂谈建符合大数据要求的界面，使前端+后端+大数据实现三维一体。
阶段3：JavaEE进阶掌握的技能：
掌握Tomcat/Nginx服务器搭建;掌握Jsp&Servlet的使用;精通SSH、SSM两大流行框架的原理及使用。
阶段4：大数据核心知识掌握的技能：
了解hadoop机制原理;了解hadoop集群搭建过程;了解HdfsAPI使用以及mr编程模型;了解hive、hbase、sqoop、flume等组件的使用方法。
阶段5：综合项目掌握的技能：
大型网上商城项目、当日达项目、点餐系统、网上书城、OA办公自动化项目、CRM客户关系管理项目等企业真实综合项目开发能力，达到中高级Java工程师的技术水平。
Java入门如何学习?怎么学好Java开发?这是一个从易到难再到易的过程，需要一步一个脚印去学习，严格意义上说，java是一门较复杂的编程语言，不下苦功，是不可能学到非常好的层次。
同样，学习java为了最快的提升效率和保证你能够学会，还是需要找一家正规专业的培训机构，接受系统化的学习和掌握java实战项目，才能从入门到精通，更快成为一名合格的java工程师。
学Java当然要到17年技术积累的昌平北大青鸟教育，引领行业的技术，一线技术专家，15万家就业合作企业。技术，求职，高薪，你的所有问题都能一站式解决!
2月份Java免费训练营火热报名中，经典Java免费课程限额送，一线技术大牛，为你解析行业前景，就业形势，面试真经，让你一站式成为Java大牛工程师，名额有限，填写下面的表格即可获得试听资格！