第一階段：Java語言基礎
★ Java語言基礎
1、面向對象思維JAVASE
2、（類載入機制與反射，annotation，泛型，網路編程，多線程，IO，異常處理，常用API，面向對象，JAVA編程基礎）
3、Java8新特性
JAVA戰狼班第二階段：資料庫
★ 資料庫
1、Oracle（SQL語句、SQL語句原理、SQL語句優化、表、視圖
2、序列、索引、Oracle數據字典、Oracle 資料庫PL/SQL開發
3、資料庫設計原則、 MySQL 、 JDBC
第三階段：Web基礎
★ Web基礎
1、HTML5（H5）基本文檔結構、鏈接、列表、表格、表單;
2、CSS 基礎語法、盒子模型、浮動布局、定位;
3、JavaScript語言基礎、DOM 編程、事件模型等），JQuery，AJAX框架，XML，BootStrap組件
第四階段：Java Web技術和主流框架
★ Java Web技術和主流框架
1、jsP&Servlet、struts2，hibernate4，spring4，JPA，maven
2、SpringData，SpringMVC，MyBatis，SpringSecurity，shiro，Nginx
第五階段：Linux
★ Linux
1、Linux安裝、熟悉Linux的基礎命令、vi編輯器的使用、awk和sed命令使用、用戶和組
2、文件及目錄許可權管理、使用ACL進行高級訪問控制、網路配置和軟體包安裝、啟動流程和服務管理
3、系統監控和日誌管理、進程管理和計劃任務、ssh遠程登錄、shell基礎和shell腳本。
第六階段：大數據技術（Hadoop和Spark）
★ 大數據技術（Hadoop和Spark）
1、Hadoop （Hadoop基礎和環境搭建，HDFS體系結構，MapRece；Hadoop的集群模式、HDFS聯盟，利用ZooKeeper來實現Hadoop集群的HA（高可用性）功能
2、Yarn的任務調度機制，Apache Hive，Pig數據處理，集成Hadoop和Sqoop
3、Flume以及Apache Kafka來實現數據的交換,安裝部署HBase,Storm）
4、Scala 語言（Scala環境搭建、Scala基礎語法、模式匹配、重載與構造器、Map與rece、元組、繼承、StringContext，Option Some None，Tuple；集合方法和運算，future 對象同步處理和非同步處理返回結果）
5、Spark（Spark搭建，Spark-shell 的使用，Spark-submit 提交應用， Spark的內核設計和實現，並對內核中的實現架構、運行原理進行詳細的講解；Spark生態體系中的各個組件，包括：Spark Core，Shark，Spark SQL和Spark Streaming等等）
第七階段：項目
★ 項目
1、China-UCSP 項目 SSM(Spring+SpringMVC+MyBatis)
2、用戶關系管理系統 S2SH+Maven+Nodejs+MySQL技術實戰開發
3、電子商務交易平台 S2SH+Maven+Shiro+Oracle
㈡ hbase java端調用
這是缺少必要的類org/apache/hadoop/thirdparty/guava/common/primitives/UnsignedBytes
你可以到jarsearch上搜索含有這個類的jar包，然後把它放到classpath下就行了
㈢ HDFS文件
Hadoop支持的文件系統由很多（見下圖），HDFS只是其中一種實現。Java抽象類 org.apache.hadoop.fs.FileSystem 定義了Hadoop中一個文件系統的客戶端介面，並且該抽象類有幾個具體實現。Hadoop一般使用URI（下圖）方案來選取合適的文件系統實例進行交互。
特別的，HDFS文件系統的操作可以使用 FsSystem shell 、客戶端（http rest api、Java api、C api等）。
FsSystem shell 的用法基本同本地shell類似，命令可參考 FsSystem shell
Hadoop是用Java寫的，通過Java Api（ FileSystem 類）可以調用大部分Hadoop文件系統的交互操作。更詳細的介紹可參考 hadoop Filesystem 。
非Java開發的應用可以使用由WebHDFS協議提供的HTTP REST API，但是HTTP比原生的Java客戶端要慢，所以不到萬不得已盡量不要使用HTTP傳輸特大數據。通過HTTP來訪問HDFS有兩種方法：
兩種如圖
在第一種情況中，namenode和datanode內嵌的web服務作為WebHDFS的端節點運行（是否啟用WebHDFS可通過dfs.webhdfs.enabled設置，默認為true）。文件元數據在namenode上，文件讀寫操作首先被發往namenode，有namenode發送一個HTTP重定向至某個客戶端，指示以流的方式傳輸文件數據的目的或源datanode。
第二種方法依靠一個或多個獨立代理伺服器通過HTTP訪問HDFS。所有集群的網路通信都需要通過代理，因此客戶端從來不直接訪問namenode或datanode。使用代理後可以使用更嚴格的防火牆策略和帶寬策略。
HttpFs代理提供和WebHDFS相同的HTTP介面，這樣客戶端能夠通過webhdfs URI訪問介面。HttpFS代理啟動獨立於namenode和datanode的守護進程，使用httpfs.sh 腳本，默認在一個不同的埠上監聽（14000）。
下圖描述了
讀文件時客戶端與 HDFS 中的 namenode， datanode 之間的數據流動。
對上圖的解釋如下：
在讀取過程中， 如果 FSDataInputStream 在和一個 datanode 進行交流時出現了一個錯誤，他就去試一試下一個最接近的塊，他當然也會記住剛才發生錯誤的 datanode 以至於之後不會再在這個 datanode 上進行沒必要的嘗試。 DFSInputStream 也會在 datanode 上傳輸出的數據上核查檢查數(checknums).如果損壞的塊被發現了， DFSInputStream 就試圖從另一個擁有備份的 datanode 中去讀取備份塊中的數據。
在這個設計中一個重要的方面就是客戶端直接從 datanode 上檢索數據，並通過 namenode 指導來得到每一個塊的最佳 datanode。這種設計允許 HDFS 擴展大量的並發客戶端，因為數據傳輸只是集群上的所有 datanode 展開的。期間，namenode 僅僅只需要服務於獲取塊位置的請求（塊位置信息是存放在內存中，所以效率很高）。如果不這樣設計，隨著客戶端數據量的增長，數據服務就會很快成為一個瓶頸。
我們知道，相對於客戶端(之後就是 maprece task 了)，塊的位置有以下可能性：
我們認為他們對於客戶端的帶寬遞減，距離遞增（括弧中表示距離）。示意圖如下：
如果集群中的機器都在同一個機架上，我們無需其他配置，若集群比較復雜，由於hadoop無法自動發現網路拓撲，所以需要額外配置網路拓撲。
基本讀取程序，將文件內容輸出到console
FileSystemCat
隨機讀取
展開原碼
下圖描述了寫文件時客戶端與 HDFS 中的 namenode， datanode 之間的數據流動。
對上圖的解釋如下：
如果在任何一個 datanode 在寫入數據的時候失敗了，接下來所做的一切對客戶端都是透明的：首先， pipeline 被關閉，在確認隊列中的剩下的包會被添加進數據隊列的起始位置上，以至於在失敗的節點下游的任 何節點都不會丟失任何的包。然後與 namenode 聯系後，當前在一個好的 datanode 會聯系 namenode， 給失敗節點上還未寫完的塊生成一個新的標識ID， 以至於如果這個失敗的 datanode 不久後恢復了，這個不完整的塊將會被刪除。失敗節點會從 pipeline 中移除，然後剩下兩個好的 datanode 會組成一個的新的 pipeline ，剩下的 這些塊的包(也就是剛才放在數據隊列隊首的包)會繼續寫進 pipeline 中好的 datanode 中。最後，namenode 注意到塊備份數小於規定的備份數，他就安排在另一個節點上創建完成備份，直接從已有的塊中復制就可以。然後一直到滿足了備份數( dfs.replication )。如果有多個節點的寫入失敗了，如果滿足了最小備份數的設置( dfs.namenode.repliction.min ),寫入也將會成功，然後剩下的備份會被集群非同步的執行備份，直到滿足了備份數( dfs.replication )。
創建目錄
文件壓縮有兩大好處：
Hadoop 對於壓縮格式的是自動識別。如果我們壓縮的文件有相應壓縮格式的擴展名（比如 lzo，gz，bzip2 等）。Hadoop 會根據壓縮格式的擴展名自動選擇相對應的解碼器來解壓數據，此過程完全是 Hadoop 自動處理，我們只需要確保輸入的壓縮文件有擴展名。
Hadoop中有多種壓縮格式、演算法和工具，下圖列出了常用的壓縮方法。
表中的「是否可切分」表示對應的壓縮演算法是否支持切分，也就是說是否可以搜索數據流的任意位置並進一步往下讀取數據，可切分的壓縮格式尤其適合MapRece。
所有的壓縮演算法都需要權衡空間/時間：壓縮和解壓縮速度更快，其代價通常是只能節省少量的空間。不同的壓縮工具有不同的特性：
更詳細的比較如下
1.壓縮性能比較
2.優缺點
另外使用hadoop原生（native）類庫比其他java實現有更快的壓縮和解壓縮速度。特徵比較如下：
使用容器文件格式結合壓縮演算法也能更好的提高效率。順序文件、Arvo文件、ORCFiles、Parqurt文件同時支持壓縮和切分。
壓縮舉例（Java）
壓縮
解壓縮
六、文件序列化
序列化是指將結構化數據轉換為位元組流以便在網路上傳輸或寫到磁碟進行永久存儲。反序列化獅子將位元組流轉換回結構化對象的逆過程。
序列化用於分布式數據處理的兩大領域：進程間通信和永久存儲。
對序列化的要求時是格式緊湊（高效使用存儲空間）、快速（讀寫效率高）、可擴展（可以透明地讀取老格式數據）且可以互操作（可以使用不同的語言讀寫數據）。
Hadoop使用的是自己的序列化格式 Writable ，它絕對緊湊、速度快，但不太容易用java以外的語言進行擴展或使用。
當然，用戶也可以使用其他序列化框架或者自定義序列化方式，如 Avro 框架。
Hadoop內部還使用了 Apache Thrift 和 Protocal Buffers 來實現RPC和數據交換。
㈣ 我正在搗騰hadoop，用java編寫了一個程序，想要連接到hdfs上，運行後顯示如下，這是什麼問題呢求解！
你的hadoop是2.X的，但是還是按1.X的配置，需修改配置，或者還原hadoop版本。
㈤ 如何用java實現基於JedisCluster對象的連接池
基於redis集群的java小demo，用於從hadoop中讀取文件，然後寫入redis集群，但是單個連接在生產中不夠效率，不知道哪位大神能給點基於JedisCluster的連接池示例？
下面是我的一點代碼
`static {
URL.setURLStreamHandlerFactory(new FsUrlStreamHandlerFactory());
}
public static void main(String[] args) throws Exception {
writeRedis("hdfs://mycluster/test/test.txt",new int[]{0});
//writeRedis(initConfig());
}
public static void writeRedis(String inpath, int[] keyIndex) throws Exception {
InputStream in = new URL(inpath).openStream();// 輸入流 ]
LineIterator br = org.apache.commons.io.IOUtils.lineIterator(in, "utf8");// 指定輸入流與字元編碼
JedisCluster cluster = RedisUtils.getClusterConn();
String[] line = null;
while (br.hasNext()) {
String s = br.next();
line = RedisUtils.split(s);
String key = "";
for (int i = 0; i < keyIndex.length; i++) {
key += line[keyIndex[i]];// TODO:如果有必要，添加分隔符
}
cluster.setnx(key, s);
}
RedisUtils.clusterClose(cluster);
}`
㈥ Java入門如何學習怎麼學好Java開發
Java如今已經是全球編程語言排名第一的語源稿言，運用廣泛，前景廣闊，而且很多軟體的開發都離不開Java，而在以Java為核心的開發領域中，JavaEE程序員的需求量10年來一直居於首位!也正是因為如此很多的小夥伴參加Java培訓，當然也有部分小夥伴想要先了解一下，Java到底是什麼，怎麼可以學好，有個大概的認知才參加Java培訓或者Java學習，那麼Java入門如何學習?怎麼學好Java開發?學習要點是什麼?掌握以下內容讓Java入門更快，掌握Java更輕松。
一、Java入門如何學習?怎麼學好Java開發?Java必備基礎知識
1、你需要精通面向對象分析與設計(OOA/OOD)、涉及模式(GOF，J2EEDP)以及綜合模式。你應該十分了解UML，尤其是class，object，interaction以及statediagrams。
2、你需要學習JAVA語言的基礎知識以及局碰它的核心類庫(collections，serialization，streams，networking，multithreading，reflection以及其他)。
3、你應該了解JVM，classloaders，classreflect，以及垃圾回收的基本工作機制等。你應該有能力反編譯一個類文件並且明白一些基本的匯編指令。
4、你需要學習java資料庫技術，如JDBCAPI並且會使用至少一種persistence/ORM構架，例如Hibernate，JDO，CocoBase，TopLink，InsideLiberator或者iBatis。
5、你應該熟練掌握一種JAVAIDE例如sunOne，netBeans，IntelliJIDEA或者Eclipse。(有些人更喜歡VI或EMACS來編寫文件。隨便你用什麼了：)
6、JAVA(精確的說是有些配置)是冗長的，它需要很多的人工代碼(例如EJB)，所以你需要熟悉代碼生成工具，例如XDoclet等等。
二、Java入門如何學習?怎麼學好Java開發?Java學習5大階段
階段1：Java設計和編程思想掌握的技能：
精通面向對象思想和Java基礎語法;熟練Java異常處理;精通JavaI/O操作;掌握Java多線程操作;精通Jjava集合類的使用;掌握Java網路編程;精通資料庫/JDBC的使用。
階段2：Web前端開發掌握的技能：
掌握html+css+js相關技術;通過H5相關的庫快速編寫代碼;搭桐裂談建符合大數據要求的界面，使前端+後端+大數據實現三維一體。
階段3：JavaEE進階掌握的技能：
掌握Tomcat/Nginx伺服器搭建;掌握Jsp&Servlet的使用;精通SSH、SSM兩大流行框架的原理及使用。
階段4：大數據核心知識掌握的技能：
了解hadoop機制原理;了解hadoop集群搭建過程;了解HdfsAPI使用以及mr編程模型;了解hive、hbase、sqoop、flume等組件的使用方法。
階段5：綜合項目掌握的技能：
大型網上商城項目、當日達項目、點餐系統、網上書城、OA辦公自動化項目、CRM客戶關系管理項目等企業真實綜合項目開發能力，達到中高級Java工程師的技術水平。
Java入門如何學習?怎麼學好Java開發?這是一個從易到難再到易的過程，需要一步一個腳印去學習，嚴格意義上說，java是一門較復雜的編程語言，不下苦功，是不可能學到非常好的層次。
同樣，學習java為了最快的提升效率和保證你能夠學會，還是需要找一家正規專業的培訓機構，接受系統化的學習和掌握java實戰項目，才能從入門到精通，更快成為一名合格的java工程師。
學Java當然要到17年技術積累的昌平北大青鳥教育，引領行業的技術，一線技術專家，15萬家就業合作企業。技術，求職，高薪，你的所有問題都能一站式解決!
2月份Java免費訓練營火熱報名中，經典Java免費課程限額送，一線技術大牛，為你解析行業前景，就業形勢，面試真經，讓你一站式成為Java大牛工程師，名額有限，填寫下面的表格即可獲得試聽資格！