㈠ Hadoop軟體包常見目錄說明
bin :
hadoop : 命令行
hadoop.cmd :運行在Windows上的
etc:
etc/hadoop:hadoop相關的配置文件存放目錄
sbin: 啟動hadoop相關進程的腳本
examples: 一些案例
lib: 依賴包
share : 常用例子
./hadoop:
㈡ hadoop2.7配置文件在哪個目錄
(1)dfs.replication:指定DataNode存儲block的副本數量,不大於DataNode的個數就行
(2)dfs.nameservices:cluster1,cluster2,使用federation(HDFS聯盟)時,如果使用了2個HDFS集群。這里抽象出兩個NameService實際上就是給這2個HDFS集群起了個別名。名字可以隨便起,相互不重復即可
(3)dfs.ha.namenodes.cluster1:hadoop101,hadoop102,指定NameService是cluster1時的namenode有哪些,這里的值也是邏輯名稱,名字隨便起,相互不重復即可
(4)dfs.namenode.rpc-address.cluster1.hadoop101:hadoop101:8020,指定hadoop101的RPC地址
(5)dfs.namenode.http-address.cluster1.hadoop101:hadoop101:50070,指定hadoop101的http地址!
㈢ 查看Hadoop安裝路徑
查看hadoop二進制文件路徑
查看hadoop二進制文件鏈接路徑
由此可知,hadoop安裝目錄為 /usr/local/Cellar/hadoop/3.1.1
而 core-site.xml 、 hdfs-site.xml 等配置文件的存放目錄為
/usr/local/Cellar/hadoop/3.1.1/libexec/etc/hadoop
㈣ 探索Hadoop數據存放目錄
core-site.xml文件位於$HADOOP_HOME/etc/hadoop路徑下,配置了hadoop數據存放路徑,包括namenode、datanode、journalnode的相關數據。
接下來,分別看看集群中不同節點的data目錄下有些什麼
顯然,hadoop001和hadoop002的data目錄下文件層次結構是一致的,hadoop003的data目錄下少了/hdfs/name相關內容。這是因為hadoop001和hadoop002分別是Namenode主備節點,而hadoop003僅為datanode。
進入/opt/mole/hadoop-2.7.3/data/hdfs/name
hadoop001和hadoop002是主備關系,$HADOOP_HOME/etc/hadoop/data/hdfs/name路徑下存放了主備同步所需的三類文件:edits、fsimage、seen_txid。
除上述主備同步的文件以外,還有一個VERSION文件,用於記錄namenode啟動或重啟、重新格式化後的重要信息。
以hadoop003為例
集群中每個節點都部署了Journal_node,以hadoop003為例
namenode、datanode、journalnode的VERSION中記錄的clusterID必須一致。
㈤ hadoop怎麼查看每個目錄的路徑
hadoop查看每個目錄的路徑需要驗證數據。
1、點擊shell命令,hadoopfscountq目錄ps,查看目錄下總的大小。
2、dfscount目錄ps,一樣的,hadoopfs目錄ps,查看目錄下每個子目錄的路徑。