導航:首頁 > 數據分析 > hdfs如何看數據

hdfs如何看數據

發布時間:2023-07-01 01:28:37

① Hdfs怎麼看副本數

解決方法如下:
hdfs的默認副本數量是3個,配置在/etc/hadoop/conf/hdfs-site.xml中 dfs.replication。
我們也可以通過hdfs dfs -ls /path/to/file 命令查看hdfs上的文件: 文件類型會在第二列顯示副本數量。
hdfs中副本數量沒有達到配置的數量則會自動進行備份,此時datanode節點之間會大量復制文件,集群性能會暫時受到影響。

② 用c++讀取hdfs中的文件,使用libhdfs應該怎麼配置

  1. 建立、關閉與HDFS連接:hdfsConnect()、hdfsConnectAsUser()、hdfsDisconnect()。hdfsConnect()實際上是直接調用hdfsConnectAsUser。

  2. 打開、關閉HDFS文件:hdfsOpenFile()、hdfsCloseFile()。當用hdfsOpenFile()創建文件時,可以指定replication和blocksize參數。寫打開一個文件時,隱含O_TRUNC標志,文件會被截斷,寫入是從文件頭開始的。

  3. 讀HDFS文件:hdfsRead()、hdfsPread()。兩個函數都有可能返回少於用戶要求的位元組數,此時可以再次調用這兩個函數讀入剩下的部分(類似APUE中的readn實現);只有在兩個函數返回零時,我們才能斷定到了文件末尾。

  4. 寫HDFS文件:hdfsWrite()。HDFS不支持隨機寫,只能是從文件頭順序寫入。

  5. 查詢HDFS文件信息:hdfsGetPathInfo()

  6. 查詢和設置HDFS文件讀寫偏移量:hdfsSeek()、hdfsTell()

  7. 查詢數據塊所在節點信息:hdfsGetHosts()。返回一個或多個數據塊所在數據節點的信息,一個數據塊可能存在多個數據節點上。

  8. libhdfs中的函數是通過jni調用JAVA虛擬機,在虛擬機中構造對應的HDFS的JAVA類,然後反射調用該類的功能函數。總會發生JVM和程序之間內存拷貝的動作,性能方面值得注意。

  9. HDFS不支持多個客戶端同時寫入的操作,無文件或是記錄鎖的概念。

  10. 建議只有超大文件才應該考慮放在HDFS上,而且最好對文件的訪問是寫一次,讀多次。小文件不應該考慮放在HDFS上,得不償失!

③ 如何遠程讀取CDH的hadoop上的HDFS數據

需要在實例化出來的Configuration中加入HDFS的埠路徑即可,其他的除了hadoop的jar包外,任何配置文件都不需要,核心代碼如下:

static Configuration conf=new Configuration();
static FileSystem fs=null;
static{
try {
//默認的hadoop的fs.defaultFS的埠號為8020,這里需要跟集群裡面的配置一致
conf.set("fs.defaultFS","hdfs://dnode1:8020/");
fs=FileSystem.get(conf);
} catch (IOException e) {
log.error("初始化FileSystem失敗!",e);
}
}

OK,只需要這簡單的一行,我們就可以讀取HDFS上的數據了

④ impala可以獲取hdfs目錄下的數據嗎

如果和數據block不在同一個host上,那麼就是使用HDFSDataTransaferProtocol(不是正式的命名,意會即可)來讀,也就是一個二進制協議走TCP鏈接。
如果是在同一個host上,那麼是利用了HDFS中"short-circuit local reads"技術。簡單來說,從DataNode那邊獲取到所需數據的Meta信息,然後直接通過系統調用open/read來讀取。

閱讀全文

與hdfs如何看數據相關的資料

熱點內容
2017年蘋果5s可以買嘛 瀏覽:153
加密文件在什麼地方找不到了 瀏覽:676
網卡驅動文件夾 瀏覽:444
iphone6qq關聯賬號顯示台機 瀏覽:709
java文件名亂碼 瀏覽:553
什麼是網橋編程固件 瀏覽:732
jquery實現網站向導提示操作插件 瀏覽:257
java小游戲實例 瀏覽:775
電腦系統能升級64 瀏覽:591
數據如何導入進sql 瀏覽:324
iosqq怎麼發文件夾 瀏覽:285
編程出社會後能做什麼工作 瀏覽:73
為什麼說數據層是里子呢 瀏覽:171
eset官方卸載工具 瀏覽:803
手機百度我在哪個文件夾 瀏覽:646
lumia925拍照對蘋果6 瀏覽:599
oraclelinux711gr2 瀏覽:516
公文格式圖片紅頭文件 瀏覽:430
word文件按標題批量改名工具 瀏覽:321
linuxversionh 瀏覽:728

友情鏈接