导航:首页 > 数据分析 > hdfs如何看数据

hdfs如何看数据

发布时间:2023-07-01 01:28:37

① Hdfs怎么看副本数

解决方法如下:
hdfs的默认副本数量是3个,配置在/etc/hadoop/conf/hdfs-site.xml中 dfs.replication。
我们也可以通过hdfs dfs -ls /path/to/file 命令查看hdfs上的文件: 文件类型会在第二列显示副本数量。
hdfs中副本数量没有达到配置的数量则会自动进行备份,此时datanode节点之间会大量复制文件,集群性能会暂时受到影响。

② 用c++读取hdfs中的文件,使用libhdfs应该怎么配置

  1. 建立、关闭与HDFS连接:hdfsConnect()、hdfsConnectAsUser()、hdfsDisconnect()。hdfsConnect()实际上是直接调用hdfsConnectAsUser。

  2. 打开、关闭HDFS文件:hdfsOpenFile()、hdfsCloseFile()。当用hdfsOpenFile()创建文件时,可以指定replication和blocksize参数。写打开一个文件时,隐含O_TRUNC标志,文件会被截断,写入是从文件头开始的。

  3. 读HDFS文件:hdfsRead()、hdfsPread()。两个函数都有可能返回少于用户要求的字节数,此时可以再次调用这两个函数读入剩下的部分(类似APUE中的readn实现);只有在两个函数返回零时,我们才能断定到了文件末尾。

  4. 写HDFS文件:hdfsWrite()。HDFS不支持随机写,只能是从文件头顺序写入。

  5. 查询HDFS文件信息:hdfsGetPathInfo()

  6. 查询和设置HDFS文件读写偏移量:hdfsSeek()、hdfsTell()

  7. 查询数据块所在节点信息:hdfsGetHosts()。返回一个或多个数据块所在数据节点的信息,一个数据块可能存在多个数据节点上。

  8. libhdfs中的函数是通过jni调用JAVA虚拟机,在虚拟机中构造对应的HDFS的JAVA类,然后反射调用该类的功能函数。总会发生JVM和程序之间内存拷贝的动作,性能方面值得注意。

  9. HDFS不支持多个客户端同时写入的操作,无文件或是记录锁的概念。

  10. 建议只有超大文件才应该考虑放在HDFS上,而且最好对文件的访问是写一次,读多次。小文件不应该考虑放在HDFS上,得不偿失!

③ 如何远程读取CDH的hadoop上的HDFS数据

需要在实例化出来的Configuration中加入HDFS的端口路径即可,其他的除了hadoop的jar包外,任何配置文件都不需要,核心代码如下:

static Configuration conf=new Configuration();
static FileSystem fs=null;
static{
try {
//默认的hadoop的fs.defaultFS的端口号为8020,这里需要跟集群里面的配置一致
conf.set("fs.defaultFS","hdfs://dnode1:8020/");
fs=FileSystem.get(conf);
} catch (IOException e) {
log.error("初始化FileSystem失败!",e);
}
}

OK,只需要这简单的一行,我们就可以读取HDFS上的数据了

④ impala可以获取hdfs目录下的数据吗

如果和数据block不在同一个host上,那么就是使用HDFSDataTransaferProtocol(不是正式的命名,意会即可)来读,也就是一个二进制协议走TCP链接。
如果是在同一个host上,那么是利用了HDFS中"short-circuit local reads"技术。简单来说,从DataNode那边获取到所需数据的Meta信息,然后直接通过系统调用open/read来读取。

阅读全文

与hdfs如何看数据相关的资料

热点内容
家庭如何做好网络营销 浏览:465
如何设置胎压监测数据 浏览:530
降噪工具 浏览:692
obs编程是什么意思 浏览:859
怎么看c4d打开了多少个文件 浏览:792
苹果银河高清壁纸 浏览:811
怎么从苹果电脑垃圾桶找回文件 浏览:771
接口文件不能用action写吗 浏览:85
svn代码提交规范 浏览:642
在宣读多少号文件时怎么读数字 浏览:921
网站中的局域网访问量是什么意思 浏览:397
苹果启动助理识别不到镜像文件 浏览:670
为什么每次文件都问是否改变应用 浏览:232
pinterestapp怎么进去 浏览:968
json实现通用的下拉框 浏览:524
hc在编程中是什么意思 浏览:482
javamd文件怎么打开方式 浏览:90
python加载mat文件格式 浏览:615
sw编程是什么 浏览:881
网络众筹有哪些特点 浏览:896

友情链接