导航:首页 > 版本升级 > hadoop文件系统查看

hadoop文件系统查看

发布时间:2025-01-15 21:51:24

❶ 用 java遍历hadoop分布式文件系统中某个目录下的全部文件,我的hadoop是单节点的

原因:
你访问的是本地文件系统而非hdfs , 因为Configuration默认的是在core-default.xml中的属性fs.default.name默认值是file:///,表示本地文件系统。在我们new Configuration();时会默认加载core-default.xml文件,所以根据这个文件的fs.default.name值使用了本地文件系统。

解决方法:
一般安装hadoop时都是修改core-site.xml文件,这个文件设置的属性值一般使用来覆盖core-default.xml这个文件的,在core-site.xml文件中会设置fs.default.name值为hadoop的namenode的地址以及端口号,如hdfs://localhost:9000,即表示namenode是本机,也就是为分布式。所以我们在连接hdfs时需要指定连接的地址,也就是hadoop集群中core-site.xml中fs.default.name属性值。所以解决方法有三种:
1)在代码Configuration conf=new Configuration();之后手动为Configuration对象设置fs.default.name属性值,如:conf.set("fs.default.name","hdfs:localhost:9000");
2)在代码的classpath下创建一个文件,在文件中设置fs.default.name属性值,再使用conf.addResource("文件路径")将该文件添加到Configuration中;
3)直接将集群的core-site.xml添加到classpath下即可,无需手动添加到Configuration,在new Configuration时会自动加载该文件

阅读全文

与hadoop文件系统查看相关的资料

热点内容
用蓝牙如何传送数据和软件 浏览:135
是大数据还是兄弟情什么意思 浏览:16
手机qq收藏的文件在哪 浏览:523
苹果笔记本登录钥匙串 浏览:448
有线以太网未识别网络 浏览:524
win10彻底重装系统 浏览:411
word怎么向上插入表格 浏览:335
jscookie重新赋值 浏览:948
如何用微信传微云文件怎么打开方式 浏览:103
保存桌面的文件路径怎么更改 浏览:732
笔记本win10没有热点 浏览:408
广州导航升级 浏览:859
店铺升级缴纳服务费 浏览:199
法兰克车床车牙去半扣怎么编程 浏览:227
初一零基础如何学编程 浏览:798
上古卷轴5铁匠升级方法 浏览:663
公路自行车升级 浏览:253
2014年苹果汁价格 浏览:995
魅蓝2手机锁屏密码忘了 浏览:980
柔和七星哪个版本好抽 浏览:652

友情链接