導航:首頁 > 文件類型 > linux中怎樣把本地文件傳到hdfs上

linux中怎樣把本地文件傳到hdfs上

發布時間:2024-03-27 07:06:44

A. 熟悉常用的 linux 操作和 Hadoop 操作

1.切換到當前目錄的上一級目錄
cd ..
2.切換到當前登錄 Linux 系統的用戶自己的主文件
cd ~
3.進入/tmp 目錄,創建目錄 a1/a2/a3/a4。
mkdir a1/a2/a3/a4 -p
4.刪除目錄
rmdir a
rmdir a1/a2/a3/a4 -p
5.cp 命令:復制文件或目錄
(1) 將當前用戶的主文件夾下的文件.bashrc 復制到目錄「/usr」下,並重命名為 bashrc1
sudo cp .bashrc /usr/bashrc1
(2) 在目錄「/tmp」下新建目錄 test,再把這個目錄復制到「/usr」目錄下
cd /tmp
mkdir test
sudo cp /tmp/test /usr -r
6.mv 命令:移動文件與目錄,或更名
(1) 將「/usr」目錄下的文件 bashrc1 移動到「/usr/test」目錄下
sudo mv /usr/bashrc1 /usr/test
(2) 將「/usr」目錄下的 test 目錄重命名為 test2
sudo mv /usr/test /usr/test2
7.rm 命令:移除文件或目錄
(1) 將「/usr/test2」目錄下的 bashrc1 文件刪除
sudo rm /usr/test2/bashrc1
(2) 將「/usr」目錄下的 test2 目錄刪除
sudo rm -rf /usr/test2
8.cat 命令:查看文件內容查看當前用戶主文件夾下的.bashrc 文件內容
cat .bashrc
9.tac 命令:反向查看文件內容反向查看當前用戶主文件夾下的.bashrc 文件的內容
tac .bashrc
10.more 命令:一頁一頁翻動查看翻頁查看當前用戶主文件夾下的.bashrc 文件的內容
more .bashrc
11.head 命令:取出前面幾行
(1) 查看當前用戶主文件夾下.bashrc 文件內容前 20 行
head -n20 .bashrc
(2)查看當前用戶主文件夾下.bashrc 文件內容,後面 50 行不顯示,只顯示前面幾行
head -n -50 .bashrc
12.tail 命令:取出後面幾行
(1)查看當前用戶主文件夾下.bashrc 文件內容最後 20 行
tail -n20 .bashrc
(2)查看當前用戶主文件夾下.bashrc 文件內容,並且只列出 50 行以後的數據
tail -n -50 .bashrc
13.touch 命令:修改文件時間或創建新文件
(1) 在「/tmp」目錄下創建一個空文件 hello,並查看文件時間
touch hello
stat hello
(2)修改 hello 文件,將文件時間整為 5 天前
touch -d "2019-3-26" hello
stat hello
14.chown 命令:修改文件所有者許可權將 hello 文件所有者改為 root 帳號,並查看屬性
sudo chown root hello
ls -l hello
15.find 命令:文件查找找出主文件夾下文件名為.bashrc 的文件
find .bashrc
16.tar 命令:壓縮命令
(1) 在根目錄「/」下新建文件夾 test,然後在根目錄「/」下打包成 test.tar.gz
tar -zcvf test.tar.gz test/
(2) 把上面的 test.tar.gz 壓縮包,解壓縮到「/tmp」目錄
tar -zxvf test.tar.gz
17.grep 命令:查找字元串從「~/.bashrc」文件中查找字元串'examples'
grep -rn "examples" .bashrc
18.使用 hadoop 用戶登錄 Linux 系統,啟動 Hadoop(Hadoop 的安裝目錄為「/usr/local/hadoop」),為 hadoop 用戶在 HDFS 中創建用戶目錄「/user/hadoop」
./bin/hadoop fs -mkdir -p /usr/hadoop
19.接著在 HDFS 的目錄「/user/hadoop」下,創建 test 文件夾,並查看文件列表
./bin/hdfs dfs -mkdir test
./bin/hadoop fs -ls
20.將 Linux 系統本地的「~/.bashrc」文件上傳到 HDFS 的 test 文件夾中,並查看 test

./bin/hadoop fs -put ~/.bashrc test

./bin/hadoop fs -ls test
21.將 HDFS 文件夾 test 復制到 Linux 系統本地文件系統的「/usr/local/hadoop」目錄下

參考: 1

B. 如何向 hadoop 導入數據

如何向 hadoop 導入數據

1.2 使用Hadoop shell命令導入和導出數據到HDFS
實驗准備
實例需要用到的數據-weblog_entries.txt
在namenode創建2個文件夾用來存放實驗用的數據
mkdir /home/data 1
mkdir /home/data_download1
將肆搭weblog_entries.txt上傳到namenode里的/home/data文件夾(我使用SecureFXPortable.exe 工具
註:以下命令都是在namenode節點運行的
實驗過程
1.在HDFS中創建一個新的文件夾,用於保存weblog_entries.txt
hadoop fs -mkdir /data/weblogs1
2.將weblog_entries.txt文件從本地文件系統復制到HDFS剛創建的新文件夾下
cd /home/data1
hadoop fs -FromLocal weblog_entries.txt /data/weblogs1
3.列出HDFS上weblog_entries.txt文件的信息:
hadoop fs –ls /data/weblogs/weblog_entries.txt 1
4.將HDFS上的weblog_entries.txt文件復制到本地系統的當前文件夾下
cd /home/data_download1
hadoop fs -ToLocal /data/weblogs/weblog_entries.txt ./weblog_entries.txt 1
最後用 ls 命令檢驗下時候將weblog_entries.txt 下載到本地

如何向oracle 10g資料庫導入數據

Oracle 11g數據導入到10g
一、在11g伺服器上,使用expdp命令備份數據
11g 導出語句:EXPDP USERID='facial/facial@orcl as sysdba' schemas=facialdirectory=DATA_PUMP_DIR mpfile=test.dmp logfile=test.log version=10.2.0.1.0
二、在10g伺服器上,使用impdp命令恢復數據
准備工作:1.建庫2.建表空間3.建用戶並授權4.將test.dmp拷貝到10g的dpmp目錄下
--創建表空間
create tablespace TS_Facial datafile 'E:ORACLEPRODUCT10.2.0ORADATAORCLFacial.DBF' size 500M autoextend on next 50M;
--創建用戶
create user Facial identified by Facial default tablespace TS_Facial;
--授權給用戶
grant connect,resource,dba to Facial;
test.dmp 和 test.log 放在E:oracleproct10.2.0adminorcldpmp目錄下
10g 導入語句:IMPDP USERID='facial/facial@orcl as sysdba' schemas=facialdirectory=DATA_PUMP_DIR mpfile=test.dmp logfile=test.log version=10.2.0.1.0

如何向mongodb分片集群裂頃拿導入數據

下載mongoDB(mongoDB下載地址),筆者使用的是mongoDB 2.0.4的Linux 64-bit版本
解壓:tar xzf mongo.tgz
默認情況下,mongoDB將數據存儲在/data/db目錄下,但它不會自乎橡動創建該目錄,所以我們需要手動創建它:
$ sudo mkdir -p /data/db/
$ sudo chown `id -u` /data/db
也可以使用--dbpath參數來指定別的資料庫目錄。
如果只是想在單機上測試一下mongoDB的話,非常簡單,首先啟動MongoDB server,
$ ./mongodb-xxxxxxx/bin/mongod
在另外一個終端,連接到我們啟動的server:
$ ./mongodb-xxxxxxx/bin/mongo
> db.foo.save( { a : 1 } )
> db.foo.find()

如何向clementine12.0中導入資料庫數據

在resources找到database節點連上去就可以,之後按照你的用戶名和密碼填好就可以,但是在之前要配置資料庫。

如何向sql server2008中導入資料庫

打開SQL Server Management Studio,在對象資源管理器中,展開「SQL Server 實例」→「資料庫」→「MySchool」節點,單擊滑鼠右鍵,選擇「任務」→「導出數據」命令。出現導入和導出向導的歡迎界面,單擊「下一步」按鈕,出現「選擇數據源」對話框,如圖
在「選擇數據源」對話框中設置如下選項:
數據源:SQL Native Client 10.0。
伺服器名稱:DC。
身份驗證:Windows身份驗證。
資料庫:MySchool。
單擊「下一步」按鈕,出現「選擇目標」對話框,設置如下選項(如圖所示):
目標:平面文件目標。
文件名:C:student.txt。
格式:帶分隔符。
單擊「下一步」按鈕,出現「指定表復制或查詢」對話框,如圖所示。
在「指定表復制或查詢」對話框中選中「復制一個或多個表或視圖的數據」單選按鈕,單擊「下一步」按鈕,出現「配置平面文件目標」對話框,如圖所示。
設置源表或源視圖為MySchool.dbo.student,單擊「下一步」按鈕。
在「保存並執行包」對話框中選中「立即執行」復選框,如圖所示,然後單擊「下一步」按鈕。
在如圖所示的對話框中單擊「完成」按鈕。
如圖所示,當執行完後,單擊「關閉」按鈕。
8
在Windows資源管理器中打開C:student.txt文件,驗證導出的結果。

如何導入數據

工具/原料
sql2008
方法/步驟
登錄sql2008資料庫,其實其他版本的資料庫也是一樣的原理
使用windows賬戶登錄,登錄成功之後打開資源管理器窗口
在資料庫上單擊右鍵,選擇【新建資料庫】
在彈出的新建資料庫窗口中,輸入資料庫名字【test】然後點擊確定
資料庫【test】新建完成,在資料庫上單擊右鍵,選擇【任務】【導入數據】
彈出導入數據向導,選擇下一步
數據源選擇【Excel】,文件路徑選擇我們需要導入的文件
目標資料庫選擇我們剛才新建的【test】資料庫,其他保存默認不變,一直單擊【下一步】
勾選我們需要導入的Excel表,如圖所示,然後單擊下一步,完成
開始導入數據,如圖所示,成功導入,點擊【關閉】
這樣我們就導入了Excel中的數據

如何從linux向dbeaver導入數據

1、右擊新建連接 2、選擇Oracle 3、將要填的數據都填好了,下拉框選sid,點測試,通過就ok了 4、狂點下一步,最後完成。 註:無需安裝oracle客戶端。只有這個dbeaver就可以,只是需要個驅動包這個不用說。不會加驅動可以追問

如何從EXCEL向MATLAB導入數據

首先把excel文件放在work文件夾里,假設文件名為a.xls。
然後在matlab命令窗口輸入a=xlsread('a.xls');
此時,a矩陣即為exel里對應的數據

使用Matlab中的Excel Link就可以了。
如果使用Excel 2003版本,操作如下:
1 打開Excel。
2 在菜單欄中選擇工具→載入項→瀏覽。
3 在Matlab的安裝目錄下打開toolboxexlink文件夾,選擇EXCLLINK.XLA,點擊確認。
4 自動回到載入項對話框後,確保對話框中有「Excel
Link」,選中後點擊確認按鈕即可,菜單欄中自動添加了Matlab載入項。
5 使用其中的putmatrix,既可以將數據導入到Matlab中。
如果使用Excel 2007版本,操作如下:
1 打開Excel。
2 點擊左上的office按鈕→Excel選項→轉到→載入項→瀏覽。
3 在Matlab的安裝目錄下打開toolboxexlink文件夾,選擇EXCLLINK.XLA,點擊確認。
4 自動回到載入項對話框後,確保對話框中有「ExcelLink」,選中後點擊確認按鈕即可,菜單欄中自動添加了Matlab載入項。
5 使用其中的putmatrix,既可以將數據導入到Matlab中。

C. 如何從linux的文件拷貝到另一台機器

1、首先從服務端文件到本地。比如伺服器的home下有一個文件是a.txt,那麼命令是:scp [email protected]:/home/a.txt /home,

D. 本地文件上傳到Linux伺服器的幾種方法

常見有使用:scp命令、xshell軟體里的xftp程序、U盤掛載、伺服器自帶的lrzsz程序。

一、scp使用說明:

1、把本機的文件傳給目的伺服器:


[email protected]:/super

備註:把本機get66.pcap拷貝到147這台伺服器的super目錄下,需要提供147的密碼

2、在本機上執行scp,把遠端的伺服器文件拷貝到本機上:


[email protected]:/super/dns.pcap/

備註:在本機上執行scp,把遠端伺服器的dns.pcap文件拷貝到本機的根目錄下

3、拷貝目錄下的所有文件:


scp-r/super/[email protected]:/

備註:把/super/目錄下的所有文件,拷貝到145伺服器根目錄下

二、xshell軟體里的xftp程序:

xshell這個軟體很好,強烈推薦哦!!!

裡面有個xftp小插件,可以支持文件在筆記本和伺服器互傳,這個小插件需要單獨在網上下載,直接網路搜xftp,很方便。

1、點擊xshell軟體上的xftp圖標(前提xftp已經下載好)

四、伺服器自帶的lrzsz程序

現在大多數Linux伺服器都帶有lrzsz程序,方便上傳下載文件,如果沒有,可以直接下載rpm包安裝下就好。

lrzsz安裝包鏈接:http://down.51cto.com/data/2322755

1、rz(筆記本上傳給伺服器)

1

選擇筆記本上文件傳給伺服器

2、sz(伺服器上的文件拷貝給筆記本)

sz test.tar

把伺服器的test.tar拷貝給筆記本。

E. 我用linux搭建hadoop集群,在本地我用eclipse向節點上傳文件 但是文件沒有上傳到hdfs節點上

兄弟, hadoop的作用, 是做什麼的啊, 我在網上找了資料,一直沒有一找到合理的解釋。你可以教我如何用hadoop嗎?

閱讀全文

與linux中怎樣把本地文件傳到hdfs上相關的資料

熱點內容
怎麼樣讓自己的網站不被別人看到 瀏覽:711
編程擴展效果如何 瀏覽:335
榮耀暢玩手環同步qq 瀏覽:475
怎麼向sql中添加資料庫 瀏覽:596
錄歌失敗重啟app什麼意思 瀏覽:522
壓縮文件包怎麼在微信發送 瀏覽:432
mysql資料庫怎麼插入時間值 瀏覽:191
微信視頻不能轉發朋友圈 瀏覽:596
影視後期的app有哪些 瀏覽:956
電子保單數據出錯什麼意思 瀏覽:368
如何以文件下載音樂 瀏覽:438
計算機網路章節練習 瀏覽:999
單片機的外部中斷程序 瀏覽:48
表格批量更名找不到指定文件 瀏覽:869
js的elseif 瀏覽:584
3dmaxvray視頻教程 瀏覽:905
imgtool工具中文版 瀏覽:539
java幫助文件在哪裡 瀏覽:965
win10切換輸入語言 瀏覽:696
haier電視網路用不了怎麼辦 瀏覽:361

友情鏈接