A. 如何向 hadoop 导入数据
1.2 使用Hadoop shell命令导入和导出数据到HDFS
实验准备
实例需要用到的数据-weblog_entries.txt
在namenode创建2个文件夹用来存放实验用的数据
mkdir /home/data 1
mkdir /home/data_download1
将肆搭weblog_entries.txt上传到namenode里的/home/data文件夹（我使用SecureFXPortable.exe 工具）
注：以下命令都是在namenode节点运行的
实验过程
1.在HDFS中创建一个新的文件夹，用于保存weblog_entries.txt
hadoop fs -mkdir /data/weblogs1
2.将weblog_entries.txt文件从本地文件系统复制到HDFS刚创建的新文件夹下
cd /home/data1
hadoop fs -FromLocal weblog_entries.txt /data/weblogs1
3.列出HDFS上weblog_entries.txt文件的信息：
hadoop fs –ls /data/weblogs/weblog_entries.txt 1
4.将HDFS上的weblog_entries.txt文件复制到本地系统的当前文件夹下
cd /home/data_download1
hadoop fs -ToLocal /data/weblogs/weblog_entries.txt ./weblog_entries.txt 1
最后用 ls 命令检验下时候将weblog_entries.txt 下载到本地
Oracle 11g数据导入到10g
一、在11g服务器上，使用expdp命令备份数据
11g 导出语句：EXPDP USERID='facial/facial@orcl as sysdba' schemas=facialdirectory=DATA_PUMP_DIR mpfile=test.dmp logfile=test.log version=10.2.0.1.0
二、在10g服务器上，使用impdp命令恢复数据
准备工作：1.建库2.建表空间3.建用户并授权4.将test.dmp拷贝到10g的dpmp目录下
--创建表空间
create tablespace TS_Facial datafile 'E:ORACLEPRODUCT10.2.0ORADATAORCLFacial.DBF' size 500M autoextend on next 50M;
--创建用户
create user Facial identified by Facial default tablespace TS_Facial;
--授权给用户
grant connect,resource,dba to Facial;
test.dmp 和 test.log 放在E:oracleproct10.2.0adminorcldpmp目录下
10g 导入语句：IMPDP USERID='facial/facial@orcl as sysdba' schemas=facialdirectory=DATA_PUMP_DIR mpfile=test.dmp logfile=test.log version=10.2.0.1.0
下载mongoDB（mongoDB下载地址），笔者使用的是mongoDB 2.0.4的linux 64-bit版本。
解压：tar xzf mongo.tgz
默认情况下，mongoDB将数据存储在/data/db目录下，但它不会自乎橡动创建该目录，所以我们需要手动创建它：
$ sudo mkdir -p /data/db/
$ sudo chown `id -u` /data/db
也可以使用--dbpath参数来指定别的数据库目录。
如果只是想在单机上测试一下mongoDB的话，非常简单，首先启动MongoDB server，
$ ./mongodb-xxxxxxx/bin/mongod
在另外一个终端，连接到我们启动的server：
$ ./mongodb-xxxxxxx/bin/mongo
> db.foo.save( { a : 1 } )
> db.foo.find()
在resources找到database节点连上去就可以，之后按照你的用户名和密码填好就可以，但是在之前要配置数据库。
打开SQL Server Management Studio，在对象资源管理器中，展开“SQL Server 实例”→“数据库”→“MySchool”节点，单击鼠标右键，选择“任务”→“导出数据”命令。出现导入和导出向导的欢迎界面，单击“下一步”按钮，出现“选择数据源”对话框，如图
在“选择数据源”对话框中设置如下选项：
数据源：SQL Native Client 10.0。
服务器名称：DC。
身份验证：Windows身份验证。
数据库：MySchool。
单击“下一步”按钮，出现“选择目标”对话框，设置如下选项（如图所示）：
目标：平面文件目标。
文件名：C:student.txt。
格式：带分隔符。
单击“下一步”按钮，出现“指定表复制或查询”对话框，如图所示。
在“指定表复制或查询”对话框中选中“复制一个或多个表或视图的数据”单选按钮，单击“下一步”按钮，出现“配置平面文件目标”对话框，如图所示。
设置源表或源视图为MySchool.dbo.student，单击“下一步”按钮。
在“保存并执行包”对话框中选中“立即执行”复选框，如图所示，然后单击“下一步”按钮。
在如图所示的对话框中单击“完成”按钮。
如图所示，当执行完后，单击“关闭”按钮。
8
在Windows资源管理器中打开C:student.txt文件，验证导出的结果。
工具/原料
sql2008
方法/步骤
登录sql2008数据库，其实其他版本的数据库也是一样的原理
使用windows账户登录，登录成功之后打开资源管理器窗口
在数据库上单击右键，选择【新建数据库】
在弹出的新建数据库窗口中，输入数据库名字【test】然后点击确定
数据库【test】新建完成，在数据库上单击右键，选择【任务】【导入数据】
弹出导入数据向导，选择下一步
数据源选择【Excel】,文件路径选择我们需要导入的文件
目标数据库选择我们刚才新建的【test】数据库，其他保存默认不变，一直单击【下一步】
勾选我们需要导入的Excel表，如图所示，然后单击下一步，完成
开始导入数据，如图所示，成功导入，点击【关闭】
这样我们就导入了Excel中的数据
1、右击新建连接 2、选择Oracle 3、将要填的数据都填好了，下拉框选sid，点测试，通过就ok了 4、狂点下一步，最后完成。 注：无需安装oracle客户端。只有这个dbeaver就可以，只是需要个驱动包这个不用说。不会加驱动可以追问
首先把excel文件放在work文件夹里，假设文件名为a.xls。
然后在matlab命令窗口输入a=xlsread('a.xls');
此时，a矩阵即为exel里对应的数据
使用Matlab中的Excel Link就可以了。
如果使用Excel 2003版本，操作如下：
1 打开Excel。
2 在菜单栏中选择工具→加载项→浏览。
3 在Matlab的安装目录下打开toolboxexlink文件夹，选择EXCLLINK.XLA，点击确认。
4 自动回到加载项对话框后，确保对话框中有“Excel
Link”，选中后点击确认按钮即可，菜单栏中自动添加了Matlab加载项。
5 使用其中的putmatrix，既可以将数据导入到Matlab中。
如果使用Excel 2007版本，操作如下：
1 打开Excel。
2 点击左上的office按钮→Excel选项→转到→加载项→浏览。
3 在Matlab的安装目录下打开toolboxexlink文件夹，选择EXCLLINK.XLA，点击确认。
4 自动回到加载项对话框后，确保对话框中有“ExcelLink”，选中后点击确认按钮即可，菜单栏中自动添加了Matlab加载项。
5 使用其中的putmatrix，既可以将数据导入到Matlab中。
第一个错误是参数不对
第二错误时你没有能够创建目录，不知道是不是没有权限
C. HDFS操作命令
HDFS命令基本格式：hadoop fs -cmd < args >
表格：
注意：以上表格中路径包括hdfs中的路径和linux中的路径。对于容易产生歧义的地方，会特别指出“linux路径”或者“hdfs路径”。如果没有明确指出，意味着是hdfs路径。
HDFS有一个默认的工作目录/user/$USER，其中$USER是用户的登录用户名。不过目录不会自动建立，需要mkdir建立它
命令格式：hadoop fs -mkdir
注意：支持级联创建新目录，Hadoop的mkdir命令会自动创建父目录，类似于带-p的linux命令
put命令从本地文件系统中 复制单个或多个 源路径到目标文件系统，也支持从标准输入设备中读取输饥孙斗入并写入目标文件系统。分为本地上传和上传到HDFS中。
命令格式：hadoop fs -put filename
最后一个参数是句点，相当于放入了默认的工作目录，等价于 hadoop fs -put example.txt /user/chen
上传文件时，文件首先复制到DataNode上，只有所有的DataNode都成功接收完数据，文件上传才是成功的凯物。
命令格式：hadoop dfs put filename newfilename
从本地文件系统中复制单个或多个源路径到目标文件系统。也支持从 标准输入 中读取输入写入目标文件系统。
采用-ls命令列出HDFS上的文件。在HDFS中未带参数的-ls命令没有返回任何值，它默认返回HDFS的home目录下
的内容。在HDFS中，没有当前工作目录这样一个概念，也没有cmd这样的命令。
命令格式：user@NameNode:hadoop$ bin/hadoop dfs -ls
如：
通过“-ls 文件夹名” 命令浏览HDFS下文件夹中的文件
命令格式：hadoop dfs -ls 文件夹名
通过该命令可以查看in文件夹中的所有文档文件
通过“-cat 文件名”命令查看HDFS下文件夹中某个文件的内容
命令格式：hadoop$ bin/hadoop dfs -cat 文件名
通过这个命令可以查看in文件夹中所有文件的内容
通过“-get 文件按1 文件2”命令将HDFS中某目录下的文件复制到本地系统的某文件中，并对该文件重新命名。
命令格式：hadoop dfs -get 文件名 新文件名
-get 命令与-put命令一样，既可以操作目录，也可以操作文件
通过“-rmr 文件”命令删除HDFS下的文件
命令格式：hadoop$ bin/hadoop dfs -rmr 文件
-rmr 删除文档命令相当于delete的递归版本。
通过-format命令实现HDFS格式化
命烂磨令格式：user@NameNode:hadoop$ bin/hadoop NameNode -format
通过运行start-dfs.sh，就可以启动HDFS了
命令格式：user@NameNode:hadoop$ bin/ start-dfs.sh
当需要退出HDFS时，通过stop-dfs.sh 就可以关闭HDFS
命令格式：user@NameNode:hadoop$ bin/ stop-dfs.sh
HDFS的命令远不止这些，对于其他操作，可以通过-help commandName 命令列出清单。下面列举一些命令进行说明。
（1）chgrp改变文件所属的组命令
chgrp命令的用途是：更改文件或目录的组所有权。
语法格式：hadoop fs -charg [-R] GROUP URL .....
使用-R将使改变在目录结构下递归进行。命令的使用者必须是文件的所有者或者超级用户。
（2）chmod改变文件的权限
chmod用于改变文件或目录的访问权限，这个Linux系统管理员最常用的命令之一。
使用方法：hadoop fs -chmod [-R] ...
使用-R将使改变在目录结构下递归进行。命令的使用者必须是文件的所有者或者是超级用户
（3）chown改变文件的拥有者
chown命令改变文件的拥有者。
使用方法：hadoop fs -chown [-R]....
使用-R将使改变在目录结构下递归进行。命令的使用者必须是超级用户。
（4）FromLocal命令
除了限定 源路径 是只能是一个 本地文件 外，其他方面和put命令相似。
使用方法：hadoop fs -FromLocal <localsrc> URI
（5）ToLocal命令
除了限定 目标路径 是一个 本地文件 外，其他方面和get命令类似。
使用方法：hadoop fs -ToLocal {-ignorecrc} {-crc} URI <localdst>
（6）cp命令
cp命令是将文件从源路径复制到目标路径。这个命令允许有多个源路径，此时目标路径必须是一个目录。
使用方法：hadoop fs -cp URI [URI....] <dest>
返回值：成功返回0 ，失败返回-1
（7）命令
命令显示目录中 所有文件的大小 ，或者当只指定一个文件时，显示此文件的大小
使用方法：hadoop fs - URI [URI........]
返回值
成功返回0，失败返回-1
（8）s命令
s是显示 文件大小 的命令。
使用方法：hadoop fs -s <args>
（9）expunge命令
expunge是清空回收站的命令
使用方法：hadoop fs -expunge
（10）get命令
get是复制文件到本地文件系统的命令
使用方法：hadoop fs -get [-ignorecrc] [-crc] <localdst>
可用-ignorecrc选项复制CRC校验失败的文件：使用-CRC选项复制文件以及CRC信息。
返回值
成功返回0，失败返回-1
（11）getmerge命令
getmerge命令用于接受一个源目录和一个目标文件作为输入，并且将源目录中所有的文件合并成本地目标文件。
使用方法：hadoop fs -getmerge <src> <localdst> [addnl]
参数说明：addl是可选的，用于指定在每个文件结尾添加一个换行符；
假设在你的hdfs集群上有一个/user/hadoop/output目录
里面有作业执行的结果（多个文件组成）part-000000,part-000001,part-000002
然后就可以在本地使用vi local_file查看内容了
（12）ls命令
ls命令查看当前目录下的信息
使用方法：hadoop fs -ls <args>
如果是 文件 ，则按照如下格式返回文件信息：
文件名 <副本数>文件大小 修改日期 修改时间 权限 用户ID 组ID
如果是 目录 ，则返回它直接子文件的一个列表，就像在UNIX中一样。目录返回i额表的信息如下：
目录名<dir>修改日期 修改时间 权限 用户ID 组ID
返回值
成功返回0，失败返回-1
（13）lsr命令
lsr命令是-ls命令的递归版，类似于UNIX中的ls-r。
使用方法：hadoop fs -lsr <args>
（14）movefromLocal命令
复制一份本地文件到hdfs，当成功后，删除本地文件
使用方法：dfs -moveFromLocal <src> <dst>
（14.5）moveToLocal命令
类似于-get，但是当复制完成后，会删除hdfs上的文件
使用方法：moveToLocal <src> <localDest>
（15）mv命令
将文件从源路径移动到目标路径。这个命令允许有多个源路径，此时目标路径必须是一个目录
使用方法：hadoop fs -mv URI [URI.....] <dest>
备注：不允许在不同的文件系统间移动文件。
返回值
成功返回0，失败返回-1
（16）put 命令
put命令从本地文件系统中复制单个或多个源路径到目标文件系统，也支持从标准输入中读取输入写入目标文件系统
使用方法：hadoop fs -put <localsrc> .... <dst>
（17）rm命令
rm命令删除指定的文件，只删除非空目录和文件。
使用方法：hadoop fs -rm URI [URI......]
请参考rmr命令了解递归删除。
（18）rmr命令
rmr命令是delete命令的递归版本
使用方法：hadoop fs -rmr URI [URI.......]
返回值
成功返回0，失败返回-1
（19）setrep命令
setrep命令可以改变一个文件的副本系数。
使用方法：hadoop fs -setrep [-R] <path>
参数说明：-R 选项用于递归改变目录下所有文件的副本系数
返回值
成功返回0，失败返回-1
（20）stat命令
stat命令用于返回指定路径的统计信息
使用方法：hadoop fs -stat URI [URI......]
返回值
成功返回0，失败返回-1
（21）tail命令
tail命令将文件尾部1KB的内容输出到stdout。支持-f选项，行为和UNIX中一致
使用方法：hadoop fs -tail [-f] URI
返回值
成功返回0，失败返回-1
（22）test命令
test命令是检查命令，可以检查文件是否存在、文件的大小等。
使用方法：hadoop fs -test -[ezd] URI
（23）text命令
text命令用于将源文件输出问文本格式
使用方法：hadoop fs -text <src>
允许的格式是zip和TextRecordInputStream。
（24）touchz 命令
touchz命令用于创建一个0字节的空文件。
使用方法： hadoop fs -touchz URI [URI....]
返回值
成功返回0，失败返回-1
D. Hive的几种常见的数据导入方式
零．Hive的几种常见的数据导入方式
常用的的有三种：
1.从本地文件系统中导入数据到Hive表；
2.从HDFS上导入数据到Hive表；
3.在创建表的时候通过从别的表中查询出相应的记录并插入到所创建的表中。
Hive配置：
HDFS中Hive数据文件存放目录（启动hive后HDFS自动创建）：
HDFS： /usr/hive/warehouse
hadoop fs -mkdir /usr/hive/warehouse 命令创立
本地数据存放目录：
本地：/home/santiago/data/hive
一．从本地文件系统中导入数据到Hive表
1.在hive中建表
hive> show databases;
OKdefaultTime taken: 1.706 seconds, Fetched: 1 row(s)
hive> create table guo_test(Name string,String string)
> row format delimited
> fields terminated by ','
> stored as textfile；
hive> show tables;
OK
guo_test
Time taken: 0.024 seconds, Fetched: 1 row(s)123456789101112
2.在本地文件建立同类型数据表
santi@hdp:~/data/hive$ ls
hive_test.txt
santi@hdp:~/data/hive$ cat hive_test.txt
santi,you are a zhazha.1234
3.导入数据并测试
hive>load data local inpath '/home/santi/data/hive/hive_test.txt' into table guo_test;
hive> select * from guo_test;
hive>dfs -ls /usr/hive/warehouse/guo_test;
#hadoop fs -ls /usr/hive/warehouse
Found 1 items
drwxrwxr-x - santiago supergroup 0 2017-01-14 21:13
/usr/hive/warehouse/guo_test12345678
发现hive-site,xml设置的HDFS文件存储位置中多了guo_test这个文件夹
#hadoop fs -ls /usr/hive/warehouse/guo_test
Found 1 items-rwxrwxr-x 1 santiago supergroup 24 2017-01-14 21:13
/usr/hive/warehouse/guo_test/hive_test.txt
hive> select * from guo_test;
OK
santi you are a zhazha.12345678
在该文件夹中找到了所写入hive数据仓库的文件。
[注]本地数据写入成功，但是从本地将数据导入到Hive表的过程中，其实是先将数据临时复制到HDFS的一个目录下（典型的情况是复制到上传用户的HDFS home目录下,比如/home/santi/），然后再将数据从临时目录下移动到对应的Hive表的数据目录里面(临时目录不保留数据)。
二．从HDFS文件系统中导入数据到Hive表
1.在HDFS文件系统上建立数据文件
hdfs上没有vim命令，则需要将本地数据文件手动传入到HDFS上
/data/hive# vim data_HDtoHive/data/hive# cat data_HDtoHivedata from, HDFS to Hive #hadoop fs -put /home/santi/data/hive/data_HDtoHive /usr/data/input//数据传入# hadoop fs -ls /usr/data/input12345
2导入数据
hive> load data inpath '/usr/data/input/data_HDtoHive' into table guo_test;
hive> select * from guo_test;
OK
data from HDFS to Hive
santi you are a zhazha.
Time taken: 0.172 seconds, Fetched: 2 row(s)123456
数据写入成功
数据存hive配置的数据存储位置中。
[注]
从本地导入数据语句为
hive>load data local inpath ‘/home/santi/data/hive/hive_test.txt’ into table guo_test;
从HDFS中导入数据的语句为
hive> load data inpath ‘/usr/data/input/data_HDtoHive’ into table guo_test;
差距在local这个命令这里。
而从HDFS系统上导入到Hive表的时候，数据转移。HDFS系统上查找不到相关文件。
三．从HIVE表选取数据插入新的HIVE表
命令为create table 表名 as selecr xxx from 表名。
hive> create table hivedata_test1
> as
> select name
> from guo_test;
hive> select * from hivedata_test1;
OK
data fromsanti
Time taken: 0.116 seconds, Fetched: 2 row(s)123456789
[注]hive是分区表有稍微区别
在Hive中，表的每一个分区对应表下的相应目录，所有分区的数据都是存储在对应的目录中。比表有a和b两个分区，则对应a=xxx,b=xx对应表的目录为/user/hive/warehouse/a=xxx
user/hive/warehouse/b=xx，所有属于这个分区的数据都存放在这个目录中。
hive> create table hivedata_test2(
> Name string)
> partitioned by
> (String string)
> ROW FORMAT DELIMITED
> FIELDS TERMINATED BY ','> STORED AS TEXTFILE;
hive> insert into table hivedata_test2
> partition(String='best')
> select Name
> from guo_test;
hive> select * from hivedata_test2;
OK
data from best
santi best
Time taken: 1.549 seconds, Fetched: 2 row(s)# hadoop fs -ls /usr/hive/warehouse/hivedata_test2Found 1 items
drwxrwxr-x -santiago supergroup 0 2017-02-14 17:40
/usr/hive/warehouse/hivedata_test2/string=best
E. hadoop的几个问题 1.将本地文件复制到hdfs中，那么在hdfs中这个文件是存放在namenode还是分开放在datanode
试着回答：
先说明一下：
1. namenode负责管理目录和文件信息，真正的文件块是存放在datanode上。
2. 每个map和rece（即task)都是java进程，默版认是有单独的jvm的，所以不可能同一个类的对象会在不同节点上。
看你的描述是把namenode,datanode和jobtracker,tasktracker有点混了。
所以：
问题1. 分块存放在datanode上
问题2.inputformat是在datanode上，确切的说是在tasktracker中。每权个map和rece都会有自己的对象，当多个map读入一个文件时，实际上不同的map是读的文件不同的块，rece也是一样，各个任务读入的数据是不相交的。
问题3.rece输出肯定是在hdfs上，和普通文件一样在datanode上。
问题4.每个recer会有自己的outputformat对象，与前面inputformat原因一样。