❶ 如何在openstack上部署hadoop
随着信息时代的快速发展，大数据技术和私有云环境都非常实用;只是，假设将两者结合在一起。企业会获得巨大的利润。虽然结合两者会让环境变得更复杂。企业仍然能够看到将 OpenStack 私有云和 Apache Hadoop 环境结合在一起产生的显著的协同效应。怎样来做会更好?
方案1. Swift、Nova + Apache Hadoop MapRece
对于希望在大数据环境中实现更高程度的灵活性、可扩展性和自治性的企业，能够利用 Apache 和 OpenStack 提供的开源产品的与生俱来的能力。为此，企业须要最大限度地利用这两种技术栈。这就要求采用与前面所述的解决方式不同的思维方式来设计环境。
在这方面软件开发专业网是非常有经验的。
要获得全然可伸缩的、灵活的大数据环境，必须在一个同一时候提供存储和计算节点的私有云环境中执行它。为此。企业必须先构建私有云。然后加入大数 据。因此。在这样的情况下，必定会用到 Swift、Nova 和 RabbitMQ。并控制器节点来管理和维护环境。
可是。问题在于企业是否须要针对不同的系统和业务部门将环境分为若干个部分(比如，非大数据虚拟机或客 户机实例)。假设企业准备全然使用私有云，那么应当加入 Quantum，从网络的角度对不同的环境进行划分。
方案2. Swift+Apache Hadoop MapRece
在私有云环境中。常见的大数据部署模型之中的一个是：将 OpenStack 的 Swift 存储技术部署到 Apache Hadoop MapRece 集群，从而实现处理功能。使用这样的架构的优势是。企业将获得一个可扩展的存储节点，能够用该节点来处理其不断累积的数据。依据 IDC 的调查，数据年增长率已经达到 60%，该解决方式将满足不断增长的数据需求。同一时候同意组织同一时候启动一个试点项目来部署私有云。
该部署模型的最佳使用场景是企业希望通过存储池尝试使用私有云技术。同一时候在内部使用大数据技术。最佳实践表明企业应当先将大数据技术部署到您的 生产数据仓库环境中。然后构建并配置您的私有云存储解决方式。假设将 Apache Hadoop MapRece 技术成功融合到数据仓库环境中。而且已经正确构建并执行您的私有云存储池。那么您就能够将私有云存储数据与预调度的 Hadoop MapRece 环境集成在一起。
方案3. Swift + Cloudera Apache Hadoop 发行版
对于那些不愿意从头开始使用大数据的企业，能够使用 Cloudera 等解决方式供应商提供的大数据设备。
Cloudera 的发行版包含 Apache Hadoop (CDH) 解决方式，它同意企业不必针对 Hadoop 的每一个细微区别来招募或培训员工。因此能够在大数据方面实现更高的投资回报 (ROI)。
对于那些不具备大数据或私有云技能集。希望以缓慢、渐进的方式将该技术集成到其产品组合的企业。这一点尤其吸引人。
大数据和云计算属于相对较新的技术，很多企业希望通过它们实现成本节省;只是。很多企业对于是否全然采用这些技术犹豫不决。通过利用供应商支持 的大数据软件版本号，企业在这方面将会更加从容，同一时候还能够了解怎样使用这些技术来发挥自身的优势。此外，假设使用大数据软件分析大型数据集，并且能够通过 私有云存储节点来管理这些数据集。那么这些企业还能够实现更高的利用率。为了最好地将这一策略集成到企业中，首先须要安装、配置和管理 CDH，以便分析企业的数据仓库环境。然后将 Swift 中存储的数据加入到须要的地方。
在设置并测试了私有云环境后。能够将 Apache Hadoop 组件合并到当中。
此时。Nova 实例可用于存放 NoSQL 或 SQL 数据存储(没错，它们能够共存)以及 Pig 和 MapRece 实例;Hadoop 能够位于一个独立的非 Nova 机器上，以便提供处理功能。
在不久的将来，Hadoop 有望在 Nova 实例上执行，使私有云自包括到全部 Nova 实例中。
方案4. GFS、Nova、Pig 和 MapRece
从架构的角度看，除了使用 OpenStack 的 Swift 实现可扩展存储外，可能还有其它选择。本例使用了 Google File System (GFS)、Nova 组件和 Apache Hadoop 组件，详细来讲，使用了 Pig 和 MapRece。该演示样例同意企业集中精力开发一个仅用于计算处理的私有云计算节点，同一时候利用 Google 的公共存储云作为数据存储。通过使用这样的混合云，企业能够专注于计算处理功能的核心能力，由第三方负责实现存储。该模型能够利用其它供应商的存储解决方 案，如 Amazon Simple Storage Service;可是，在使用不论什么外部存储之前，企业应当在内部使用可扩展的文件系统 (XFS) 来构建该解决方式。并进行对应的测试，然后再将其扩展到公共云中。此外，依据数据的敏感性。企业可能须要使用数据保护机制，比方模糊处理 (obfuscation)、解除匿名化、加密或散列。
技巧和提示
在将云计算和大数据技术并入企业环境时，一定要为这两个技术平台构建员工的技能集。
当您的员工理解这些技术后，就能够组建一个实验室来测试这两 个平台合并后的效果。因为包括很多不同的组件。因此在实现过程中。请务必遵循前面提到的经过验证的路径。
此外，企业在尝试合并这两种模式时可能会遇到一些 挫折，应当在进行若干次尝试后改用其它方法。这些方法包括设备和混合云。
障碍和陷阱
因为这些都是比较新的技术，所以大多数企业须要利用现有资源进行测试，之后再进行大量的资本支出 (CapEx)。然而，假设没有对这些技术在企业中的应用进行合理的预算和人员培训，那么试点和测试工作将会以失败告终。相同。假设缺少完整的私有云部 署。企业应当首先在当中实现大数据技术，然后再实现私有云。
最后，企业须要为私有云和大数据计划制定一个战略路线图。要获得成功的部署，则须要进行很多其它的分析 “工作”，这有可能会迟延处理过程。为了消除这样的风险，应当采用一种迭代式的项目管理方法，以分阶段的方式部署到业务部门中。通过这样的方法将这些技术部署 到企业中。企业须要确认怎样通
❷ 现在做一个爬虫程序，希望把爬到的网页存进hadoop创建的分布式文件系统，用java开发
把stringbuffer的内容存到hadoop中？hadoop的dfs是用来存放海量数据的。想必你的stringbuffer相当大了？那这种内大小的数据能放在内存容中？
如果你的stringbuffer是一个文件的话，那么直接运行bin/hadoop dfs -FromLocal yourfilepath tmpfilepath 这个命令就行了。
❸ 如何部署hadoop分布式文件系统
一、实战环境
系统版本：CentOS 5.8x86_64
JAVA版本：JDK-1.7.0_25
Hadoop版本：hadoop-2.2.0
192.168.149.128namenode （充当namenode、secondary namenode和ResourceManager角色）
192.168.149.129datanode1 （充当datanode、nodemanager角色）
192.168.149.130datanode2 （充当datanode、nodemanager角色）
二、系统准备
1、Hadoop可以从Apache官方网站直接下载最新版本Hadoop2.2。官方目前是提供了linux32位系统可执行文件，所以如果需要在64位系统上部署则需要单独下载src 源码自行编译。（如果是真实线上环境，请下载64位hadoop版本，这样可以避免很多问题，这里我实验采用的是32位版本）
1234 Hadoop
Java
2、我们这里采用三台CnetOS服务器来搭建Hadoop集群，分别的角色如上已经注明。
第一步：我们需要在三台服务器的/etc/hosts里面设置对应的主机名如下（真实环境可以使用内网DNS解析）
[root@node1 hadoop]# cat /etc/hosts
# Do not remove the following line, or various programs
# that require network functionality will fail.
127.0.0.1localhost.localdomain localhost
192.168.149.128node1
192.168.149.129node2
192.168.149.130node3
（注* 我们需要在namenode、datanode三台服务器上都配置hosts解析）
第二步：从namenode上无密码登陆各台datanode服务器，需要做如下配置:
在namenode 128上执行ssh-keygen，一路Enter回车即可。
然后把公钥/root/.ssh/id_rsa.pub拷贝到datanode服务器即可，拷贝方法如下：
ssh--id -i .ssh/id_rsa.pub [email protected]
ssh--id -i .ssh/id_rsa.pub [email protected]
三、Java安装配置
tar -xvzf jdk-7u25-linux-x64.tar.gz &&mkdir -p /usr/java/ ; mv /jdk1.7.0_25 /usr/java/ 即可。
安装完毕并配置java环境变量，在/etc/profile末尾添加如下代码：
export JAVA_HOME=/usr/java/jdk1.7.0_25/
export PATH=$JAVA_HOME/bin:$PATH
export CLASSPATH=$JAVE_HOME/lib/dt.jar:$JAVE_HOME/lib/tools.jar:./
保存退出即可，然后执行source /etc/profile 生效。在命令行执行java -version 如下代表JAVA安装成功。
[root@node1 ~]# java -version
java version "1.7.0_25"
Java(TM) SE Runtime Environment (build 1.7.0_25-b15)
Java HotSpot(TM) 64-Bit Server VM (build 23.25-b01, mixed mode)
（注* 我们需要在namenode、datanode三台服务器上都安装Java JDK版本）
四、Hadoop版本安装
官方下载的hadoop2.2.0版本，不用编译直接解压安装就可以使用了，如下：
第一步解压:
tar -xzvf hadoop-2.2.0.tar.gz &&mv hadoop-2.2.0/data/hadoop/
（注* 先在namenode服务器上都安装hadoop版本即可，datanode先不用安装，待会修改完配置后统一安装datanode）
第二步配置变量：
在/etc/profile末尾继续添加如下代码，并执行source /etc/profile生效。
export HADOOP_HOME=/data/hadoop/
export PATH=$PATH:$HADOOP_HOME/bin/
export JAVA_LIBRARY_PATH=/data/hadoop/lib/native/
（注* 我们需要在namenode、datanode三台服务器上都配置Hadoop相关变量）
五、配置Hadoop
在namenode上配置，我们需要修改如下几个地方：
1、修改vi /data/hadoop/etc/hadoop/core-site.xml 内容为如下：
<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl"href=\'#\'" Put site-specific property overrides inthisfile. -->
<configuration>
<property>
<name>fs.default.name</name>
<value>hdfs://192.168.149.128:9000</value>
</property>
<property>
<name>hadoop.tmp.dir</name>
<value>/tmp/hadoop-${user.name}</value>
<description>A base forother temporary directories.</description>
</property>
</configuration>
2、修改vi /data/hadoop/etc/hadoop/mapred-site.xml内容为如下：
<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl"href=\'#\'" Put site-specific property overrides inthisfile. -->
<configuration>
<property>
<name>mapred.job.tracker</name>
<value>192.168.149.128:9001</value>
</property>
</configuration>
3、修改vi /data/hadoop/etc/hadoop/hdfs-site.xml内容为如下：
<?xml version="1.0"encoding="UTF-8"?>
<?xml-stylesheet type="text/xsl"href=\'#\'" /name>
<value>/data/hadoop/data_name1,/data/hadoop/data_name2</value>
</property>
<property>
<name>dfs.data.dir</name>
<value>/data/hadoop/data_1,/data/hadoop/data_2</value>
</property>
<property>
<name>dfs.replication</name>
<value>2</value>
</property>
</configuration>
4、在/data/hadoop/etc/hadoop/hadoop-env.sh文件末尾追加JAV_HOME变量：
echo "export JAVA_HOME=/usr/java/jdk1.7.0_25/">> /data/hadoop/etc/hadoop/hadoop-env.sh
5、修改 vi /data/hadoop/etc/hadoop/masters文件内容为如下：
192.168.149.128
6、修改vi /data/hadoop/etc/hadoop/slaves文件内容为如下：
192.168.149.129
192.168.149.130
如上配置完毕，以上的配置具体含义在这里就不做过多的解释了，搭建的时候不明白，可以查看一下相关的官方文档。
如上namenode就基本搭建完毕，接下来我们需要部署datanode，部署datanode相对简单，执行如下操作即可。
1 fori in`seq 129130` ; doscp -r /data/hadoop/ [email protected].$i:/data/ ; done
自此整个集群基本搭建完毕，接下来就是启动hadoop集群了。