snappycentos_如何安装hadoop本地压缩库

㈠树莓派可以使用哪些系统

树莓派是为学习计算机编程教育而设计，只有信用卡大小的微型电脑，其系统基于linux。随着Windows 10 IoT的发布，我们也将可以用上运行Windows的树莓派。

树莓派虽小，但五脏俱全，和普通电脑无异。电脑能做的大部分事情，在树莓派上都能做，而树莓派以其低能耗、移动便携性、GPIO等特性，很多在普通电脑上难以做好的事情，用树莓派却是很适合的。

拓展资料：

树莓派由注册于英国的慈善组织“Raspberry Pi 基金会”开发，Eben·Upton/埃·厄普顿为项目带头人。

2012年3月，英国剑桥大学埃本·阿普顿（Eben Epton）正式发售世界上最小的台式机，又称卡片式电脑，外形只有信用卡大小，却具有电脑的所有基本功能，这就是Raspberry Pi电脑板，中文译名"树莓派"。

它是一款基于ARM的微型电脑主板，以SD/MicroSD卡为内存硬盘，卡片主板周围有1/2/4个USB接口和一个10/100 以太网接口（A型没有网口），可连接键盘、鼠标和网线，同时拥有视频模拟信号的电视输出接口和HDMI高清视频输出接口，以上部件全部整合在一张仅比信用卡稍大的主板上，具备所有PC的基本功能只需接通电视机和键盘，就能执行如电子表格、文字处理、玩游戏、播放高清视频等诸多功能。

树莓派网络

㈡ Linux发行版哪个好

1.系统管理员最佳系统 :Parrot Linux

Parrot Linux基于Debian，几乎能够提供系统管理员需要的一切渗透测试工具。

管理员面对大量的日常工作，如果没有坚实的工具集作为辅助，繁重的任务将令人不堪重负。在这方面，Parrot Linux将成为您的最佳助手。这款基于Debian的系统几乎提供一切渗透工具，同时也面向加密、云、匿名、数字取证、编程甚至生产力等方向提供相关功能。因此，这是款堪称完美的安全与网络管理员专用的Linux发行版。

Parrot目前在Distrowatch榜单中排名第57位，预计它将在新的一年攀上更高的排行位置。

Parrot Security：一款安全工具Linux发行版http://www.linuxidc.com/Linux/2016-12/138019.htm

2.最佳轻量化发行版:LXLE

LXLE将小巧的体积与可观的生产能力进行了完美融合。

毫无疑问，我认为LXLE将成为2017年的最佳轻量化发行版选项。LXLE将小巧的体积与出色的生产能力加以完美融合，大家能够在其中找到您在桌面Linux中希望获取的几乎全部工具，且可在旧硬件上顺畅运行。LXLE基于Ubuntu16.04，同时配合极为易用的LXDE容器管理器。

LXLE包含多种标准工具(例如LibreOffice与GIMP)，唯一欠缺的是大家需要手动安装一款现代浏览器。

目前，LXLE在Distrowatch上排名位于第16位。

LXLE 14.04.4 Beta 发布下载，轻量级桌面 Linux 发行http://www.linuxidc.com/Linux/2016-02/128129.htm

3.最佳桌面发行版:Elementary OS

Elementary OS Loki不仅非常美观，且稳定性出色并提供无与伦比的用户友好性及一致性。

虽然带有部分主观因素，但我认为Elementary OS Loki必然能够在2017年内击败Linux Mint成为最佳桌面发行版。目前，Elementary OS在Distrowatch上排名第6位，但出色的稳定性、美观度以及无与伦比的用户友好性与一致性绝对能够让其顺利压倒目前排名第一的Linux Mint。

有些人认为Elementary OS桌面有点太过“Mac化”，但这实际上是对它带给最终用户体验的一种肯定。不过，凭借着开源特性，大家可以随意对它进行定制。

Elementary OS 美到你不能呼吸http://www.linuxidc.com/Linux/2015-12/126232.htm

Elementary OS 0.3 Freya 新功能选项-用户可自定义键盘快捷键http://www.linuxidc.com/Linux/2015-05/118000.htm

试用 Elementary OS 0.3 Freya Beta 1http://www.linuxidc.com/Linux/2014-08/105507.htm

Elementary OS 0.3 Freya 截图赏析http://www.linuxidc.com/Linux/2015-04/116164.htm

Elementary OS 0.3 Freya 发布http://www.linuxidc.com/Linux/2015-04/116079.htm

Elementary OS，致亲爱的Linux用户http://www.linuxidc.com/Linux/2015-04/116587.htm

在Elementary OS 0.3下用WPShttp://www.linuxidc.com/Linux/2014-11/109976.htm

4.百尺竿头更进一步的典范:Gentoo

红帽在协调企业业务需求方面拥有完美表现。

SUSE一直在企业领域不断前行，且总有一天会在这一市场上顺利登顶。但必须承认，这一天不会在2017年年内到来。红帽企业Linux将继续在此占据主导地位。根据Gartner公司的统计，红帽公司在Linux订阅市场拥有67%份额(其中红帽企业Linux订阅收入占红帽总营收的75%)。究其原因，红帽不仅与企业业务需求保持高度一致，同时亦几乎参与到每一个开源软件项目当中。

必须承认，红帽在安全、集成、云以及管理等领域一直在不断努力，其成果也堪称斐然。然而我仍然认为，2017年将成为SUSE持续崛起的一年，其还将不断蚕食红帽的市场份额。

选择权在您

Linux平台最为突出的优势之一在于，选择权完全由您所操纵。面对数以百计的发行版，您可以根据需要任意做出判断。不过我仍然自信地强调，本篇文章中提到的发行版绝对是最优秀的——或者，至少是最优秀的之一。

㈢目前最新的linux操作系统有哪些啊

最好的回归发行版：openSUSE

最可定制的发行版： Arch Linux

最好看的发行版：elementary OS

最佳新人：Solus

最好的专教育操作系属统：ezgo Linux

最好的云操作系统：Chrome OS

最好的笔记本操作系统：Ubuntu MATE

最好的旧硬件支持系统：Lubuntu

最好的物联网操作系统：Snappy Ubuntu Core

最好的台式机操作系统：Linux Mint Cinnamon

最好的游戏系统：Steam OS

最好的隐私保护操作系统：Tails

最好的多媒体制作系统：Ubuntu Studio

最好的企业级系统：SLE/RHEL

最好的服务器操作系统：Debian/CentOS

最好的移动操作系统：Plasma Mobile

最好的ARM设备发行版：Arch Linux ARM

暂时总结这些，每个发行版基本可以独当一面。

国产也有不少好的linux发行版，如

红旗Linux，银河麒麟，StartOS，深度操作系统

我比较看好深度操作系统

㈣如何安装hadoop本地压缩库

安装配置snappy压缩

[一]、实验环境

CentOS 6.3 64位

Hadoop 2.6.0

JDK 1.7.0_75

[二]、 snappy编译安装

2.1、下载源码

到官网 http://code.google.com/p/snappy/ 或者到 https://github.com/google/snappy
下载源码，目前版本为 1.1.1。

2.2、编译安装

解压 tar -zxvf snappy-1.1.1.tar.gz ,然后以 root 用户执行标准的三步进行编译安装：

/configure

make

make install

默认是安装到 /usr/local/lib ,这时在此目录下查看：

[hadoop@micmiu ~]$ ls -lh /usr/local/lib |grep snappy

-rw-r--r-- 1 root root 229K Mar 10 11:28 libsnappy.a

-rwxr-xr-x 1 root root 953 Mar 10 11:28 libsnappy.la

lrwxrwxrwx 1 root root 18 Mar 10 11:28 libsnappy.so ->
libsnappy.so.1.2.0

lrwxrwxrwx 1 root root 18 Mar 10 11:28 libsnappy.so.1 ->
libsnappy.so.1.2.0

-rwxr-xr-x 1 root root 145K Mar 10 11:28 libsnappy.so.1.2.0

安装过程没有错误同时能看到上面的动态库，基本表示snappy 安装编译成功。

[三]、Hadoop snappy 安装配置

3.1、hadoop 动态库重新编译支持snappy

hadoop动态库编译参考：Hadoop2.2.0源码编译和 Hadoop2.x在Ubuntu系统中编译源码，只是把最后编译的命令中增加
-Drequire.snappy :

1mvn package -Pdist,native -DskipTests -Dtar -Drequire.snappy

把重新编译生成的hadoop动态库替换原来的。

3.2、hadoop-snappy 下载

目前官网没有软件包提供，只能借助 svn 下载源码：

1svn checkout http://hadoop-snappy.googlecode.com/svn/trunk/
hadoop-snappy

3.3、hadoop-snappy 编译

1mvn package [-Dsnappy.prefix=SNAPPY_INSTALLATION_DIR]

PS：如果上面 snappy安装路径是默认的话，即 /usr/local/lib，则此处
[-Dsnappy.prefix=SNAPPY_INSTALLATION_DIR] 可以省略，或者
-Dsnappy.prefix=/usr/local/lib

编译成功后，把编译后target下的 hadoop-snappy-0.0.1-SNAPSHOT.jar 复制到 $HADOOP_HOME/lib
，同时把编译生成后的动态库到 $HADOOP_HOME/lib/native/ 目录下：

1cp -r
$HADOOP-SNAPPY_CODE_HOME/target/hadoop-snappy-0.0.1-SNAPSHOT/lib/native/Linux-amd64-64
$HADOOP_HOME/lib/native/

3.4、编译过程中常见错误处理

① 缺少一些第三方依赖

官方文档中提到编译前提需要：gcc c++, autoconf, automake, libtool, java 6, JAVA_HOME set,
Maven 3

②错误信息：

[exec] libtool: link: gcc -shared
src/org/apache/hadoop/io/compress/snappy/.libs/SnappyCompressor.o
src/org/apache/hadoop/io/compress/snappy/.libs/SnappyDecompressor.o
-L/usr/local/lib -ljvm -ldl -m64 -Wl,-soname -Wl,libhadoopsnappy.so.0 -o
.libs/libhadoopsnappy.so.0.0.1

[exec] /usr/bin/ld: cannot find -ljvm

[exec] collect2: ld returned 1 exit status

[exec] make: *** [libhadoopsnappy.la] Error 1

或者

[exec] /bin/sh ./libtool --tag=CC --mode=link gcc -g -Wall -fPIC -O2 -m64
-g -O2 -version-info 0:1:0 -L/usr/local/lib -o libhadoopsna/usr/bin/ld: cannot
find -ljvm

[exec] collect2: ld returned 1 exit status

[exec] make: *** [libhadoopsnappy.la] Error 1

[exec] ppy.la -rpath /usr/local/lib
src/org/apache/hadoop/io/compress/snappy/SnappyCompressor.lo
src/org/apache/hadoop/io/compress/snappy/SnappyDecompressor.lo -ljvm -ldl

[exec] libtool: link: gcc -shared
src/org/apache/hadoop/io/compress/snappy/.libs/SnappyCompressor.o
src/org/apache/hadoop/io/compress/snappy/.libs/SnappyDecompressor.o
-L/usr/local/lib -ljvm -ldl -m64 -Wl,-soname -Wl,libhadoopsnappy.so.0 -o
.libs/libhadoopsnappy.so.0.0.1

[ant] Exiting
/home/hadoop/codes/hadoop-snappy/maven/build-compilenative.xml.

这个错误是因为没有把安装jvm的libjvm.so 链接到
/usr/local/lib。如果你的系统时amd64，可以执行如下命令解决这个问题：

1ln -s /usr/java/jdk1.7.0_75/jre/lib/amd64/server/libjvm.so
/usr/local/lib/

[四]、hadoop配置修改

4.1、修改 $HADOOP_HOME/etc/hadoop/hadoop-env.sh，添加：

1export
LD_LIBRARY_PATH=$LD_LIBRARY_PATH:$HADOOP_HOME/lib/native/Linux-amd64-64/

4.2、修改 $HADOOP_HOME/etc/hadoop/core-site.xml：

XHTML

io.compression.codecs

org.apache.hadoop.io.compress.GzipCodec,

org.apache.hadoop.io.compress.DefaultCodec,

org.apache.hadoop.io.compress.BZip2Codec,

org.apache.hadoop.io.compress.SnappyCodec

4.3、修改 $HADOOP_HOME/etc/hadoop/mapred-site.xml 中有关压缩属性，测试snappy：

XHTML

maprece.map.output.compress

true

maprece.map.output.compress.codec

org.apache.hadoop.io.compress.SnappyCodec[五]、测试验证

全部配置好后(集群中所有的节点都需要动态库和修改配置)，重启hadoop集群环境，运行自带的测试实例
wordcount，如果maprece过程中没有错误信息即表示snappy压缩安装方法配置成功。

当然hadoop也提供了本地库的测试方法 hadoop checknative ：

[hadoop@micmiu ~]$ hadoop checknative

15/03/17 22:57:59 INFO bzip2.Bzip2Factory: Successfully loaded &
initialized native-bzip2 library system-native

15/03/17 22:57:59 INFO zlib.ZlibFactory: Successfully loaded &
initialized native-zlib library

Native library checking:

hadoop: true
/usr/local/share/hadoop-2.6.0/lib/native/libhadoop.so.1.0.0

zlib: true /lib64/libz.so.1

snappy: true
/usr/local/share/hadoop/lib/native/Linux-amd64-64/libsnappy.so.1

lz4: true revision:99

bzip2: true /lib64/libbz2.so.1

openssl: true /usr/lib64/libcrypto.so

㈤两台服务器手动部署大数据平台

两台服务器手动部署大数据平台

##### 初始服务器数量

- 2台centos7

##### 建议配置

- 32G(RAM)

- 24cpu

- 10t(SATA)

### 1.环境

- 系统centos7

- jdk：1.8.0_171（64位）

- zookeeper：3.4.8

- spark-2.1.0-bin-hadoop2.6

- kafka_2.10-0.10.2.1

- hadoop-2.7.0

- hbase-1.2.6

- elasticsearch-6.3.0

### 2.系统准备

对应的安装包文件：

elasticsearch-6.3.0.tar.gz

hadoop-2.7.0.tar.gz

hbase-1.2.6-bin.tar.gz

jdk-8u171-linux-x64.tar.gz

kafka_2.10-0.10.2.1.tgz

mysql-5.7.23-1.el7.x86_64.rpm-bundle.tar

spark2.1.0hadoop2.6.tgz.gz

zookeeper-3.4.8.tar.gz

一、配置好hosts

```

两台设备的host

ip1 hello1

ip2 hello2

关闭防火墙

systemctl stop firewalld

systemctl disable firewalld

二、机器之间做好免密

1. 在hello1服务器中，cd /root/

2. ssh-keygen -trsa (全部按回车，走默认配置)

3. cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys

4. chmod 600 ~/.ssh/authorized_keys

5. scp ~/.ssh/authorized_keys root@hello2:~/.ssh/

到此处时可以实现hello1机器上通过root账户登录到hello2中，但从hello2中无法通过免密码登录到hello1服务器。

6. 在hello2服务器中，cd /root/

7. ssh-keygen -trsa (全部按回车，走默认配置)

8. cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys

9. scp ~/.ssh/authorized_keys root@hello1:~/.ssh/

到此处时可以实现hello1机器与hello2机器之间免密码互通

三、建立一个用户操作elasticsearch用户，后期所有安装软件放在该目录下（当前使用root账户安装）

1.添加用户：

useradd -m -s /bin/bash es

2.为该用户设置密码：

password es

四、安装JDK

如果系统自带openjdk，先将其卸载掉！

1.创建jdk安装路径(hello1、hello2都执行)

执行： mkdir /usr/java

2.解压缩jdk到安装目录

执行： tar -zxvf jdk-8u171-linux-x64.tar.gz -C /usr/java/

3.添加环境变量

vi /etc/profile,添加以下语句

export JAVA_HOME=/usr/java/jdk1.8.0_171

export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar

export PATH=$PATH:$JAVA_HOME/bin

执行：source /etc/profile

4.复制安装包和数据目录到hello2

scp -r /usr/java/jdk1.8.0_171 hello2:/usr/java/

scp /etc/profile hello2:/etc/

登录到hello2上，进入/home/es目录

执行： source /etc/profile

5、验证：

两台服务器上分别执行： java -version,查看输出的版本是否与安装的版本一致。

五、安装mysql

1.如果centos系统中自带mariadb，先卸载mariadb。

2.解压mysql安装包程序

执行：tar -xvf mysql-5.7.23-1.el7.x86_64.rpm-bundle.tar

3.依次安装里面rpm包组建

rpm -ivh mysql-community-common-5.7.23-1.el7.x86_64.rpm

rpm -ivh mysql-community-libs-5.7.23-1.el7.x86_64.rpm

rpm -ivh mysql-community-client-5.7.23-1.el7.x86_64.rpm

rpm -ivh mysql-community-server-5.7.23-1.el7.x86_64.rpm

rpm -ivh mysql-community-devel-5.7.23-1.el7.x86_64.rpm

4.启动MySQL

执行： systemctl start mysqld

5.登录mysql服务器

这种方式安装好后，会再my.cnf文件中自动生成一个密码，

执行：cat /var/log/mysqld.log | grep password，出现如下记录：

2017-09-15T01:58:11.863301Z 1 [Note] A temporary password is generated for root@localhost: m-NdrSG4ipuO

其中“m-NdrSG4ipuO”为mysql root账户的初始密码。

登录：

执行： mysql -uroot -p

输入密码： m-NdrSG4ipuO，即可进入mysql服务器。

后续可自行修改root密码，创建新账户等操作。

六、安装zookeeper

1.解压zookeeper安装包到指定目录（/home/es）

tar -zxvf zookeeper-3.4.8.tar.gz -C /home/es

2.创建程序软连接

cd /home/es/

ln -s zookeeper-3.4.8 zookeeper

3.添加执行路径环境

vi /etc/profile

添加

export ZOOKEEPER_HOME=/home/es/zookeeper

export PATH=$PATH:$ZOOKEEPER_HOME/bin

执行

source /etc/profile

4.修改配置文件

cd /home/es/zookeeper

cp conf/zoo_sample.cfg conf/zoo.cfg

在/home/data下创建对应的zookeeper数据存储目录

mkdir /home/data/zookeeper

mkdir /home/data/zookeeper/data

mkdir /home/data/zookeeper/log

修改配置文件：conf/zoo.cfg，添加以下语句

dataDir=/home/data/zookeeper/data

dataLogDir=/home/data/zookeeper/log

server.1=hello1:2888:3888

server.2=hello2:2888:3888

5.创建server表示符文件

touch /home/data/zookeeper/data/myid

echo echo 1>/home/data/zookeeper/data/myid

6.复制安装包和数据目录到hello2

scp -r /home/es/zookeeper-3.4.8 es@hello2:/home/es

scp -r /home/data/zookeeper es@hello2:/home/data

scp /etc/profile es@hello2:/etc

登录到hello2上

cd /home/es

ln -s zookeeper-3.4.8 zookeeper

echo echo 2>/home/data/zookeeper/data/myid

执行

source /etc/profile

7.两台机器上分别执行

zkServer.sh start

8.验证

jps | grep QuorumPeerMain,查看是否有该进程

zkServer.sh status,查看服务状态

六、安装kafka

1.解压kafka安装包到指定目录（/home/es）

tar -zxvf kafka_2.10-0.10.2.1.tgz -C /home/es

2.创建程序软连接

cd /home/es/

ln -s kafka_2.10-0.10.2.1 kafka

3.修改配置文件

备份：

cp config/server.properties config/server.properties.bak

创建kafka日志目录：

mkdir /home/data/kafka

mkdir /home/data/kafka/kafka-logs

修改:config/server.properties,具体对应字段如下：

broker.id=0

delete.topic.enable=true

num.network.threads=10

num.io.threads=32

socket.send.buffer.bytes=102400

socket.receive.buffer.bytes=102400

socket.request.max.bytes=104857600

log.dirs=/home/data/kafka/kafka-logs

num.partitions=1

num.recovery.threads.per.data.dir=1

log.retention.hours=168

log.segment.bytes=1073741824

log.retention.check.interval.ms=300000

zookeeper.connect=hello1:2181,hello2:2181

zookeeper.connection.timeout.ms=6000

6.复制安装包和数据目录到hello2

scp -r /home/es/kafka_2.10-0.10.2.1 es@hello2:/home/es

scp -r /home/data/kafka es@hello2:/home/data

修改hello2中的配置

登录到hello2上，cd /home/es/kafka,修改config/server.properties中broker.id值为2.

7.启动kafka

在两台机器的/home/es/kafka中，创建一个日志存放目录：mkdir start_log，执行以下命令：

nohup bin/kafka-server-start.sh config/server.properties > start_log/kafka_start_log 2>&1 &

8.验证运行情况

jps | grep Kafka,查看进程

通过kafka命令查看topic。

七、安装hadoop

1.解压hadoop安装包到指定目录（/home/es）

tar -zxvf hadoop-2.7.0.tar.gz -C /home/es

2.创建程序软连接

cd /home/es/

ln -s hadoop-2.7.0 hadoop

3.创建数据存放目录

mkdir /home/data/hadoop

mkdir /home/data/hadoop/tmp

mkdir /home/data/hadoop/dfs

mkdir /home/data/hadoop/dfs/data

mkdir /home/data/hadoop/dfs/name

4.修改配置文件

修改/home/es/hadoop/etc/hadoop/core-site.xml

<configuration>

<property>

<name>fs.defaultFS</name>

<value>hdfs://hello1:9000</value>

</property>

<property>

<name>hadoop.tmp.dir</name>

<value>file:/home/data/hadoop/tmp</value>

</property>

<property>

<name>io.file.buffer.size</name>

<value>131702</value>

</property>

</configuration>

修改/home/es/hadoop/etc/hadoop/hdfs-site.xml

<configuration>

<property>

<name>dfs.namenode.name.dir</name>

<value>file:/home/data/hadoop/dfs/name</value>

</property>

<property>

<name>dfs.datanode.data.dir</name>

<value>file:/home/data/hadoop/dfs/data</value>

</property>

<property>

<name>dfs.replication</name>

<value>2</value>

</property>

<property>

<name>dfs.namenode.secondary.http-address</name>

<value>hello1:9001</value>

</property>

<property>

<name>dfs.webhdfs.enabled</name>

<value>true</value>

</property>

</configuration>

修改/home/es/hadoop/etc/hadoop/mapred-site.xml

<configuration>

<property>

<name>maprece.framework.name</name>

<value>yarn</value>

</property>

<property>

<name>maprece.jobhistory.address</name>

<value>hello1:10020</value>

</property>

<property>

<name>maprece.jobhistory.webapp.address</name>

<value>hello1:19888</value>

</property>

</configuration>

修改/home/es/hadoop/etc/hadoop/yarn-site.xml

<configuration>



<property>

<name>yarn.nodemanager.aux-services</name>

<value>maprece_shuffle</value>

</property>

<property>

<name>yarn.nodemanager.auxservices.maprece.shuffle.class</name>

<value>org.apache.hadoop.mapred.ShuffleHandler</value>

</property>

<property>

<name>yarn.resourcemanager.address</name>

<value>hello1:8032</value>

</property>

<property>

<name>yarn.resourcemanager.scheler.address</name>

<value>hello1:8030</value>

</property>

<property>

<name>yarn.resourcemanager.resource-tracker.address</name>

<value>hello1:8031</value>

</property>

<property>

<name>yarn.resourcemanager.admin.address</name>

<value>hello1:8033</value>

</property>

<property>

<name>yarn.resourcemanager.webapp.address</name>

<value>hello1:8088</value>

</property>

<property>

<name>yarn.nodemanager.resource.memory-mb</name>

<value>768</value>

</property>

</configuration>

配置/home/es/hadoop/etc/hadoop目录下hadoop-env.sh、yarn-env.sh的JAVA_HOME（不设置的话，启动不了）

export JAVA_HOME=/usr/java/jdk1.8.0_171

配置/home/es/hadoop/etc/hadoop目录下的slaves，删除默认的localhost，增加2个从节点，

hello1

hello2

5、将配置好的Hadoop复制到各个节点对应位置上，通过scp传送

scp -r /home/es/hadoop-2.7.0 hello2:/home/es/

scp -r /home/data/hadoop hello2:/home/data/

登录到hello2上，进入/home/es目录

执行： ln -s hadoop-2.7.0 hadoop

6、格式化nameNode及启动hadoop

在主服务器启动hadoop，从节点会自动启动，进入/home/es/hadoop目录

初始化，输入命令，bin/hdfs namenode -format

全部启动sbin/start-all.sh，也可以分开sbin/start-dfs.sh、sbin/start-yarn.sh

输入命令，jps，可以看到相关信息

7、验证hadoop运行情况

浏览器打开http://hello1:8088/

浏览器打开http://hello1:50070/

8、添加hadoop环境变量到/etc/profile

export HADOOP_HOME=/home/es/hadoop export PATH=$PATH:$HADOOP_HOME/sbin

export PATH=$PATH:$HADOOP_HOME/bin

export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native

export HADOOP_OPTS="-Djava.library.path=$HADOOP_HOME/lib/native"

执行： source /etc/profile

八、安装Hbase

1.解压hbase安装包到指定目录（/home/es）

tar -zxvf hbase-1.2.6-bin.tar.gz -C /home/es

2.创建程序软连接

cd /home/es/

ln -s hbase-1.2.6 hbase

3.添加hbase环境变量到/etc/profile

export HBASE_HOME=/home/es/hbase

export PATH=$HBASE_HOME/bin:$PATH

执行：source /etc/profile

4.修改HBASE配置文件

vi /home/es/hbase/conf/hbase-env.sh

增加： export JAVA_HOME=/usr/java/jdk1.8.0_171

修改： export HBASE_MANAGES_ZK=false

vi /home/es/hbase/conf/hbase-site.xml

修改类容：

<configuration>

<property>

<name>hbase.rootdir</name> 

<value>hdfs://hello1:9000/hbase/hbase_db</value>



</property>

<property>

<name>hbase.cluster.distributed</name> 

<value>true</value>

</property>

<property>

<name>hbase.zookeeper.quorum</name> 

<value>hello1,hello2</value>

</property>

<property>

<name>hbase.zookeeper.property.dataDir</name>

<value>/home/es/hbase/zookeeper</value>

</property>

</configuration>

配置regionservers，vi /home/es/hbase/conf/regionservers

去掉默认的localhost，加入hello1、hello2

5、将配置好的hbase复制到各个节点对应位置上，通过scp传送

scp -r /home/es/hbase-1.2.6 hello2:/home/es/

scp /etc/profile hello2:/etc/

登录到hello2上，进入/home/es目录

执行： ln -s hbase-1.2.6 hbase

source /etc/profile

6、hbase的启动

hello1中执行： start-hbase.sh

7、验证hbase运行情况

输入jps命令查看进程是否启动成功，若 hello1上出现HMaster、HRegionServer、HQuormPeer，hello2上出现HRegionServer、HQuorumPeer，就是启动成功了。

输入hbase shell 命令进入hbase命令模式，输入status命令，查看运行状态。

在浏览器中输入http://hello1:16010就可以在界面上看到hbase的配置

注意事项：

正常安装后，创建普通不带压缩表可以正常读写，当使用snappy进行压缩创建表时，该表无法再regionServer中启动！

解决方法：

1.在hbase-site.xml文件中添加一下属性

<property>

<name>hbase.regionserver.codecs</name>

<value>snappy</value>

</property>

2.每台机器中将hadoop_native.zip解压缩到hbase安装目录的lib下，执行 unzip hadoop_native.zip $HBASE_HOME/lib/

3.在$HBASE_HOME/conf/hbase-env.sh 中添加：export HBASE_LIBRARY_PATH=/home/es/hbase/lib/native

4.重启Hbase服务即可

九、Spark安装

1.解压hbase安装包到指定目录（/home/es）

tar -zxvf spark2.1.0hadoop2.6.tgz.gz -C /home/es

2.创建程序软连接

cd /home/es/

ln -s spark2.1.0hadoop2.6 spark

3.修改配置文件

mv /home/es/spark/conf/spark-env.sh.template /home/es/spark/conf/spark-env.sh

vi /home/es/spark/conf/spark-env.sh

修改对应配置：

export JAVA_HOME=/usr/java/jdk1.8.0_171

export SPARK_MASTER_IP=hello1

export SPARK_MASTER_PORT=7077

export SPARK_LOCAL_IP=hello1

修改slaves文件

mv /home/es/spark/conf/slaves.template /home/es/spark/conf/slaves

vi /home/es/spark/conf/slaves

将localhost修改成：

hello1

hello2

5、将配置好的hbase复制到各个节点对应位置上，通过scp传送

scp -r /home/es/spark2.1.0hadoop2.6 hello2:/home/es/

登录到hello2上，进入/home/es目录

执行： ln -s spark2.1.0hadoop2.6 spark

在hello2中修改/home/es/spark/conf/spark-env.sh

export JAVA_HOME=/usr/java/jdk1.8.0_171

export SPARK_MASTER_IP=hello1

export SPARK_MASTER_PORT=7077

export SPARK_LOCAL_IP=hello2

6、启动spark

cd /home/es/spark

执行： sbin/start-all.sh

7、检测执行结果

jps | grep Worker,看是否有相应的进程。

十、安装elasticsearch

由于elasticsearch，用root账户无法启动，故该组件用es账户安装

1、切换到es账户： su es

2、解压hbase安装包到指定目录（/home/es）

tar -zxvf elasticsearch-6.3.0.tar.gz -C /home/es/

创建程序软连接

cd /home/es/

ln -s elasticsearch-6.3.0 elasticsearch

3、修改配置文件

vi /home/es/elasticsearch/config/elasticsearch.yml

# 集群的名字

cluster.name: crrc-health

# 节点名字

node.name: node-1

# 数据存储目录（多个路径用逗号分隔）

path.data: /home/data1/elasticsearch/data

# 日志目录

path.logs: /home/data1/elasticsearch/logs

#本机的ip地址

network.host: hello1

#设置集群中master节点的初始列表，可以通过这些节点来自动发现新加入集群的节点

discovery.zen.ping.unicast.hosts: ["hello1", "hello2"]

# 设置节点间交互的tcp端口（集群）,(默认9300)

transport.tcp.port: 9300

# 监听端口（默认）

http.port: 9200

# 增加参数，使head插件可以访问es

http.cors.enabled: true

http.cors.allow-origin: "*"

4、创建elasticsearch数据和存储目录

mkdir /home/data1/elasticsearch

mkdir /home/data1/elasticsearch/data

mkdir /home/data1/elasticsearch/logs

5、修改linux系统的默认硬限制参数

切换至root用户： su root

vim /etc/security/limits.conf

添加：

es soft nofile 65536

es hard nofile 65536

退出es登录，重新用es账户登录，使用命令：ulimit -Hn查看硬限制参数。

vi /etc/sysctl.conf

添加：

vm.max_map_count=655360

执行：

sysctl -p

6、将配置好的elasticsearch复制到各个节点对应位置上，通过scp传送

scp -r /home/es/elasticsearch-6.3.0 hello2:/home/es/

scp -r /home/data1/elasticsearch hello2:/home/data1/

登录到hello2上，进入/home/es目录

执行： ln -s elasticsearch-6.3.0 elasticsearch-6.3.0

在hello2中修改/home/es/elasticsearch/config/elasticsearch.yml

修改： network.host: hello2

7、启动elasticsearch

使用es账户

执行：

/home/es/elasticsearch/bin/elasticsearch -d

8、验证

控制台中输入：curl http://hello1:9200

导航:首页 > APP软件 > snappycentos

snappycentos

与snappycentos相关的资料

友情链接