linuxshell变量累加

㈠ 大数据学习什么

大数据学以下内容：

阶段一：JavaSE基础核心

1.深入理解Java面向对象思想

2.掌握开发中常用基础API

3.熟练使用集合框架、IO流、异常

4.能够基于JDK8开发

5.熟练使用MySQL，掌握SQL语法

阶段二：Hadoop生态体系架构

1.linux系统的安装和操作

2.熟练掌握Shell脚本语法

3.Idea、Maven等开发工具的使用

4.Hadoop组成、安装、架构和源码深度解析，以及API的熟练使用

5.Hive的安装部署、内部架构、熟练使用其开发需求以及企业级调优

6.Zookeeper的内部原理、选举机制以及大数据生态体系下的应用

7.Flume的架构原理、组件自定义、监控搭建，熟练使用Flume开发实战需求

8.Kafka的安装部署以及框架原理，重点掌握Kafka的分区分配策略、数据可靠性、数据一致性、数据乱序处理、零拷贝原理、高效读写原理、消费策略、再平衡等内容

9.统筹Hadoop生态下的Hadoop、Flume 、Zookeeper、Kafka、DataX、MaxWell等诸多框架，搭建数据采集系统，熟练掌握框架结构和企业级调优手段

阶段三：Spark生态体系架构

1.Spark的入门安装部署、Spark Core部分的基本API使用熟练、RDD编程进阶、累加器和广播变量的使用和原理掌握、Spark SQL的编程掌握和如何自定义函数、Spark的内核源码详解（包括部署、启动、任务划分调度、内存管理等）、Spark的企业级调优策略

2.DophineScheler的安装部署，熟练使用进行工作流的调度执行

3.了解数据仓库建模理论，充分熟悉电商行业数据分析指标体系，快速掌握多种大数据技术框架，了解认识多种数据仓库技术模块

4.HBase和Phoenix的部署使用、原理架构讲解与企业级优化

5.开发工具Git&Git Hub的熟练使用

6.Redis的入门、基本配置讲解、jedis的熟练掌握

7.ElasticSearch的入门安装部署及调优

8.充分理解用户画像管理平台的搭建及使用、用户画像系统的设计思路，以及标签的设计流程及应用，初步了解机器学习算法

9.项目实战。贴近大数据的实际处理场景，多维度肆薯设计实战项目，能够更加广泛的掌握大数据需求解决方案，全流程参与项目裂罩者打造，短时间提高学生的实战水平，对各个常用框架加强认知，迅速累积实战经验

阶段四：Flink生态体系架构

1.熟练掌握Flink的基本架构以及流式数据处理思想，熟练使用Flink多种Soure、Sink处理数据，熟练使用基本API、Window API 、状态函数、Flink SQL、Flink CEP复杂事件处理等

2.使用Flink搭建实时数仓项目，熟练使用Flink框架分析计算各种指标

3.ClickHouse安装、使用及调优

4.项目实战。贴近大数据的实际处理场景，多维度设计实战项目，能够更广泛的掌握大数据需求解决方案，全流程参与项目打造，短时间提高学生的实战水平，对各个常用框架加强认知，迅速累积实战经验

5.可选掌握推荐和机器学习项目闷槐，熟悉并使用系统过滤算法以及基于内容的推荐算法等

6.采用阿里云平台全套大数据产品重构电商项目，熟悉离线数仓、实时指标的阿里云解决方案

㈡ LINUX awk 语句 awk ' { SUM += $1 } END { print SUM }'请问这个要怎么理解，需详细

1、首抄先awk截取指定域，在日志的处理和监控中，经常会截取指定的字符来进行后续处理。如：从df -h命令中提取/目录所占百分比（监控经常会用到）。

㈢ shell如何将一行的数据求累加值网上很多awk都是加列，不是行。

如果一个a.txt文件中有一行数据，每个用空格隔开的：
1 2 5 23 4 77 23 4 6
那么可以用awk计算一行的数据求和
awk '
{
for (i=1; i<= NF; i++) sum += $i;

print sum;
}
' a.txt

就会输出一行的求和结果。如果有多行的话，上面的程序会输出每一行的求和结果。

㈣ 怎么在linux shell 里自动输入一个数字，比如2，然后自动执行一个回车

可以设置read命令计数输入的字符。当输入的字符数目达到预定数目时，自动版退出，并权将输入的数据赋值给变量。
#!/bin/bash
read -n1 -p "Do you want to continue [Y/N]?" answer
case $answer in
Y | y)
echo "fine ,continue";;
N | n)
echo "ok,good bye";;
*)
echo "error choice";;
esac
exit 0
该例子使用了-n选项，后接数值1，指示read命令只要接受到一个字符就退出。只要按下一个字符进行回答，read命令立即接受输入并将其传给变量。无需按回车键。

㈤ Linux常用命令

就是list的缩写，通过ls 命令不仅可以查看linux文件夹包含的文件，而且可以查看文件权限(包括目录、文件夹、文件权限)看目录信息等等

常用参数搭配：

实例：

(changeDirectory),命令语法：cd [目录名]。说明：切换当前目录至dirName
实例：

查看当前工作目录路径
实例：

创建文件夹
实例：

删除一个目录中的一个或多个文件或目录，如果没有使用- r选项，则rm不会删除目录。如果使用rm 来删除文件，通常仍可以将该文件恢复原状
rm [选项] 文件…

常用参数搭配：

实例：

删除空目录，一个目录被删除之前必须是空的。（注意，rm -r dir 命令可以代替rmdir,但是很危险，万一它突然就不是空的咧？），另外删除某目录时必须具有对父目录的写权限。

实例：
rmdir -p watch/avi删掉avi目录，watch目录就空掉了，那还看什么？所以干脆把watch目录一起删掉，眼不见为不净嘛。

mv命令是move的缩写，可以用来移动文件或者将文件改名，是Linux系统下常用的命令，经常用来备份文件或者目录。

命令功能：
视mv命令中第二个参数类型的不同（是目标文件还是目标目录），mv命令将文件重命名或将其移至一个新的目录中。当第二个参数类型是文件时，mv命令完成文件重命名，此时，源文件只能有一个（也可以是源目录名），它将所给的源文件或目录重命名为给定的目标文件名。当第二个参数是已存在的目录名称时，源文件或目录参数可以有多个，mv命令将各参数指定的源文件均移至目标目录中。在跨文件系统移动文件时，mv先拷贝，再将原有文件删除，而链至该文件的链接也将丢失。

命令参数：

实例：

将源文件复制至目标文件，或将多个源文件复制至目标目录。
注意：命令行复制，如果目标文件已经存在会提示是否覆盖，而在shell脚本中，如果不加-i参数，则不会提示，而是直接覆盖！

命令参数：

实例：

cat主要有三大功能：

命令参数：

实例：

功能类似于cat, more会以一页一页的显示方便使用者逐页阅读，而最基本的指令就是按空白键（space）就往下一页显示，按 b 键就会往回（back）一页显示

命令参数：

常用操作命令：

实例：

less 与 more 类似，但使用 less 可以随意浏览文件，而 more 仅能向前移动，却不能向后移动，而且 less 在查看之前不会加载整个文件。

命令参数:

实例：

head 用来显示档案的开头至标准输出中，默认head命令打印其相应文件的开头10行。

常用参数：

实例：

从指定点开始将文件写到标准输出。使用tail命令的-f选项可以方便的查阅正在改变的日志文件，tail -f filename会把filename里最尾部的内容显示在屏幕上，并且不断刷新，使你看到最新的文件内容。

常用参数：

实例：

用于改变linux系统文件或目录的访问权限。该命令有两种用法。一种是包含字母和操作符表达式的文字设定法；另一种是包含数字的数字设定法。
每一文件或目录的访问权限都有三组，每组用三位表示，分别为文件属主的读、写和执行权限；与属主同组的用户的读、写和执行权限；系统中其他用户的读、写和执行权限。可使用ls -l test.txt查找。
以文件log2012.log为例：
-rw-r--r-- 1 root root 296K 11-13 06:03 log2012.log
第一列共有10个位置，第一个字符指定了文件类型。在通常意义上，一个目录也是一个文件。如果第一个字符是横线，表示是一个非目录的文件。如果是d，表示是一个目录。从第二个字符开始到第十个共9个字符，3个字符一组，分别表示了3组用户对文件或者目录的权限。权限字符用横线代表空许可，r代表只读，w代表写，x代表可执行。

常用参数：

权限范围：

权限代号：

实例：

tar命令是类Linux中比价常用的解压与压缩命令。

常用参数：
-c: 建立压缩档案
-x：解压
-t：查看内容
-r：向压缩归档文件末尾追加文件
-u：更新原压缩包中的文件

这五个是独立的命令，压缩解压都要用到其中一个，可以和别的命令连用但只能用其中一个。下面的参数是根据需要在压缩或解压档案时可选的。

下面的参数-f是必须的

常见解压/压缩命令

chown将指定文件的拥有者改为指定的用户或组，用户可以是用户名或者用户ID；组可以是组名或者组ID；文件是以空格分开的要改变权限的文件列表，支持通配符。

常用参数：

实例：

显示磁盘空间使用情况。获取硬盘被占用了多少空间，目前还剩下多少空间等信息，如果没有文件名被指定，则所有当前被挂载的文件系统的可用空间将被显示。默认情况下，磁盘空间将以 1KB 为单位进行显示，除非环境变量 POSIXLY_CORRECT 被指定，那样将以512字节为单位进行显示。

常用参数：

实例：

命令也是查看使用空间的，但是与df命令不同的是，能看到的文件只是一些当前存在的，没有被删除的，他计算的大小就是当前他认为存在的所有文件大小的累加和。命令是对文件和目录磁盘使用的空间的查看。

常用参数：

实例：

ln命令用于将一个文件创建链接,链接分为软链接和硬链接，命令默认使用硬链接。当在不同目录需要该文件时，就不需要为每一个目录创建同样的文件，通过ln创建的链接（link）减少磁盘占用量。

软链接：

硬链接:

需要注意：

常用参数：

实例：

显示或设定系统的日期与时间

命令参数：

实例：

可以用户显示公历（阳历）日历，如只有一个参数，则表示年份(1-9999)，如有两个参数，则表示月份和年份。

常用参数：

实例：

强大的文本搜索命令，grep(Global Regular Expression Print)全局正则表达式搜索。
grep的工作方式是这样的，它在一个或多个文件中搜索字符串模板。如果模板包括空格，则必须被引用，模板后的所有字符串被看作文件名。搜索的结果被送到标准输出，不影响原文件内容。

命令格式：
grep [option] pattern file|dir

常用参数：

实例：

wc(word count)功能为统计指定的文件中字节数、字数、行数，并将统计结果输出。

命令格式：
wc [option] file..

命令参数：

实例：

ps(process status)，用来查看当前运行的进程状态，一次性查看，如果需要动态连续结果使用top。

linux上进程有5种状态:

ps工具标识进程的5种状态码：

命令参数：

实例：

显示当前系统正在执行的进程的相关信息，包括进程ID、内存占用率、CPU占用率等。

常用参数：

发送指定的信号到相应进程。不指定型号将发送SIGTERM（15）终止指定进程。如果无法终止该程序可用“-KILL” 参数，其发送的信号为SIGKILL(9) ，将强制结束进程，使用ps命令或者jobs 命令可以查看进程号。root用户将影响用户的进程，非root用户只能影响自己的进程。

常用参数：

实例：

显示系统内存使用情况，包括物理内存、交互区内存(swap)和内核缓冲区内存。

命令参数：

实例：

Netstat 是一款命令行工具，可用于列出系统上所有的网络套接字连接情况，包括 tcp, udp 以及 unix 套接字，另外它还能列出处于监听状态（即等待接入请求）的套接字。如果你想确认系统上的 Web 服务有没有起来，你可以查看80端口有没有打开。以上功能使 netstat 成为网管和系统管理员的必备利器。

命令参数：

实例