linuxexpr

⑴ linux借用外部命令expr,实现计算器功能，利用管道，进程

test指令（使用指令man查询）

功能：检查文件类型，值比较。

test的各种参数和使用。

test EXPRESSION1 –a EXPRESSION2

当表达式1和表达式2同时为真时值为真

test EXPRESSION1 –o EXPRESSION2

当表达式1或者表达式2为真时值为真

test –n STRING

或者

test STRING

当STRING串的长度不为零时值为真

test –z STRING

当STRING串长度为零时值为真

test STRING1 = STRING2

当STRING1和STRING2相同时值为真

test STRING1 != STRING2

当STRING1 和 STRING2不同时值为真

test INTEGER1 –eq INTEGER2

当INTEGER1等于INTEGER2时值为真

test INTEGER1 –ge INTEGER2

当INTEGER1大于或者等于INTEGER2时值为真

test INTEGER1 –gt INTEGER2

当INTEGER1 大于INTEGER2时值为真

test INTEGER1 –le INTEGER2

当INTEGER1小于等于INTEGER2时值为真

test INTEGER1 –lt INTEGER2

当INTEGER1 小于INTEGER2时值为真

test INTEGER1 –ne INTEGER2

当INTEGER1不等于INTEGER2时值为真

test FILE1 –ef FILE2

当FILE1和FILE2有同样的device和inode号时为真（详细见linux文件学习笔记）

test FILE1 –nt FILE2

当FILE1修改时间比FILE2新时值为真

test FILE1 –ot FILE2

当FILE1修改时间比FILE2旧时值为真

test –b FILE

FILE存在并且内容是block类型的

test –c FILE

FILE存在并且是字符类型的

test –d FILE

FILE存在并且是一个目录

test –e FILE

FILE是否存在

test –f FILE

FILE存在并且是一个正则表达式类型的文档

test –g FILE

FILE存在并且是 set-group-ID也就是SGID（详细见后文学习笔记）

test –G FILE

FILE存在并且由有效的GROUP ID所拥有（详细见后文学习笔记）

test –h FILE

FILE存在并且是一个符号链接（详细见后文学习笔记）

test –k FILE

FILE存在并且设置了sticky bit set（详细见后文学习笔记）

test –L FILE

FILE存在并且是一个符号链接

test –O FILE

FILE存在并且由一个有效的USER ID所拥有

test –p FILE

FILE存在并且是一个命名管道（命名管道见后文学习笔记）

test –r FILE

FILE存在并且授予了可读的权限

test –s FILE

FILE存在并且size大于0

test –S FILE

FILE存在并且是一个socket

test –t FD

文件的描述符FD在终端打开

test –u FILE

FILE存在并且SUID已经被设置

test –w FILE

FILE存在并且授予了写操作权限

test –x FILE

FILE存在并且授予了可执行的权限

----------------------------------------------------------------------------------------------------------------------------------------------------

expr

expr是linux的手工命令行计数器，它可以帮助我们完成一些基本的表达式值运算。同时它也是一个字符串处理工具

（1） 整数运算

$expr ARG1 | ARG2

$expr ARG1 & ARG2

$expr ARG1 < ARG2

$expr ARG1 <= ARG2

$expr ARG1 = ARG2

$expr ARG1 != ARG2

$expr ARG1 >= ARG2

$expr ARG1 > ARG2

$expr ARG1 + ARG2

$expr ARG1 – ARG2

$expr ARG1 * ARG2

使用乘法时，需要使用反斜杠进行转义

$expr ARG1 % ARG2

（2） 字符串操作

$expr length “xxx” //计算字符串长度

$expr substr “this is a”pos length //从第pos位开始截取length长度的子串

$expr index “tesr”e //获取e在主串中首次出现的位置

（3） 增量计数

例子

loop=3

loop=`expr $loop + 1`

echo $loop

结果是4，在第二行代码中，使用反引号，shell会将反引号中的内容作为一个系统命令，这样一来，就好像我们在命令行内输入了expr $loop + 1然后这个命令的返回结果被赋值到loop。

（4） 模式匹配（按照正则表达式模式匹配串）

通过指定冒号选项计算字符串中字符数。.*意即任何字符重复0次或多次。

> VALUE=account.doc

> expr $VALUE : ’.*’

8

在expr中可以使用字符串匹配操作，这里使用模式抽取.doc文件附属名。

$expr $VALUE : ‘\(.*\).doc’

accounts

（5） 其他

+ TOKEN

将TOKEN解释为串，不管它是一个关键字或者一个操作符

延伸知识：

引号的作用

1 双引号（“”）

1）使用””可引用除字符$(美元符号)、`（反引号）、\（反斜线）外的任意字符或字符串。双引号不会阻止shell对这三个字符做特殊处理（标示变量名、命令替换、反斜线转义）。

Eg：name=gezn; echo “User name:$name”//将打印User name :gezn

Echo “The date is:`date +date-%d-%m-%Y`”//将打印The date is: 03-05-2009

Echo –e “$USER\t$UID” //将打印gezn 500

2）如果要查新包含空格的字符串经常用到双引号

2 单引号（’’）

1) 如果用单引号把字符串括起来，则dayi9nhao内字符串中的任何特殊字符的特殊含义均被屏蔽。

2) 举例：echo –e ‘$USER\t$UID’//将打印$USER $UID(没有屏蔽\t,是因为选项“-e”的缘故)

echo ‘USER\t$UID’ //将打印$USER\t$UID

3 反引号（``）

1) shell将反引号中的内容作为一个系统命令，并执行其内容。使用这种方法可以替换输出为一个变量

2) 举例：a=`date + date-%d-%m-%Y` //将打印The date is: 03-05-2009

4.反斜线（\）

1）如果下一个字符有特殊含义，反斜线防止shell误解其含义，即屏蔽其特殊含义。

2）下属字符包含有特殊含义：& * + $ ` “ | ?

3) 在打印字符串时要加入八进制字符（ASCII相应字符）时，必须在前面加反斜线，否则shell作普通数字处。

举例： bj=Beijing; echo ”variable\$bj=$bj”//将打印variable $bj = beijing

------------------------------------------------------------------------------------------------------------------------------------------------

Shell特殊变量

在Shell中，预先定义了几个有特殊含义的Shell变量，它们的值只能由Shell根据实际情况进行赋值，而不能通过用户重新设置。shell的特殊变量包括它的位置和一些系统变量.

(一)常用位置变量:

$# 命令行上实际参数的个数，但不包含Shell脚本名。
$？ 上一条命令执行后的返回值（也称作 “退出码”）。它是一个十进制数。多数Shell命令执行成功时，则返回值为0；如果执行失败，则返回非0值。
$$ 当前进程的进程号。
$！ 上一个后台命令对应的进程号，这是一个由1~5位数字构成的数字串。
$- 由当前Shell设置的执行标志名组成的字符串。例如：
set －xv 这个命令行给Shell设置了标志-x和-v（用于跟踪输出）。
$* 表示在命令行中实际给出的所有实参字符串，它并不仅限于9个实参。
$@ 它与$*基本功能相同，但是使用时加引号，并在引号中返回每个参数
$0 脚本名称
$1..$9 第N个参数

下面的aaa bbb 为变量名

${aaa:-bbb} 如果$aaa为空或未定义,则取值$bbb.否则取值$aaa

${aaa:+bbb} 如果$aaa非空,则取值$bbb,否则取值为空

${aaa:=bbb} 如果$aaa非空,则取值$aaa,否则取值$bbb而且赋值(aaa=bbb)

${aaa:3} 如果aaa=abcdefg,则${aaa:3}的值为:defg ,相当于substr,计数从0开始

${aaa:3:2} 如上; ${aaa:3:2}取值为: de.相当于substr

${#aaa} 字符串$aaa的长度.

（二）常用系统变量:
$HOME 用户的主目录
$USER 用户名称
$GROUP 用户所属组名
$PATH 默认的搜索路径
$HOSTNAME 主机名称
$TZ 时区
$MAIL 存放邮件的路径名

练手：

#!/bin/bash

echo $0

echo $*

echo $@

echo $#

echo $$

echo $_

在terminal窗口中执行：

./test.sh -a -b –c /home

./test.sh

-a -b -c /home

-a -b -c /home

4

3250

/home

区别$*和$@编写如下test.sh脚本：

#!/bin/bash

function testargs

{

echo "$# args"

}

testargs "$*"

testargs "$@"

unset -f testargs

在terminal窗口中执行：

./test.sh -a -b /home

1 args //很明显就一个嘛，传入的是$*这个串，不是解释后的参数

3 args //$@必须和引号搭配，所以结果正确

#!/bin/bash

function testargs

{

echo "$# args"

}

testargs $*

testargs $@

unset -f testargs

再次执行有：

./test.sh -a -b /home

3 args

3 args

作者：Aga.J
出处：http://www.cnblogs.com/aga-j

⑵ linux/unix shell 中expr 字符串匹配问题请教~

个人认为，就是完全匹配与部分匹配的差别。
grep
只要字符串中有部分能够与正则匹配即可，并且会输出匹配的一整行。帮助里这样讲：
grep
searches
the
named
input
FILEs
(or
standard
input)
for
lines
containing
（注意，是containing）
a
match
to
the
given
PATTERN.
By
default,
grep
prints
the
matching
lines.
如果你在终端里正确设置了颜色显示，那么可以看到：
echo
"abcde"
|
grep
"cde"
结果输出
abcde，其中cde是高亮红色显示的（只匹配了部分）。
echo
"abcde"
|
grep
".*cde"
结果也是输出
abcde，其中abcde全是高亮红色显示的。
这表示grep是部分匹配的，只要有部分字符串匹芹轿配就OK。
expr
STRING
:
REGEXP
则是完整匹配，输出最后匹配的那个位置（anchor）。帮助里这样说的：
STRING
:
REGEXP
anchored
pattern
match
of
REGEXP
in
STRING
规定了:后面必须跟正则表达式，用于格式匹配。
.*b
是正则表达式，可用于匹配任何以b结尾的字符串。
但“cde”如果被用作完全匹配的话，就是必须匹配以嫌烂肆c开头的字符串，显然匹配历搭不到，因为:前的字符串以a开头。^_^
如果改为
expr
"cdeab"
:
"cde"
，这样就可以匹配成功并且返回3。
看看源码应该能更清楚内部实现方式的区别。我没看过，因此也不好多说了。以上纯属个人看法，仅供探讨。

⑶ linux：命令行中对文件进行编辑后怎么退出到命令行界面

如果在命令行下使用gedit， 关闭程序窗口（一般先保存文件），就自动退到命令行界面。

如果在命令行下使用vim，先按下ESC退出编辑模式，然后输入：wq 保存并退出或者q退出或者q!强制退出，从而回到命令行界面。

(3)linuxexpr扩展阅读：

linux常见命令：

命令

apropos whatis 显示和word相关的命令。 参见线程安全

man-t man | ps2pdf - > man.pdf 生成一个PDF格式的帮助文件

which command 显示命令的完整路径名

time command 计算命令运行的时间

time cat 开始计时. Ctrl-d停止。参见sw

niceinfo 运行一个低优先级命令（这里是info）

renice 19 -p $$ 使脚本运行于低优先级。用于非交互任务。

目录操作

cd - 回到前一目录

cd 回到用户目录

(cd dir && command) 进入目录dir，执行命令command然后回到当前目录

pushd. 将当前目录压入栈，以后你可以使用popd回到此目录

文件搜索

aliasl='ls -l --color=auto' 单字符文件列表命令

ls -lrt 按日期显示文件. 参见newest

ls /usr/bin | pr -T9 -W$COLUMNS 在当前终端宽度上打印9列输出

find -name '*.[ch]' | xargs grep -E 'expr' 在当前目录及其子目录下所有.c和.h文件中寻找'expr'. 参见findrepo

find -type f -print0 | xargs -r0 grep -F 'example' 在当前目录及其子目录中的常规文件中查找字符串'example'

find -maxdepth 1 -type f | xargs grep -F 'example' 在当前目录下查找字符串'example'

find -maxdepth 1 -type d | whilereaddir; do echo $dir; echo cmd2; done 对每一个找到的文件执行多个命令(使用while循环)

find -type f ! -perm -444 寻找所有不可读的文件(对网站有用)

find -type d ! -perm -111 寻找不可访问的目录(对网站有用)

locate -r 'file[^/]*.txt' 使用locate 查找所有符合*file*.txt的文件

look reference 在（有序）字典中快速查找

grep--colorreference /usr/share/dict/words 使字典中匹配的正则表达式高亮

归档 and compression

gpg -c file 文件加密

gpg file.gpg 文件解密

tar -c dir/ | bzip2 > dir.tar.bz2 将目录dir/压缩打包

bzip2 -dc dir.tar.bz2 | tar -x 展开压缩包 (对tar.gz文件使用gzip而不是bzip2)

tar -c dir/ | gzip | gpg -c | ssh user@remote 'dd of=dir.tar.gz.gpg' 目录dir/压缩打包并放到远程机器上

find dir/ -name '*.txt' | tar -c --files-from=- | bzip2 > dir_txt.tar.bz2 将目录dir/及其子目录下所有.txt文件打包

find dir/ -name '*.txt' | xargs cp -a --target-directory=dir_txt/ --parents 将目录dir/及其子目录下所有.txt按照目录结构拷贝到dir_txt/

( tar -c /dir/to/ ) | ( cd /where/to/ && tar -x -p ) 拷贝目录/到目录/where/to/并保持文件属性

( cd /dir/to/ && tar -c.) | ( cd /where/to/ && tar -x -p ) 拷贝目录/下的所有文件到目录/where/to/并保持文件属性

( tar -c /dir/to/ ) | ssh -C user@remote 'cd /where/to/ && tar -x -p' 拷贝目录/到远程目录/where/to/并保持文件属性

dd bs=1M if=/dev/sda | gzip | ssh user@remote 'dd of=sda.gz' 将整个硬盘备份到远程机器上

⑷ Linux Shell：Shell循环语句

摘要： Linux ， Shell

Shell中常用循环有 for ， while

for循环只能用于 固定次数 的循环，因此不能无限循环和用于一些在后台守护进程一直运行的程序，语法语句如下

也可以写成一行，用 ； 分隔

取值列表内元素以空格隔开，如果元素带有空格则用引号包裹起来，例子如下

输出如下，可见循环到最后退出循环，引用变量依旧是最后一个取值列表元素

一行的写法

Shell的for循环也可以采用C语言的写法，注意是 双括号 ，用 分号； 间隔

一个简单例子

while循环语句结合条件测试使用，语法如下

举一个例子

在循环中使用条件测试实现复杂的逻辑，例如

也可以使用&&，||一行完成，省去if，fi

Shell的continue，break语句和Python一样，例子如下
break语句下输出4

continue语句下输出4 6 7 8 9 10

常见结合使用的循环体有 序列 ， 数组 ， 命令行传参 ， 文件目录和文件

序列通过 seq 命令或者 {begin..end..step} 符号进行定义：

结合for循环使用案例

在Shell中使用小括号 () 定义数组，数组遍历使用 [@] 符号，防止元素有空格用双引号包起来，，例子如下

命令行传参遍历使用固定符号 $@ ，如果参数中有空格，用双引号括起来，例子如下

文件遍历使用 ls 命令，可以指定目录，以及通配符匹配

一个双重循环实现，注意 expr表达式中乘号要加转移符

（2）将某目录下大小大于阈值的文件移动到另一个文件
遍历循环一个目录，使用awk语法获得文件大小，将100m以上的文件移动到另一个文件夹

（2）指定开始日期和结束日期完成一个跑批任务
指定一个开始时间和结束时间，while从开始日期一直自增到结束日期循环结束，通过 date -d 񟭕-01-01 1day' +%Y-%m-%d 自增一天

⑸ 30个必知的Linux命令技巧，你都掌握了吗

在Unix/Linux下，高效工作方式不是操作图形页面，而是命令行操作，命令行意味着更容易自动化。使用过Linux系统的朋友应该都知道它的命令行强大之处。话说回来了，以下这些命令使用技巧你又知道多少呢？
1、Vim自动添加注释及智能换行
# vi ~/.vimrc set autoindentset tabstop=4set shiftwidth=4function AddTitle()call setline(1,"#!/bin/bash")call append(1,"#====================================================")call append(2,"# Author: lizhenliang")call append(3,"# Create Date: " . strftime("%Y-%m-%d"))call append(4,"# Description: ")call append(5,"#====================================================")endfmap <F4> :call AddTitle()<cr>

打开文件后，按F4就会自动添加注释，省了不少时间：

2、查找并删除/data这个目录7天前创建的文件
# find /data -ctime +7 -exec rm -rf {} \;# find /data -ctime +7 | xargs rm -rf

3、tar命令压缩排除某个目录
# tar zcvf data.tar.gz /data --exclude=tmp #--exclude参数为不包含某个目录或文件，后面也可以跟多个

4、查看tar包存档文件，不解压
# tar tf data.tar.gz #t是列出存档文件目录，f是指定存档文件
5、使用stat命令查看一个文件的属性
访问时间（Access）、修改时间（modify）、状态改变时间（Change）stat index.phpAccess: 2018-05-10 02:37:44.169014602 -0500Modify: 2018-05-09 10:53:14.395999032 -0400Change: 2018-05-09 10:53:38.855999002 -0400

6、批量解压tar.gz
方法1：# find . -name "*.tar.gz" -exec tar zxf {} \;方法2：# for tar in *.tar.gz; do tar zxvf $tar; done方法3：# ls *.tar.gz | xargs -i tar zxvf {}

7、筛除出文件中的注释和空格
方法1：# grep -v "^#" httpd.conf |grep -v "^$"方法2：# sed -e ‘/^$/d’ -e ‘/^#/d’ httpd.conf > http.conf或者# sed -e '/^#/d;/^$/d' #-e 执行多条sed命令方法3：# awk '/^[^#]/|/"^$"' httpd.conf 或者# awk '!/^#|^$/' httpd.conf

8、筛选/etc/passwd文件中所有的用户
方法1：# cat /etc/passwd |cut -d: -f1方法2：# awk -F ":" '{print $1}' /etc/passwd

9、iptables网站跳转
先开启路由转发：echo "1" > /proc/sys/net/ipv4/ip_forward #临时生效内网访问外网（SNAT）：iptables –t nat -A POSTROUTING -s [内网IP或网段] -j SNAT --to [公网IP]#内网服务器要指向防火墙内网IP为网关公网访问内网（DNAT）（公网端口映射内网端口）：iptables –t nat -A PREROUTING -d [对外IP] -p tcp --dport [对外端口] -j DNAT --to [内网IP:内网端口]#内网服务器要配置防火墙内网IP为网关，否则数据包回不来。另外，这里不用配置SNAT，因为系统服务会根据数据包来源再返回去。

10、iptables将本机80端口转发到本地8080端口
# iptables -t nat -A PREROUTING -p tcp --dport 80 -j REDIRECT --to-ports 8080
11、find命令查找文件并复制到/opt目录
方法1：# find /etc -name httpd.conf -exec cp -rf {} /opt/ \;: #-exec执行后面命令，{}代表前面输出的结果，\;结束命令方法2：# find /etc -name httpd.conf |xargs -i cp {} /opt #-i表示输出的结果由{}代替

12、查看根目录下大于1G的文件
# find / -size +1024M 默认单位是b，可以使用其他单位如，C、K、M

13、查看服务器IP连接数
# netstat -tun | awk '{print $5}' | cut -d: -f1 |sort | uniq -c | sort -n -tun：-tu是显示tcp和udp连接，n是以IP地址显示cut -d：-f1：cut是一个选择性显示一行的内容命令，-d指定：为分隔符，-f1显示分隔符后的第一个字段。uniq -c：报告或删除文中的重复行，-c在输出行前面加上出现的次数sort -n：根据不同类型进行排序，默认排序是升序，-r参数改为降序，-n是根据数值的大小进行排序

14、插入一行到391行，包括特殊符号"/"
# sed -i "391 s/^/AddType application\/x-httpd-php .php .html/" httpd.conf
15、列出nginx日志访问最多的10个IP
方法1：# awk '{print $1}' access.log |sort |uniq -c|sort -nr |head -n 10sort ：排序uniq -c：合并重复行，并记录重复次数sort -nr ：按照数字进行降序排序方法2：# awk '{a[$1]++}END{for(v in a)print v,a[v] |"sort -k2 -nr |head -10"}' access.log

16、显示nginx日志一天访问量最多的前10位IP
# awk '$4>="[16/May/2017:00:00:01" && $4<="[16/May/2017:23:59:59"' access_test.log |sort |uniq -c |sort-nr |head -n 10# awk '$4>="[16/Oct/2017:00:00:01" && $4<="[16/Oct/2017:23:59:59"{a[$1]++}END{for(i in a){print a[i],i|"sort -k1 -nr |head -n 10"}}' access.log

17、获取当前时间前一分钟日志访问量
# date=`date +%d/%b/%Y:%H:%M --date="-1 minute"` ; awk -vd=$date '$0~d{c++}END{print c}' access.log# date=`date +%d/%b/%Y:%H:%M --date="-1 minute"`; awk -vd=$date '$4>="["d":00" && $4<="["d":59"{c++}END{print c}' access.log # grep `date +%d/%b/%Y:%H:%M --date="-1 minute"` access.log |awk 'END{print NR}'# start_time=`date +%d/%b/%Y:%H:%M:%S --date="-5 minute"`;end_time=`date +%d/%b/%Y:%H:%M:%S`;awk -vstart_time="[$start_time" -vend_time="[$end_time" '$4>=start_time && $4<=end_time{count++}END{print count}' access.log

18、找出1-255之间的整数
方法1：# ifconfig |grep -o '[0-9]\+' #+号匹配前一个字符一次或多次方法2：# ifconfig |egrep -o '\<([1-9]|[1-9][0-9]|1[0-9][0-9]|2[0-4][0-9]|25[0-5])\>'

19、找出IP地址
# ifconfig |grep -o '[0-9]\{1,3\}\.[0-9]\{1,3\}\.[0-9]\{1,3\}\.[0-9]\{1,3\}' #-o只显示匹配字符
20、给文档增加开头和结尾说明信息
# awk ‘BEGIN{print "开头显示信息"}{print $1,$NF} END{print "结尾显示信息"}’/etc/passwd# awk 'BEGIN{printf " date ip\n------------------\n"} {print $3,$4} END{printf "------------------\nend...\n"}' /var/log/messages date ip------------------03:13:01 localhost10:51:45 localhost------------------end...

21、查看网络状态命令
# netstat -antp #查看所有网络连接# netstat -lntp #只查看监听的端口信息# lsof -p pid #查看进程打开的文件句柄# lsof -i:80 #查看端口被哪个进程占用

22、生成8位随机字符串
方法1：# echo $RANDOM |md5sum |cut -c 1-8方法2：# openssl rand -base64 4方法3：# cat /proc/sys/kernel/random/uuid | cut -c 1-8

23、while死循环
while true; do #条件精确等于真，也可以直接用条件[ "1" == "1" ]，条件一直为真ping -c 2 www..comdone

24.awk格式化输出
将文本列进行左对齐或右对齐。
左对齐：# awk '{printf "%-15s %-10s %-20s\n",$1,$2,$3}' test.txt右对齐：# awk '{printf "%15s %10s %20s\n",$1,$2,$3}' test.txt

25.整数运算保留小数点
方法1：# echo 'scale=2; 10/3;'|bc #scale参数代表取小数点位数方法2：# awk BEGIN'{printf "%.2f\n",10/3}'

26.数字求和
# cat a.txt10235356方法1：#!/bin/bashwhile read num;dosum=`expr $sum + $num`done < a.txtecho $sum方法2：# cat a.txt |awk '{sum+=$1}END{print sum}'

27、判断是否为数字（字符串判断也如此）
# [[ $num =~ ^[0-9]+$ ]] && echo yes || echo no #[[]]比[]更加通用，支持模式匹配=~和字符串比较使用通配符`^ $：从开始到结束是数字才满足条件=~：一个操作符，表示左边是否满足右边（作为一个模式）正则表达式

28、删除换行符并将空格替换别的字符
# cat a.txt |xargs echo -n |sed 's/[ ]/|/g' #-n 不换行# cat a.txt |tr -d '\n' #删除换行符

29、查看文本中20至30行内容（总共100行）
方法1：# awk '{if(NR > 20 && NR < 31) print $0}' test.txt方法2：# sed -n '20,30p' test.txt 方法3：# head -30 test.txt |tail

30、文本中两列位置替换
# cat a.txt60.35.1.15 www..com45.46.26.85 www.sina.com.cn# awk '{print $2"\t"$1}' a.txt