Linux Shell

一、命令与管道

标准输入输出

0 代表程序的标准输入
1 代表程序的标准输出
2 代表程序的标准错误输出

重定向输出

> 操作符
把标准输出重定向到一个文件,默认情况下,文件存在则覆盖,可通过 set -o/+o noclobber 阻止或设置覆盖。

# 把ls命令的输出保存到文件 lsoutput.txt 中
$ ls -l > lsoutput.txt

# 指定输出设备("1>"不能有空格)
$ ls -l 1> lsoutput.txt

# 把标准输出和标准错误输出分别重定向到不同的文件中
$ kill -HUP 1234 >killout.txt 2>killerr.txt

# 把标准输出和标准错误输出统一重定向到同一个文件中(注意操作符顺序)
$ kill -1 1234 >killouterr.txt 2>&1

>> 操作符
将命令的输出附加到指定文件的尾部,文件不存在时自动创建。

# 将 ps 命令的输出附加到指定文件的尾部
$ ps >> lsoutput.txt

/dev/null
表示 Linux 回收站,用来有效地丢弃所有的输出信息。

$ kill -1 1234 >/dev/null 2>&1

重定向输入

读取文件内容作为命令输入

$ more < test.txt

管道

可以用管道操作符|来连接进程。通过管道连接的进程可以同时运行,并且随着数据流在它们之间的传递可以自动地进行协调。允许连接的进程数目是没有限制的。

# 不使用管道时用sort命令对ps命令输出进行排序
$ ps > psout.txt
$ sort psout.txt > pssort.out

# 使用管道实现同样效果
$ ps | sort > pssort.out

# 首先按字母顺序排序ps命令的输出,再用unique命令去除名字相同的进程,然后用grep命令删除sh的进程,最终分页显示。
$ ps -xo comm | sort | uniq | grep -v sh | more

二、Shell 编程

交互式程序

shell 提示符

# 管理员登录状态
$ 普通用户登录状态
> 期待进一步的输入

shell脚本

指定执行脚本的程序

#!/bin/sh

退出码
exit 命令的作用是确保脚本程序能够返回一个有意义的退出码,以判断脚本程序是否执行成功。0 表示成功。

脚本设置为可执行

# 更改文件模式
$ chmod +x test.sh

# 执行脚本
$ ./test.sh

三、Shell 语法

3.1 变量

  • 变量特点

    • 无需声明
    • 默认情况下被看作字符串兵役字符串来存储(赋值数字也如此)
    • 区分大小写
  • 变量读写

    • 变量前加一个$符号来访问它的内容
    • 变量赋值无需$符号,赋值时创建变量
    • echo 命令输出变量内容
    • 字符串包含空格,必须用引号把它们括起来
    • 等号两边不能有空格
    $ content=Hello
    $ echo $content
    Hello
    $ content="Yes Dear"
    $ echo $content
    Yes Dear
    $ content=7+5
    $ echo $content
    7+5
  • 变量输入

    • 使用 read 命令将用户的输入赋给一个变量
    • 用户按下回车键时,read 命令结束。
    • 当从终端上读取一个变量时,一般不需要使用引号。
    $ read content
    How are you?
    $ echo $content
    How are you?

1. 使用引号
脚本文件中的桉树以空白字符分隔(例如,一个空格、一个制表符或者一个换行符),如果想在一个参数中包含一个或多个空白字符,就必须给参数加上引号。

  • $ 变量表达式放在双引号中,会把变量替换为它的值
  • $ 变量表达式放在单引号中,不会发生替换现象
  • $ 符号前面加上一个字符取消它的特殊含义
  • 字符串通常都被放在双引号中,防止被空白字符分开,又允许$扩展。

2. 环境变量
环境变量通常用大写字符做名字,用户定义变量一般用小写,以示区别。

环境变量 说明
$HOME 当前用户的家目录
$PATH 以冒号分隔的用来搜索命令的目录列表
$PS1 说不清
$PS2 道不明
$0 shell脚本的名字
$# 传递给脚本的参数个数
$$ shell脚本的进程号,脚本程序通常会用它生产一个唯一的临时文件,如/tmp/tmpfile_$$

3. 参数变量

参数变量 说明
$1, $2, ... 脚本程序的参数
$* 脚本程序的所有参数,各个参数之间用IFS中的一个字符分隔开
$@ 它是$*的一种变体,不使用IFS环境变量
# 即使IFS分隔符为空,$@依然会自动分隔
$ IFS=''
$ set foo bar bam
$ echo "$@"
foo bar bam
$ echo "$*"
foobarbam

3.2 条件

1. 语法结构

# 方式1:test 命令
if test -f fred.c
then
...
fi

# 方式2:[] 命令
if [ -f fred.c ]
then
...
fi

2. 条件类型

字符串比较 结果
string1 = string2 如果两个字符串相同则结果为真
string1 != string2 如果两个字符串不同则结果为真
-n string 如果字符串不为空则结果为真
-z string 如果字符串为null则结果为真
算术比较 结果
expression1 -eq expression2 如果两个表达式相等,则结果为真
expression1 -ne expression2 如果两个表达式不等,则结果为真
expression1 -gt expression2 如果表达式1大于表达式2,则结果为真
expression1 -ge expression2 如果表达式1大于等于表达式2,则结果为真
expression1 -lt expression2 如果表达式1小于表达式2,则结果为真
expression1 -le expression2 如果表达式1小于等于表达式2,则结果为真
!expression 如果表达式为假则结果为真,反之亦然
文件条件测试 结果
-d file 如果文件是一个目录则结果为真
-e file 如果文件存在则结果为真,-e选项不可移植,通常使用-f选项
-f file 如果文件是一个普通文件则结果为真
-g file 如果文件的set-group-id位被设置则结果为真
-u file 如果文件的set-user-id位被设置则结果为真
-s file 如果文件的大小不为0则结果为真
-r file 如果文件可读则结果为真
-w file 如果文件科协则结果为真
-x file 如果文件可执行则结果为真

3. 示例程序

#!/bin/sh

if [ -f /bin/bash ]
then
  echo "file /bin/bash exists"
fi

if [ -d /bin/bash ]
then
  echo "/bin/bash is a directory"
else
  echo "/bin/bash is NOT a directory"
fi

3.3 控制结构

1. if语句

if condition
then
  statements
else
  statements
fi

if condition; then
  statements
else
  statements
fi

2. elif语句

if condition
then
  statements
elif condition; then
  statements
else
  statements
fi

3. for语句

for variable in values
do
  statements
done

for variable in values; do
  statements
done
# 打印当前目录中所有以字母发开头的脚本文件
for file in $(ls f*.sh); do
  lpr $file
done

4. while语句

while condition; do
  statements
done
# 简陋的密码检查程序
echo "Enter password"
read trythis

while [ "$trythis" != "secret" ]; do
  echo "Sorry, try again"
  read trythis
done
# 有限次循环
i=3
while ((i > 0));
do
    echo $i
    ((i--))
    sleep 1
done

6. until语句

until condition
do
  statements
done

7. case语句

case variable in
  pattern [ | pattern] ...) statements;;
  pattern [ | pattern] ...) statements;;
  ...
esac

请注意,每个模式行都以双分号结尾,因为你可以在前后模式之间放置多条语句。必须把最精确的匹配放在最开始,而把最一般化的匹配放在最后。

# 用户输入
echo "Is it morning? Please answer yes or no"
read timeofday

case "$timeofday" in
    yes) echo "Good Morning";;
    no ) echo "Good Afternoon";;
    y  ) echo "Good Morning";;
    n  ) echo "Good Afternoon";;
    *  ) echo "Sorry, answer not recognized";;
esac
# 合并匹配模式
echo "Is it morning? Please answer yes or no"
read timeofday

case "$timeofday" in
    yes | y | Yes | YES )   echo "Good Morning";;
    n* | N* )               echo "GoodAfternoon";
    * )                     echo "Sorry, answer not recognized";;
esac
# 执行多条语句
echo "Is it morning? Please answer yes or no"
read timeofday

case "$timeofday" in
    yes | y | Yes | YES )
        echo "Good Morning"
        echo "Up bright and early this morning"
        ;;
    [nN]* )
        echo "Good Afternoon"
        ;;
    * )
        echo "Sorry, answer not recognized"
        echo "Please answer yes or no"
        ;;
esac

为了让case的匹配功能更强大,可以使用如下的模式:

# 这限制了允许出现的字母,但同时也允许多种多样的答案,并提供了比*更多的控制。
[yY] | [Yy][Ee][Ss]

7. 命令列表
将几条命令连成一个序列(想在执行某个语句之前同时满足好几个不同条件)

AND 列表
只有在前面所有的命令都执行成功的情况下才执行下一条命令。

statement1 && statement2 && statement3 && ...

OR 列表
持续执行一系列命令直到有一条命令成功为止,其后的命令将不再被执行。

statement1 || statement2 || statement3 || ...
# 检查文件是否存在,不存在就创建它并删除file_two文件
touch file_one
rm -f file_two

if [ -f file_one ] && echo "hello" && [ -f file_two ] && echo " there"
then
    echo "in if"
else
    echo "in else"
fi

执行结果:
hello
in else
rm -f file_one

if [ -f file_one ] || echo "hello" || echo " there"
then
    echo "in if"
else
    echo "in else"
fi

执行结果:
hello
in if

8. 语句块

{}
get_confirm && {
    echo "statement1"
    echo "statement2"
}

3.4 函数

必须在调用一个函数之前先对它进行定义。
可通过return命令让函数返回数字值,变量或echo一个字符串并捕获其结果。
function_name() {
  statements
}
# 函数定义和调用
foo() {
  echo "Function foo is executing"
}

echo "script starting"
foo
echo "script ended"
# 获取函数返回值(echo 返回)
add() {
    if [ $# -lt 2 ]; then
        echo "The arg in't correct"
    else    
        sum=$(($1+$2))
        echo $sum
    fi
}

add 3 4
echo $1

# 获取函数返回值(return 返回)
add() {
    if [ $# -lt 2 ]; then
        echo "The arg in't correct"
    else    
        sum=$(($1+$2))
        return $sum
    fi
}

add 3 4
echo $?
# 全局变量与局部变量
sample_text="global variable"

foo() {
    local sample_text="local variable"
    echo "Function foo is executing"
    echo $sample_text
}

echo "script starting"
echo $sample_text
foo
echo "script ended"
echo $sample_text

3.5 命令

1. break命令

可以用这个命令在控制条件未满足之前,跳出for、while或until循环。
for file in fred*
do
    if [ -d "$file" ]; then
        break;
    fi
done

2. :命令

冒号(:)命令是一个空命令,相当于true的一个别名。由于它是内置命令,所以它运行的比true快。
可用 while :代替 while true,实现一个无限循环。
if [ -f fred ]; then
    ;
else
    echo file fred did not exist
fi

3. continue命令

使 for、while 或 until 循环跳到下一次循环继续执行,循环变量取循环列表中的下一个值。
for file in fred*
do
    if [ -d "file" ]; then
        echo "skipping directory $file"
        continue
    fi
    echo file is $file
done

4. .命令

点(.)命令用于在当前shell中执行命令
# 创建一个新的环境(一个子shell),执行完毕环境被丢弃,留下退出码返回给父shell
bash test.sh

# 外部的source命令和点命令(同义)执行脚本程序时使用的是调用该脚本的同一个shell

程序的新老版本采用不同的环境变量

# 老版本环境变量脚本(文件名:classic_set)
#!/bin/sh

version=classic
PATH=/usr/local/old_bin:/usr/bin:/bin:.
PS1="classic> "

# 新版本环境变量脚本(文件名:latest_set)
#!/bin/sh

version=latest
PATH=/usr/local/new_bin:/usr/bin:/bin:.
PS1="latest version "

# 新老环境切换调用演示
$ ./classic_set
classic> echo $version
classic
classic> ./latest_set
latest version> echo $version
latest
latest version>

5. echo命令

echo 命令输出默认带换行符,printf 命令输出不带换行符。
# 去除换行符方式1
echo -n "string to output"

# 去除换行符方式2
echo -e "string to output\c"

6. eval命令

eval 命令允许你对参数进行求值,是shell的内置命令。

7. exec命令

exec 命令典型用法是将当前shell替换为一个不同的程序
# 会用 wall 命令替换当前的 shell,exec命令后面的代码都不会执行
# 因为执行这个脚本的shell已经不存在了
exec wall "Thanks for all the fish"

# 第二种用法是修改当前文件描述符(非常少见)
exec 3< afile

8. exit n命令

exit 命令使脚本程序以退出码n结束运行,未指定则最后一条被执行命令的状态将作为返回值。0 表示执行成功。
退出码 说明
0 执行成功
126 文件不可执行
127 命令未找到
128及以上 出现一个信号
# 判断文件是否存在,存在返回0,不存在返回1
if [ -f .profile ]; then
    exit 0
fi
exit 1

# 精简写法
[ -f .profile ] && exit 0 || exit 1

9. export命令

export 命令将作为它参数的变量导出到子shell中,并使之在子shell中有效。默认情况下,在一个shell中被创建的变量在这个shell调用的下级(子)shell中是不可用的。
# export1调用export2 子脚本,export2脚本使用export1中导出的的变量。

---- export2 文件 ----
#!/bin/sh

echo "$foo"
echo "$bar"

---- export1 文件 ----
#!/bin/sh

foo="The first meta-syntactic variable"
export bar="The second meta-syntatic variable"

export2

运行结果:
$ ./export1
The second meta-syntactic variable

10. expr命令

expr 命令将它的参数当做一个表达式来求值。最常见的用法为进行简单的数学运算(速度较慢)。
# 方式1
a=`expr $x + 1`

# 方式2
b=$(expr $x + 1)

# 方式3(推荐此方式)
c=$(($x + 1))
x=10
a='expr $x + 1'
b=$x + 1
echo $a
echo $b

运行结果:
a = 11
b = 10 + 1

11. printf命令
print 命令用于代替echo命令,以产生格式化的输出,但似乎没什么人接受这一建议。

语法(与c的格式化输出类似)
printf "format string" parameter1 parameter2 ...

# 示例
$ printf "$s %d\t%s" "Hi There" 15 people
Hi  There 15 people

12. return命令
return 命令的作用是使函数返回。返回一个数值值,没有指定参数返回最后一条命令的退出码。

13. set命令
set 命令的作用是为shell设置参数变量。许多命令的输出结果是以空格分隔的值,如果需要使用输出结果中的某个域,这个命令就非常有用。

# 设置参数变量
echo the date is $(date)
set $(date)

# 查看所有参数
echo $*

# 取第2个参数
echo The month is $2

14. shift命令

shift 命令把所有参数变量左移一个位置,使$2变成$1, $3变成$2,以此类推。原来$1的值将被丢弃,而$0仍将保持不变。
# 依次扫描所有的位置参数
while [ "$1" != "" ]; do
    echo "$1"
    shift
done

# 所有的参数将左移指定的次数。$*、$@和$#等其它变量也会做相应变动
shift 3

15. trap命令
trap 命令用于指定在接收到信号后将要采取的行动。常见用途是脚本被中断时完成清理工作。

# 脚本程序通常是以从上到下的顺序解释执行的
# 所以必须在你想保护的代码之前指定trap命令

# 查看信号编号及其关联的名称
trap -l

# command 接收到指定信号时将要才去的行动
# signal  要处理的信号名
trap command signal

# 重置某个信号的处理方式到其默认值
trap - signal

# 忽略某个信号
trap '' signal
信号 说明
HUP(1) 挂起,通常因终端掉线或用户退出而引发
INT(2) 中断,通常因按下Ctrl+C组合键而引发
QUIT(3) 退出,通常因按下Ctrl+组合键而引发
ABRT(6) 中止,通常因某些严重的执行错误而引发
ALRM(14) 报警,通常用来处理超时
TERM(15) 终止,通常在系统关机时发送
# 1.首次按下 CTRL-C 时进入中断处理程序,删除临时文件
# 2.接着恢复默认中断处理(不删除文件)继续执行下一个循环
# 3.再次按下 CTRL-C 时使用系统默认处理,退出脚本程序

#!/bin/bash

trap 'rm -f /tmp/my_tmp_file_$$' INT
echo creating file /tmp/my_tmp_file_$$
date > /tmp/my_tmp_file_$$

echo "press interrupt(CTRL-C)to interrupt ..."
while [ -f /tmp/my_tmp_file_$$ ]; do
    echo File exists
    sleep 1
done
echo The file no longer exists

trap INT
echo creating file /tmp/my_tmp_file_$$
date > /tmp/my_tmp_file_$$

echo "press interrupt(CTRL-C)to interrupt ..."
while [ -f /tmp/my_tmp_file_$$ ]; do
    echo File exists
    sleep 1
done

echo we never get here

exit 0

16. unset命令

unset 命令用于从环境中删除变量或函数。不能删除shell本身定义的只读变量(如IFS),这个命令并不常用。
# foo=""    变量foo设置为空,但变量foo仍然存在。
# unset foo 把变量foo从环境中删除。

foo="Hello World"
echo $foo

unset foo
echo $foo

17. find命令

find 命令用于搜索文件
# 语法格式
find [path] [option] [tests] [action]

[path]

可以使用绝对路径,如/bin
可以使用相对路径,如.
可以指定多个路径,如find /var /home

[option]
|选项|含义|
|-depth|在查看目录本身之前先搜索目录的内容|
|-follow|跟随符号链接|
|-maxdepths N|最多搜索N层目录|
|-mount(或-xdev)|不搜索其他文件系统中的目录|

[test]

测试 含义
-atime N 文件在N天之前被最后访问过
-mtime N 文件在N天之前被最后修改过
-name pattern 文件名(不包括路径名)匹配提供的模式,“”括起来
-newer otherfile 文件比otherfile文件要新
-type c 文件的类型为才,c是一个特殊类型。最常见的是d(目录)和f(普通文件)
-user username 文件的拥有者是指定的用户username
操作符,短格式 操作符,长格式 含义
! -not 测试取反
-a -and 两个测试都必须为真
-o -or 两个测试有一个必须为真
# 如果在shell脚本文件中调用,还必须使用反斜线来引用圆括号
# 因为圆括号对shell来说有其特殊含义

# 在当前目录下搜索比文件while2要新的文件(包含.和..)
$ find . -newer while2

# 在当前目录下搜索比文件while2要新的文件(去除.和..)
$ find . -newer while2 -type f

# 在当前目录下搜索以下划线开头的文件或比while2文件要新的普通文件(shell文件中)
$ find . \( -name "_*" -or -newer while2 )\ -type f

[action]

动作 含义
-exec command 执行一条命令,这个动作必须使用\;字符对来结束
-ok command 与-exec类似,执行命令之前会针对每个要处理的文件提示用户进行确认
-print 打印文件名
-ls 对当前文件使用命令ls-dils
# 查找当前目录下的所有普通文件并删除
$ find . -type f -exec rm {} \;

18. grep命令

grep 命令是通用正则表达式解析器(General Regular Expression Parser),主要用于搜素字符串。
# 语法格式
grep [options] PATTERN [FILES]

[options]

选项 含义
-c 输出匹配行的数目,而不是输出匹配的行
-E 启用扩展表达式
-h 取消每个输出行的普通前缀,即匹配查询模式的文件名
-i 忽略大小写
-l 只列出包含匹配行的文件名,而不输出真正的匹配行
-v 对匹配模式取反,即搜索不匹配行而不是匹配行

正则表达式(特殊字符)

字符 含义
^ 指向一行的开头
$ 指向一行的结尾
. 任意单个字符
[] 方括号内包含一个字符范围,其中任何一个字符都可以被匹配。
例如字符范围a~e,或在字符范围前面加上^符号表示
使用反向字符范围,即不匹配指定范围内的字符。

正则表达式(特殊匹配模式)

匹配模式 含义
[:alpha:] 字母
[:digit:] 数字
[:alnum:] 字母与数字字符
[:ascii:] ASCII字符
[:cntrl:] ASCII控制字符
[:blank:] 空格或制表符
[:graph:] 非控制、非空格字符
[:lower:] 小写字母
[:upper:] 大写字母
[:punct:] 标点符号字符
[:print:] 可打印字符
[:space:] 空白字符,包括垂直制表符
[:xdigit:] 十六进制数字

正则表达式(扩展匹配)

选项 含义
? 匹配是可选的,但最多匹配一次
* 必须匹配0次或多次
+ 必须匹配1次或多次
{n} 必须匹配n次
{n,} 必须匹配n次或n次以上
{n,m} 匹配次数在n到m之间,包括n和m
# 查找以字母e结尾的行
$ grep e$ words2.txt
Art thou not, fatal vision, sensible
I see thee yet, in form as palpable

? 需继续研究...

3.6 命令的执行

编写脚本程序时,经常需要捕获一条命令的执行结果,并把它用在shell脚本程序中。
语法格式
$(command)
# PWD是一个shell环境变量,不需要采用命令执行结构
echo The current directory is $PWD

# who是一个shell系统命令,需要采用命令执行结构
echo The current users are $(who)
# 将命令的结果放到一个变量中
whoisthere=$(who)
echo $whoisthere

1、算术扩展
expr执行起来相当慢,应采用$((...))扩展来处理。算术扩展为$((...)),命令执行为$(...)不要混淆

x=5
y=$(($x+10))

2、参数扩展
未看到明确定义,个人感觉是一种动态更改变量名的行为。

参数扩展 说明
${param:-default} 如果param为空,就把它设置为default的值
${#param} 给出param的长度
${param#word} 从param的头部开始删除与word匹配的最小部分,然后返回剩余部分
${param##word} 从param的头部开始删除与word匹配的最长部分,然后返回剩余部分
${param%word} 从param的尾部开始删除与word匹配的最小部分,然后返回剩余部分
${param%%word} 从param的尾部开始删除与word匹配的最长部分,然后返回剩余部分
# 使用一个循环分别处理1_tmp和2_tmp文件
for i in 1 2
do
    # 没有i_tmp变量
    my_secret_process $i_tmp

    # 自动替换为1_tmp和2_tmp
    my_secret_process ${i}_tmp
done
unset foo
echo ${foo:-bar}    -> bar

foo=fud
echo ${foo:-bar}    -> fud

foo=/usr/bin/X11/startx
echo ${foo#*/}      -> usr/bin/X11/startx
echo ${foo##*/}     -> startx

bar=/usr/local/etc/local/networks
echo ${bar%local*}  -> /usr/local/etc
echo ${bar%%local*} -> /usr
# 单个图像转换
$ cjpeg image.gif > image.jpg

# 批量图像转换
for image in *.gif
do
    cjpeg $image > ${image%%gif}jpg
done

3.7 here文档

here 文档是shell脚本程序中向一条命令传递输入的一种特殊方法。它允许一条命令在获得输入数据时就好像是在读取一个文件或键盘一样,而实际上是从脚本程序中得到输入数据。
# 语法格式
command <<特殊字符序列内容特殊字符序列
# 简单here文档示例
# 更高阶的用法略骚,请参考其他资料。

#!/bin/sh

cat <<!FUNKY!
hello
this is a here
document
!FUNKY!

运行结果:
hello
this is a here
document

3.8 调试脚本程序

跟踪脚本程序中复杂错误的主要方法是通过set命令设置各种shell选项。
sh -option 适用于控制整个脚本文件,外部调用时添加。
set-option 使用于控制脚本局部代码,脚本内部添加调用。
命令行选项 set选项 说 明
sh -n <script> set -o noexec
set -n
只检查语法错误,不执行命令
sh -u <script> set -o nounset
set -u
如果使用了未定义的变量,给出出错消息
sh -v <script> set -o verbose
set -v
在执行命令之前回显它们
sh -x <script> set -o xtrace
set -x
在处理完命令之后回显它们
# 启用xtrace选项
set -x

# 关闭xtrace选项
set +x
# 执行语法检查
sh -n test.sh

# 检查未定义变量
sh -u test.sh

# 执行前显示脚本代码
sh -v test.sh

# 执行时输出变量和执行结果信息(最实用)
sh - x test.sh

四、参考链接

1、Linux Shell 内建命令:冒号(:)
2、linux shell 字符串操作详解

评论

暂无评论