linux 系统中正则表达式的使用

正则表达式是通过正则表达式引擎（regular expression engine）实现的。在Linux中，有两种流行的正则表达式引擎：

POSIX基础正则表达式（basic regular expression，BRE）引擎----sed

POSIX扩展正则表达式（extended regular expression，ERE）引擎---gawk

# 匹配两个空格
echo "This is  a test"|sed -n '/  /p' 
This is  a test

• 正则表达式识别的特殊字符包括：

.*[]^${}\+?|()

不能在文本模式中单独使用这些字符

echo 'The cost is $4.00'|sed -n '/\$/p'
The cost is $4.00 
echo "3 / 2" | sed -n '/\//p'
3 / 2

• 锁定在行首（^）行尾($)

# 匹配无结果，不在起始位置
echo "The book store" | sed -n '/^book/p'   
# 匹配有结果
echo "Books are great" | sed -n '/^Book/p' 
Books are great
# 行尾匹配
echo "This is a good book" | sed -n '/book$/p'
# 查询出空白行
sed -n '/^$/p' data4.txt
# 删除空白行  
sed  '/^$/d' data4.txt 

• 点号字符：代表一个特定的字符。包括空格

sed -n '/.at/p' data5
The cat is sleeping.
That is a very nice hat.
This test is at line four.

• 字符组：使用方括号来定义一个字符组

sed -n '/[ch]at/p' data5
The cat is sleeping.
That is a very nice hat.
# 大小写匹配
echo "yes" | sed -n '/[Yy]es/p'
# 多个字符组
echo "yEs" | sed -n '/[Yy][Ee][Ss]/p'
# 匹配数字 
sed -n '/[0123]/p' data6
# 排除型字符组：只要在字符组的开头加个逃逸字符
sed -n '/[^ch]at/p' data5
This test is at line four.
# 末尾是5个数字的行
sed -n '/[0123456789][0-9][0-9][0-9][0-9]$/p  ' data7
gawk --re-interval '/[0-9]{5}$/{print $0}  ' data7
# 连续不间断的字符组
sed -n '/[a-ch-m]at/p' data5
# 如下匹配不到结果
echo "I'm getting too fat." | sed -n '/[a-ch-m]at/p'

• BRE特殊字符组

组 描 述

[[:alpha:]] 匹配任意字母字符，不管是大写还是小写

[[:alnum:]] 匹配任意字母数字字符0~9、A~Z或a~z

[[:blank:]] 匹配空格或制表符

[[:digit:]] 匹配0~9之间的数字

[[:lower:] 匹配小写字母字符a~z

[[:print:]] 匹配任意可打印字符

[[:punct:]] 匹配标点符号

[[:space:]] 匹配任意空白字符：空格、制表符、NL、FF、VT和CR

[[:upper:]] 匹配任意大写字母字符A~Z

# 匹配任意字符。
echo "abc" | sed -n '/[[:alpha:]]/p'
abc
# 匹配数字
echo "abc is 123" | sed -n '/[[:digit:]]/p'
abc is 123

• 星号 ：前面的表达式出现了0次到多次

echo "btt" | sed -n '/b[ae]*t/p'
btt

• 问号：问号表明前面的字符可以出现0次或1次，但只限于此。

echo "bt" | gawk '/be?t/{print $0}'
bt
echo "bet" | gawk '/be?t/{print $0}'
bet
echo "beet" | gawk '/be?t/{print $0}'  # 不能匹配到
echo "bet" | gawk '/b[ae]?t/{print $0}'
bet

• 加号：表明前面的字符可以出现1次或多次，但必须至少出现1次。如果该字符没有出现，那么模式就不会匹配

echo "beet" | gawk '/be+t/{print $0}'
beet
echo "bt" | gawk '/be+t/{print $0}'  # 匹配不到
echo "bet" | gawk '/be+t/{print $0}'
bet

• 花括号允许你为可重复的正则表达式指定一个上限。这通常称为间隔（interval）。

可以用两种格式来指定区间。

m ：正则表达式准确出现 m 次。

m, n ：正则表达式至少出现 m 次，至多 n 次。

这个特性可以精确调整字符或字符集在模式中具体出现的次数。

echo "bet" | gawk --re-interval '/be{1}t/{print $0}'
bet
echo "beet" | gawk --re-interval '/be{1,2}t/{print $0}'
beet

• 管道符号：允许你在检查数据流时，用逻辑 OR 方式指定正则表达式引擎要用的两个或多个模式。如果任何一个模式匹配了数据流文本，文本就通过测试。如果没有模式匹配，则数据流文本匹配失败。

echo "The cat is asleep" | gawk '/cat|dog/{print $0}'
The cat is asleep
echo "He has a hat." | gawk '/[ch]at|dog/{print $0}'
He has a hat.

实战：统计环境变量目录下的文件个数

echo $PATH | sed 's/:/ /g'
#!/bin/bash
# count number of files in your PATH
mypath=$(echo $PATH | sed 's/:/ /g')
count=0
for directory in $mypath
do
check=$(ls $directory)
for item in $check
do
count=$[ $count + 1 ]
done
echo "$directory - $count"
count=0
done

• 其他

# 过滤电话号码
echo "317-555-1234"|gawk --re-interval '/^\(?[2-9][0-9]{2}\)?(| |-|\.)[0-9]{3}( |-|\.)[0-9]{4}$/{print $0}'
# 邮箱过滤
echo wangguowei@126.com|gawk --re-interval '/^([a-zA-Z0-9_\-\.\+]+)@([a-zA-Z0-9_\-\.]+)\.([a-zA-Z]{2,5})$/ {print $0}'
wangguowei@126.com
# 频繁上下线终端统计
awk '{a[$3]+=1;} END {for(i in a){print a[i]" "i;}}' wgw.test |sort -n -r |head -10
276 '583BD98E30F0'
276 '583BD98E2660'
276 '583BD98E2310'