1、sort(排序)

sort [OPTION]... [FILE]...

选项说明:
  -r:倒序 
  -n:按数字排序 
  -t:指定分隔符(默认空格) 
  -k:指定第几列,指定几列几字符(指定1,1  3.1,3.3)

# 测试文件
[root@test ~]# cat test.txt 
e:11
a:2
c:3
p:5
d:1
f:7

# 使用 sort 对上面文件进行排序
[root@test ~]# sort test.txt 
a:2
c:3
d:1
e:11
f:7
p:5

# 结果是按第一列字母进行排序的
# 可以使用 -t 指定分隔符, 使用 -k 指定需要排序的列。
[root@test ~]# sort -t ":" -k2 test.txt 
d:1
e:11
a:2
c:3
p:5
f:7

# 结果第2列2行为11,显然不是我们要的结果。
# 因为按照排序的方式,只会根据第一个字符进行排序,11的第一个字符是1,按照字符来排序确实比2小。 
# 如果想要按照数字的方式进行排序, 需要使用 -n 选项。
[root@test ~]# sort -t ":" -k2 -n test.txt 
d:1
a:2
c:3
p:5
f:7
e:11

2、uniq(去重)

  如果文件中有多行完全相同的内容,我们期望删除重复的行并统计出完全相同的行出现的总次数,那么就可以组合使用 uniq 和 sort 解决这个问题

uniq [OPTION]... [INPUT [OUTPUT]]

选项说明:
  -c:计算重复的行

# 测试文件
[root@test ~]# cat test.txt 
abc
123
abc
123
efg
efg

# 单独使用,并没有达成我们的期望。可以明显看出重复的行要连续在一起才能达成我们的期望,所以就需要用到 sort。
[root@test ~]# cat test.txt | uniq -c
      1 abc
      1 123
      1 abc
      1 123
      2 efg

# uniq 和 sort 组合使用。
# 先使用 sort 排序, 让重复行连续在一起,再使用 uniq 去除相邻重复的行并统计
[root@test ~]# cat test.txt | sort | uniq -c
      2 123
      2 abc
      2 efg

3、cut(截取字段)

cut命令用于按列提取文本字符。

cut OPTION... [FILE]...

选项说明:
  -d:指定分隔符 
  -f:数字,取第几列。例如“–f3,6”,表示取第3列和第6列。 
  -c:按字符取(空格也算)

# 提取 /etc/passwd 文件中用户名和其对应的Shell解释器
[root@test ~]# cut -d ":" -f 1,7 /etc/passwd
root:/bin/bash
bin:/sbin/nologin
daemon:/sbin/nologin
adm:/sbin/nologin
......

# 按字符截取
[root@test ~]# echo "abcdefg" > test.txt
[root@test ~]# cut -c1,3 test.txt 
ac
[root@test ~]# cut -c1-3 test.txt
abc
[root@test ~]# cut -c1- test.txt    # 截取第一个及以后的所有字符
abcdefg
[root@test ~]# cut -c-3 test.txt    # 截取前3个字符
abc

4、tr(替换)

tr命令用于替换文本文件中的字符。

tr [OPTION]... SET1 [SET2]

选项说明:
  -c:反选设定字符。也就是符合 SET1 的部份不做处理,不符合的剩余部份才进行转换
  -d:删除指令字符

支持的常用转义字符:
  \\:反斜杠
  \b:退格键
  \f:换页
  \n:新行
  \r:回车
  \t:水平制表符

# 测试文件
[root@test ~]# cat test.txt 
abcd

# 替换a为1
[root@test ~]# cat test.txt | tr a 1
1bcd

# 小写替换成大写
[root@test ~]# cat test.txt | tr [a-z] [A-Z]
ABCD

# 列转行
[root@test ~]# cat test.txt 
a
b
c
d
[root@test ~]# cat test.txt |tr "\n" " " | sed 's/$/\n/'
a b c d 
[root@test ~]# cat test.txt |tr "\n" " "| sed 's/$/\n/' | tr -d " "
abcd

5、wc(统计行号)

wc [OPTION]... [FILE]...

选项说明:
  -l:显示文件行数 
  -c:显示文件字节 
  -w:显示文件单词

# 统计 /etc/passwd 文件有多少行
[root@test ~]# wc -l /etc/passwd    
18 /etc/passwd

# 其它统计行号方法
[root@test ~]# grep -n ".*" /etc/passwd  | tail -1 | cut -d ":" -f1
18
[root@test ~]# awk '{print NR}' /etc/passwd | tail -1
18
[root@test ~]# cat -n /etc/passwd | tail -n1 | cut -f1 | tr -d " "
18

5、示例

以下是一段nginx日志,请统计每个ip的访问次数并排序。

[root@test ~]# cat nginx-access.log 
101.132.175.77 - - [22/Feb/2021:11:47:41 +0800] "GET / HTTP/1.1" 302 145 "-" "Mozilla/5.0 (Linux; Android 4.1.1; Nexus 7 Build/JRO03D)" "-"
101.132.175.77 - - [22/Feb/2021:11:47:41 +0800] "GET / HTTP/1.1" 200 9409 "-" "Mozilla/5.0 (Linux; Android 4.1.1; Nexus 7 Build/JRO03D)" "-"
47.98.103.245 - - [22/Feb/2021:11:59:04 +0800] "GET / HTTP/1.1" 200 9409 "-" "Mozilla/5.0 (Android Mobile Safari) android mobile safari" "-"
3.122.195.44 - - [22/Feb/2021:12:09:24 +0800] "GET /.git/HEAD HTTP/1.1" 302 145 "-" "curl/7.61.1" "-"
3.122.195.44 - - [22/Feb/2021:12:09:25 +0800] "GET /.git/HEAD HTTP/1.1" 404 27413 "-" "curl/7.61.1" "-"
101.132.175.77 - - [22/Feb/2021:11:47:41 +0800] "GET / HTTP/1.1" 302 145 "-" "Mozilla/5.0 (Linux; Android 4.1.1; Nexus 7 Build/JRO03D)" "-"
3.122.195.44 - - [22/Feb/2021:12:09:24 +0800] "GET /.git/HEAD HTTP/1.1" 302 145 "-" "curl/7.61.1" "-"
47.98.103.245 - - [22/Feb/2021:11:59:04 +0800] "GET / HTTP/1.1" 200 9409 "-" "Mozilla/5.0 (Android Mobile Safari) android mobile safari" "-"
3.122.195.44 - - [22/Feb/2021:12:09:24 +0800] "GET /.git/HEAD HTTP/1.1" 302 145 "-" "curl/7.61.1" "-"

[root@test ~]# cat nginx-access.log | cut -d " " -f1 | sort | uniq -c | sort -nr
      4 3.122.195.44
      3 101.132.175.77
      2 47.98.103.245

发表评论

验证码: + 53 = 60