文本三剑客之awk

2019-10-16 07:49:45来源:博客园 阅读 ()

新老客户大回馈,云服务器低至5折

文本三剑客之awk

awk介绍

1     awk:Aho, Weinberger, Kernighan,报告生成器,格式化文本输出 
2     有多种版本:New awknawk),GNU awkgawk3     gawk:模式扫描和处理语言 
4     基本用法: 
5         awk [options] 'program' var=value file6         awk [options] -f programfile var=value file7         awk [options] 'BEGIN{action;… }pattern{action;… }END{action;… }' file ... 
8         awk 程序可由:BEGIN语句块、能够使用模式匹配的通用语句块、END语句块,共3部分组成 
9         program (程序)通常是被放在单引号中 

awk的工作原理

 1     第一步:执行BEGIN{action;… }语句块中的语句 
 2     第二步:从文件或标准输入(stdin)读取一行,然后执行pattern{ action;… }语句块,
 3         它逐行扫描文件,从第一行到最后一行重复这个过程,直到文件全部被读取完毕。  
 4     第三步:当读至输入流末尾时,执行END{action;…}语句块 
 5     BEGIN语句块在awk开始从输入流中读取行之前被执行,这是一个可选的语句块,
 6         比如变量初始化、打印输出表格的表头等语句通常可以写在BEGIN语句块中 
 7     END语句块在awk从输入流中读取完所有的行之后即被执行,比如打印所有行的
 8         分析结果这类信息汇总都是在END语句块中完成,它也是一个可选语句块  
 9     pattern语句块中的通用命令是最重要的部分,也是可选的。如果没有提供
10         pattern语句块,则默认执行{ print },即打印每一个读取到的行,awk读取的每
11         一行都会执行该语句块 

awk基本格式

 1     基本格式:awk [options] 'program' file 2     Program:pattern{action statements;..} 
 3     pattern和action 
 4         pattern部分决定动作语句何时触发及触发事件 
 5             BEGIN,END 
 6         action statements对数据进行处理,放在{}内指明 
 7             print, printf 
 8     分割符、域和记录 
 9         awk执行时,由分隔符分隔的字段(域)标记$1,$2...$n称为域标识。$0为所有域,注意:此时和shell中变量$符含义不同 
10         文件的每一行称为记录 
11         省略action,则默认执行 print $0 的操作 

awk之print格式

 1     print格式:print item1, item2, ... 
 2     要点: 
 3         (1) 逗号分隔符 
 4         (2) 输出item可以字符串,也可是数值;当前记录的字段、变量或awk的表达式 
 5         (3) 如省略item,相当于print $0 
 6     示例: 
 7         awk '{print "hello,awk"}' 
 8         awk –F: '{print}' /etc/passwd 
 9         awk –F: ‘{print “wang”}’ /etc/passwd 
10         awk –F: ‘{print $1}’ /etc/passwd 
11         awk –F: ‘{print $0}’ /etc/passwd 
12         awk –F: ‘{print $1”\t”$3}’ /etc/passwd 

awk变量

 1     变量:内置和自定义变量 
 2     FS:输入字段分隔符,默认为空白字符 
 3         awk -v FS=':' '{print $1,FS,$3}’ /etc/passwd 
 4         awk –F: '{print $1,$3,$7}’ /etc/passwd 
 5     F:filed(域、列、字段)
 6     S:表示分割符
 7     OFS:输出字段分隔符,默认为空白字符 
 8         awk -v FS=‘:’ -v OFS=‘:’ '{print $1,$3,$7}’ /etc/passwd 
 9     O:输出
10     OFS:输出分割符
11     RS:输入记录分隔符,指定输入时的换行符 
12         awk -v RS=' ' ‘{print }’ /etc/passwd 
13     ORS:输出记录分隔符,输出时用指定符号代替换行符 
14         awk -v RS=' ' -v ORS='###'‘{print }’ /etc/passwd 
15     NF:字段数量 
16         awk -F:‘{print NF}’ /etc/fstab 引用变量时,变量前不需加$ 
17         awk -F:‘{print $(NF-1)}' /etc/passwd 
18     NR:记录号 
19         awk ‘{print NR}’ /etc/fstab ; awk END‘{print NR}’ /etc/fstab 
 1     FNR:各文件分别计数,记录号 
 2         awk '{print FNR}' /etc/fstab /etc/inittab 
 3     FILENAME:当前文件名 
 4         awk '{print FILENAME}’ /etc/fstab 
 5     ARGC:命令行参数的个数 
 6         awk '{print ARGC}’ /etc/fstab /etc/inittab 
 7         awk ‘BEGIN {print ARGC}’ /etc/fstab /etc/inittab 
 8     ARGV:数组,保存的是命令行所给定的各参数 
 9         awk ‘BEGIN {print ARGV[0]}’ /etc/fstab /etc/inittab 
10         awk ‘BEGIN {print ARGV[1]}’ /etc/fstab /etc/inittab 
 1     自定义变量(区分字符大小写) 
 2         (1) -v var=value 
 3         (2) 在program中直接定义 
 4     示例: 
 5         awk -v test='hello gawk' '{print test}' /etc/fstab 
 6         awk -v test='hello gawk' 'BEGIN{print test}' 
 7         awk 'BEGIN{test="hello,gawk";print test}' 
 8         awk -F:‘{sex=“male”;print $1,sex,age;age=18}’ /etc/passwd 
 9         cat awkscript 
10         {print script,$1,$2} 
11         awk -F: -f awkscript script=“awk” /etc/passwd 

awk之printf

 1     格式化输出:printf “FORMAT”, item1, item2, ... 
 2         (1) 必须指定FORMAT 
 3         (2) 不会自动换行,需要显式给出换行控制符,\n 
 4         (3) FORMAT中需要分别为后面每个item指定格式符 
 5     格式符:与item一一对应 
 6         %c:显示字符的ASCII码 
 7         %d, %i:显示十进制整数 
 8         %e, %E:显示科学计数法数值 
 9         %f:显示为浮点数 
10         %g, %G:以科学计数法或浮点形式显示数值 
11         %s:显示字符串 
12         %u:无符号整数 
13         %%:显示%自身 
14     修饰符 
15         #[.#] 第一个数字控制显示的宽度;第二个#表示小数点后精度,%3.1f 
16         - 左对齐(默认右对齐) %-15s 
17         + 显示数值的正负符号 %+d 

awk操作符

 1     算术操作符: 
 2         x+y, x-y, x*y, x/y, x^y, x%y 
 3         - x:转换为负数 
 4         +x:将字符串转换为数值 
 5     字符串操作符:没有符号的操作符,字符串连接 
 6     赋值操作符: 
 7             =, +=, -=, *=, /=, %=, ^=,++, -- 
 8         下面两语句有何不同 
 9             awk ‘BEGIN{i=0;print ++i,i}’ 
10             awk ‘BEGIN{i=0;print i++,i}’ 
 1     比较操作符: 
 2         ==, !=, >, >=, <, <= 
 3     模式匹配符: 
 4         ~:左边是否和右边匹配,包含 
 5             !~:是否不匹配 
 6         示例: 
 7             awk -F: '$0 ~ /root/{print $1}‘ /etc/passwd 
 8             awk '$0~“^root"' /etc/passwd 
 9             awk '$0 !~ /root/‘ /etc/passwd 
10             awk -F: ‘$3==0’ /etc/passwd 
 1     逻辑操作符:与&&,或||,非! 
 2     示例: 
 3         awk -F: '$3>=0 && $3<=1000 {print $1}' /etc/passwd 
 4         awk -F: '$3==0 || $3>=1000 {print $1}' /etc/passwd 
 5         awk -F: ‘!($3==0) {print $1}' /etc/passwd 
 6         awk -F: ‘!($3>=500) {print $3}’ /etc/passwd 
 7     条件表达式(三目表达式) 
 8         selector?if-true-expression:if-false-expression 
 9         示例: 
10             awk -F: '{$3>=1000?usertype="Common User":usertype=" 
11             SysUser";printf "%15s:%-s\n",$1,usertype}' /etc/passwd 

awk PATTERN 

 1     PATTERN:根据pattern条件,过滤匹配的行,再做处理 
 2         (1)如果未指定:空模式,匹配每一行 
 3         (2) /regular expression/:仅处理能够模式匹配到的行,需要用/  /括起来 
 4             awk '/^UUID/{print $1}' /etc/fstab 
 5             awk '!/^UUID/{print $1}' /etc/fstab 
 6         (3) relational expression: 关系表达式,结果为“真”才会被处理 
 7             真:结果为非0值,非空字符串 
 8             假:结果为空字符串或0值            
 9     示例: 
10         awk   -F:  'i=1;j=1{print i,j}' /etc/passwd 
11         awk  ‘!0’  /etc/passwd ;  awk  ‘!1’   /etc/passwd 
12         Awk  -F: '$3>=1000{print $1,$3}'  /etc/passwd 
13         awk  -F: '$3<1000{print $1,$3}'  /etc/passwd 
14         awk  -F: '$NF=="/bin/bash"{print $1,$NF}' /etc/passwd 
15         awk  -F: '$NF ~ /bash$/{print $1,$NF}' /etc/passwd 
1     (4) line ranges:行范围 
2         startline,endline:/pat1/,/pat2/ 不支持直接给出数字格式 
3         awk -F: ‘/^root\>/,/^nobody\>/{print $1}' /etc/passwd 
4         awk -F: ‘(NR>=10&&NR<=20){print NR,$1}' /etc/passwd 
5     (5) BEGIN/END模式 
6         BEGIN{}:仅在开始处理文件中的文本之前执行一次 
7         END{}:仅在文本处理完成之后执行一次 

awk action 

1     常用的action分类 
2         (1) Expressions:算术,比较表达式等 
3         (2) Control statements:if, while等 
4         (3) Compound statements:组合语句 
5         (4) input statements 
6         (5) output statements:print等 

awk控制语句 

 1     { statements;… } 组合语句 
 2     if(condition) {statements;…}  
 3     if(condition) {statements;…} else {statements;…} 
 4     while(conditon) {statments;…} 
 5     do {statements;…} while(condition) 
 6     for(expr1;expr2;expr3) {statements;…} 
 7     break 
 8     continue 
 9     delete array[index] 
10     delete array 
11     exit  

awk控制语句if-else 

 1     语法:if(condition){statement;…}[else statement] 
 2         if(condition1){statement1}else if(condition2){statement2}else{statement3} 
 3     使用场景:对awk取得的整行或某个字段做条件判断 
 4     示例: 
 5         awk -F: '{if($3>=1000)print $1,$3}' /etc/passwd 
 6         awk -F: '{if($NF=="/bin/bash") print $1}' /etc/passwd 
 7         awk '{if(NF>5) print $0}' /etc/fstab 
 8         awk -F: '{if($3>=1000) {printf "Common user: %s\n",$1} else {printf "root or 
 9         Sysuser: %s\n",$1}}' /etc/passwd 
10         awk -F: '{if($3>=1000) printf "Common user: %s\n",$1; else printf "root or 
11         Sysuser: %s\n",$1}' /etc/passwd 
12         df -h|awk -F% '/^\/dev/{print $1}'|awk '$NF>=80{print $1,$5}‘ 
13         awk ‘BEGIN{ test=100;if(test>90){print “very good“} 
14             else if(test>60){ print ”good”}else{print “no pass”}}’ 

awk控制语句 while循环 

 1     语法:while(condition){statement;…} 
 2     条件“真”,进入循环;条件“假”,退出循环 
 3     使用场景: 
 4         对一行内的多个字段逐一类似处理时使用 
 5         对数组中的各元素逐一处理时使用 
 6     示例: 
 7         awk '/^[[:space:]]*linux16/{i=1;while(i<=NF)  
 8             {print $i,length($i); i++}}' /etc/grub2.cfg 
 9         awk ‘/^[[:space:]]*linux16/{i=1;while(i<=NF) {if(length($i)>=10) {print 
10             $i,length($i)}; i++}}’ /etc/grub2.cfg 

awk控制语句do-while循环

1     语法:do {statement;…}while(condition) 
2     意义:无论真假,至少执行一次循环体 
3     示例:  
4         awk 'BEGIN{ total=0;i=0;do{ total+=i;i++;}while(i<=100);print total}’ 

awk控制语句 for循环

1     语法:for(expr1;expr2;expr3) {statement;…} 
2     常见用法: 
3         for(variable assignment;condition;iteration process) 
4             {for-body} 
5     特殊用法:能够遍历数组中的元素 
6         语法:for(var in array) {for-body} 
7     示例: 
8         awk '/^[[:space:]]*linux16/{for(i=1;i<=NF;i++) {print $i,length($i)}}' 
9             /etc/grub2.cfg 

awk控制语句switch语句 

1     语法:switch(expression) {case VALUE1 or /REGEXP/: statement1; case 
2         VALUE2 or /REGEXP2/: statement2; ...; default: statementn} 
3     break和continue 
4         awk ‘BEGIN{sum=0;for(i=1;i<=100;i++) 
5             {if(i%2==0)continue;sum+=i}print sum}' 
6         awk ‘BEGIN{sum=0;for(i=1;i<=100;i++) 
7             {if(i==66)break;sum+=i}print sum}' 

awk数组

 1     关联数组:array[index-expression] 
 2     index-expression: 
 3         (1) 可使用任意字符串;字符串要使用双引号括起来 
 4         (2) 如果某数组元素事先不存在,在引用时,awk会自动创建此元素,并将其值初始化为“空串” 
 5         (3) 若要判断数组中是否存在某元素,要使用“index in array”格式进行遍历 
 6     示例: 
 7         weekdays["mon"]="Monday"  
 8         awk 'BEGIN{weekdays["mon"]="Monday";weekdays["tue"]="Tuesday"; 
 9             print weekdays["mon"]}‘ 
10         awk ‘!line[$0]++’ dupfile 
11         awk '{!line[$0]++;print $0, line[$0]}'  dupfile 
1     若要遍历数组中的每个元素,要使用for循环 
2     for(var in array) {for-body} 
3     注意:var会遍历array的每个索引 
4     示例:  
5         awk‘BEGIN{weekdays["mon"]="Monday";weekdays["tue"]="Tuesday";
6             for(i in weekdays) {print weekdays[i]}}' 
7         netstat -tan | awk '/^tcp/{state[$NF]++} 
8             END{for(i in state) { print i,state[i]}}' 
9         awk  '{ip[$1]++}END{for(i in ip) {print i,ip[i]}}'   /var/log/httpd/access_log 

awk函数

 1     数值处理: 
 2         rand():返回0和1之间一个随机数 
 3         awk 'BEGIN{srand(); for (i=1;i<=10;i++)print int(rand()*100) }' 
 4     字符串处理: 
 5         length([s]):返回指定字符串的长度 
 6         sub(r,s,[t]):对t字符串搜索r表示模式匹配的内容,并将第一个匹配内容替换为s 
 7             echo "2008:08:08 08:08:08" | awk 'sub(/:/,“-",$1)' 
 8         gsub(r,s,[t]):对t字符串进行搜索r表示的模式匹配的内容,并全部替换为s所表示的内容 
 9             echo "2008:08:08 08:08:08" | awk ‘gsub(/:/,“-",$0)' 
10         split(s,array,[r]):以r为分隔符,切割字符串s,并将切割后的结果保存至array所
11             表示的数组中,第一个索引值为1,第二个索引值为2,… 
12                 netstat -tn | awk '/^tcp\>/{split($5,ip,":");count[ip[1]]++} 
13                     END{for (i in count) {print i,count[i]}}’ 
 1     自定义函数格式: 
 2         function name ( parameter, parameter, ... ) { 
 3                         statements 
 4                         return expression 
 5         } 
 6     示例: 
 7         cat fun.awk 
 8         function max(x,y) { 
 9             x>y?var=x:var=y 
10             return var 
11         } 
12         BEGIN{a=3;b=2;print max(a,b)} 
13         awk -f fun.awk  

awk脚本 

1     将awk程序写成脚本,直接调用或执行 
2     示例: 
3     cat f1.awk 
4         {if($3>=1000)print $1,$3} 
5     awk -F: -f f1.awk /etc/passwd  
 1 向awk脚本传递参数 
 2     格式: 
 3         awkfile var=value var2=value2... Inputfile 
 4     注意:在BEGIN过程中不可用。直到首行输入完成以后,变量才可用。可以通
 5         过-v 参数,让awk在执行BEGIN之前得到变量的值。命令行中每一个指定的变
 6         量都需要一个-v参数 
 7     示例: 
 8         cat test.awk 
 9             #!/bin/awk –f 
10             {if($3 >=min && $3<=max)print $1,$3} 
11         chmod +x test.awk 
12         test.awk -F: min=100 max=200 /etc/passwd

awk实例:

1 1、判断UID是否大于等于500,如果为真就显示为普通用户,如果为假就显示为系统或管理用户
2 awk -F: '{$3>=500?name="common user":name="system user";print name,$1,$3}' /etc/passwd
3 2、显示用户id为奇数的用户。
4 awk -F: '{if(NR%2==0)next;print NR,$0}' /etc/passwd
5 3、统计web服务访问日志中的ip访问量
6 awk '{ip[$1]++}END{for(i in ip){print i,ip[i]}}' /var/log/httpd/access_log 

 


原文链接:https://www.cnblogs.com/yongbuyanbai0/p/11681145.html
如有疑问请与原作者联系

标签:

版权申明:本站文章部分自网络,如有侵权,请联系:west999com@outlook.com
特别注意:本站所有转载文章言论不代表本站观点,本站所提供的摄影照片,插画,设计作品,如需使用,请与原作者联系,版权归原作者所有

上一篇:.htaccess设置301跳转及常用技巧整理

下一篇:加密类型、数据加密解密过程以及CA创建