当前位置:首页 > 开发 > 系统架构 > shell > 正文

shell学习笔记3---awk的执行过程(原创)

发表于: 2013-06-12   作者:czmmiao   来源:转载   浏览次数:
摘要: awk_script的组成1、awk_script可以由一条或多条awk_cmd组成,两条awk_cmd之间一般以NEWLINE分隔2、awk_cmd由两部分组成: awk_pattern { actions }3、awk_script可以被分成多行书写,必须确保整个awk_script被单引号括起来。awk命令的一般形式awk ' BEGIN { actions }awk_pattern1 {

awk_script的组成
1、awk_script可以由一条或多条awk_cmd组成,两条awk_cmd之间一般以NEWLINE分隔
2、awk_cmd由两部分组成: awk_pattern { actions }
3、awk_script可以被分成多行书写,必须确保整个awk_script被单引号括起来。
awk命令的一般形式
awk ' BEGIN { actions }
awk_pattern1 { actions }
............
awk_patternN { actions }
END { actions }
' inputfile
其中 BEGIN { actions } 和 END { actions } 是可选的。
awk的运行过程
1、如果BEGIN 区块存在,awk执行它指定的actions。
2、awk从输入文件中读取一行,称为一条输入记录。如果输入文件省略,将从标准输入读取
3、awk将读入的记录分割成字段,将第1个字段放入变量$1中,第2个字段放入$2,以此类推。$0表示整条记录。字段分隔符使用shell环境变量FS或由参数指定。
4、把当前输入记录(数据行)依次与每一个awk_cmd中awk_pattern比较,看是否匹配,如果相匹配,就执行对应的actions。如果不匹配,就跳过对应的actions,直到比较完所有的awk_cmd。
5、当一条输入记录比较了所有的awk_cmd后,awk读取输入的下一行,继续重复步骤3和4,这个过程一直持续,直到awk读取到文件尾。
6、当awk读完所有的输入行后,如果存在END,就执行相应的actions。
其中iput_file可以是多于一个文件的文件列表,awk将按顺序处理列表中的每个文件。awk会先对输入文件执行完所有的action后再处理下一个文件,看如下例子

$ cat file1
a 1
b 2
$ cat file2
d 4
c 3
$ awk '{print $0} {print $1}' file1 file2
a 1
a
b 2
b
d 4
d
c 3
c

另外有以下4点需要注意:
1、一条awk_cmd的awk_pattern可以省略,省略时不对输入记录进行匹配比较就执行相应的actions。一条awk_cmd的actions也可以省略,省略时默认的动作为打印当前输入记录(print $0) 。一条awk_cmd中的awk_pattern和actions不能同时省略。
2、BEGIN区块和END区块别位于awk_script的开头和结尾。awk_script中只有END区块或者只有BEGIN区块是被允许的。如果awk_script中只有BEGIN { actions } ,awk不会读取input_file。
3、awk把输入文件的数据读入内存,然后操作内存中的输入数据副本,awk不会修改输入文件的内容。
4、awk的总是输出到标准输出,如果想让awk输出到文件,可以使用重定向。
awk_pattern
awk_pattern模式部分决定actions动作部分何时触发及触发actions。awk_pattern可以是以下几种类型:
正则表达式用作awk_pattern: /regexp/
1、awk中正则表达式匹配操作中经常用到的字符:
^ $ . [] | () * // 通用的regexp元字符
+ : 匹配其前的单个字符一次以上,是awk自有的元字符,不适用于grep或sed等
? : 匹配其前的单个字符1次或0次,是awk自有的元字符,不适用于grep或sed等
2、举例:
awk '/ *$0.[0-9][0-9].*/' input_file
布尔表达式用作awk_pattern,表达式成立时,触发相应的actions执行。
1、表达式中可以使用变量(如字段变量$1,$2等)和/regexp/
2、布尔表达式中的操作符:
关系操作符: < > <= >= == !=
匹配操作符: value ~ /regexp/ 如果value匹配/regexp/,则返回真;value !~ /regexp/ 如果value不匹配/regexp/,则返回真
举例:

awk '$2 > 10 {print "ok"}' input_file
awk '$3 ~ /^d/ {print "ok"}' input_file
3、&&(与) 和 ||(或) 可以连接两个/regexp/或者布尔表达式,构成混合表达式。!(非) 可以用于布尔表达式或者/regexp/之前。
举例

awk '($1 < 10 ) && ($2 > 10) {print "ok"}' input_file
awk '/^d/ || /x$/ {print "ok"}' input_file
4、其它表达式用作awk_script,如赋值表达式等
eg:
awk '(tot+=$6); END{print "total points :" tot }' input_file     // 分号不能省略
awk 'tot+=$6 {print $0} END{print "total points :" tot }' input_file // 与上面等效
actions
actions就是对awk读取的记录数据进行的操作。actions由一条或多条语句或者命令组成,语句、命令之间用分号(;)分隔。actions中还可以使用流程控制结构的语句。
awk的命令:
1、print 参数列表 : print可以打印字符串(加双引号)、变量和表达式,是awk最基本的命令。参数列表要用逗号(,)分隔,如果参数间用空格分隔,打印出时参数值之间不会有空格。
2、printf ([格式控制符],参数) : 格式化打印命令(函数),语法与C语言的printf函数类似。
3、next : 强迫awk立刻停止处理当前的记录,而开始读取和处理下一条记录,改变脚本控制过程。
4、nextfile : 强迫awk立刻停止处理当前的输入文件而处理输入文件列表中的下一个文件
5、exit : 使awk停止执行而跳出。如果有END 存在,awk会去执行END 的actions。

6、getline:读取下一行数据,但不改变脚本控制过程。

关于exit,next和getline函数可以参见笔者的另一篇博客

http://czmmiao.iteye.com/blog/1885572

awk的语句: awk的语句主要是赋值语句,用来给变量赋值。
1、把直接值或一个变量值赋值给变量。如果直接值是字符串要加双引号。
举例

awk 'BEGIN {x=1 ; y=3 ; x=y ; print "x=" x " ; y=" y }'
2、把一个表达式的值赋值给变量。表达式一般是数值表达式,也可以是其它表达式。
数值表达式: num1 operator num2
operator可以是: +(加) -(减) *(乘) /(除) %(取模) ^(求幂)
当num1或者num2是字符串而是不是数字时,无论是否加有双引号,awk都视其值为0
条件选择表达式: A?B:C (A为布尔表达式,B和C可以是表达式或者直接值)
当布尔表达式A的值为真时,整个表达式的值为B,A的值为假时,整个表达式的值为C
举例

awk 'BEGIN {x=3 ; x+=2 ; y=x+2 ; print "x=" x " ; y=" y }'
awk 'BEGIN {x=3 ; y=x>4?"ok":4 ; print "x=" x " ; y=" y }'
3、为了方便书写,awk也支持C语言语法的赋值操作符: += -= *= /= %= ^= ++ --
流程控制结构
其中condition一般为布尔表达式,body和else-body是awk语句块。
1、if (condition) {then-body} [else {else-body}]
2、while (condition) {body}
3、do {body} while (condition)
4、for (initialization; condition; increment) {body}
与C语言的for结构的语法相同。
5、break : 跳出包含它的for、while、do-while 循环
6、continue : 跳过for、while、do-while循环的body的剩余部分,而立刻进行下一次循环的执行。

 

参考至:http://blog.chinaunix.net/uid-46353-id-2399597.html

                  http://blog.sina.com.cn/s/blog_6f02e1900100mmc5.html

本文原创,转载请注明出处、作者

如有错误,欢迎指正
邮箱:czmcj@163.com

shell学习笔记3---awk的执行过程(原创)

  • 0

    开心

    开心

  • 0

    板砖

    板砖

  • 0

    感动

    感动

  • 0

    有用

    有用

  • 0

    疑问

    疑问

  • 0

    难过

    难过

  • 0

    无聊

    无聊

  • 0

    震惊

    震惊

编辑推荐
Sed简介 sed 是一种在线编辑器,它一次处理一行内容。处理时,把当前处理的行存储在临时缓冲区中,
Java代码编译是由Java源码编译器来完成,流程图如下所示: Java字节码的执行是由JVM执行引擎来完成
Java代码编译是由Java源码编译器来完成,流程图如下所示: Java字节码的执行是由JVM执行引擎来完成
转载自:http://blog.csdn.net/cutesource/article/details/5904542 Java代码编译是由Java源码编译
本文根据《深入理解java虚拟机》第8章部分内容整理 根据一个代码实例来介绍虚拟机中解释器的执行过
Java代码编译是由Java源码编译器来完成,流程图如下所示: Java字节码的执行是由JVM执行引擎来完成
Java代码编译是由Java源码编译器来完成,流程图如下所示: Java字节码的执行是由JVM执行引擎来完成
Java代码编译是由Java源码编译器来完成,流程图如下所示: Java字节码的执行是由JVM执行引擎来完成
Java代码编译是由Java源码编译器来完成,流程图如下所示: Java字节码的执行是由JVM执行引擎来完成
Java代码编译是由Java源码编译器来完成,流程图如下所示: Java字节码的执行是由JVM执行引擎来完成
版权所有 IT知识库 CopyRight © 2009-2015 IT知识库 IT610.com , All Rights Reserved. 京ICP备09083238号