linux 下的gawk

gawk:Unix中原始awk程序的GNU版本,强大之处在于可以写脚本来读取文本行的数据，然后处理并显示数据。 命令格式：gawk options program file 一、gawk基础 1.命令行读取程序脚本 # gawk '{print "hello world"}'           //gawk假定脚本是单个文本字符串，须将脚本放到单引号中 hello hello world hi hello world 2.数据字段变量 文本行中发现的数据元素使用$0、$1等来分配变量 $0代表整个文本行 $1代表文本行中的第1个数据字段，$2等依次类推 默认分隔符为空白字符 # gawk '{print $1}' data1 this # gawk -F: '{print $1}' passwd                                   //使用-F来指定字段分隔符 root bin daemon adm 3.使用多个命令 # echo "this is a test" | gawk '{$4="gawk";print $0}'            //使用;号隔开 this is a gawk 4.从文件中读取程序 # cat gawktest  { text="'s home directory is " print $1 text $6                                                 //gawk程序中使用变量无需加美元符 } # gawk -F: -f gawktest passwd  root's home directory is /root bin's home directory is /bin daemon's home directory is /sbin adm's home directory is /var/adm 5.BEGIN与END # cat beginend  BEGIN {                                            //BEGIN处理数据前运行的脚本 print "userid   shell" print "------   -----" FS=":"                                             //FS脚本中定义分隔符 } { print $1 "      " $7                               //引号内为制表符，这样输出的结果才能对齐 } END {                                              //END处理数据后运行的脚本 print "end of list" } # gawk -f beginend passwd  userid  shell ------  ----- root    /bin/bash bin     /sbin/nologin daemon  /sbin/nologin adm     /sbin/nologi ... end of list 二、gawk进阶 1.使用变量 1）内建变量 FIELDWIDTHS              由空格分隔开的定义了每个数据字段确切宽度的一列数字 FS                       输入字段分隔符 RS                       输入数据行分隔符 OFS                      输出字段分隔符 ORS                      输出数据行分隔符 # cat data1 data1.data2.data3 data4.data5.data6 # gawk 'BEGIN{FS=".";OFS="-"} {print $1,$2,$3}' data1 data1-data2-data3 data4-data5-data6 # cat datanumber  1234.567.827                           //使用了FIELDWIDTHS变量，gawk会忽略FS变量，一旦设置不能改变 # gawk 'BEGIN{FIELDWIDTHS="1 2 3 4"} {print $1,$2,$3,$4}' datanumber  1 23 4.5 67.8 2.数据变量 ARGC                      当前命令行参数个数 ARGV                      包含命令行参数的数组 ENVIRON                   当前shell环境变量及其值组成的关联数组 FNR                       当前数据文件中的数据行数 NF                        数据文件中的字段总数 NR                        已处理的输入数据行数目 # gawk 'BEGIN{print ARGC,ARGV[0]}' data1            //引用gawk变量，不用加$符号 2 gawk ]# gawk ' > BEGIN{ > print ENVIRON["HOME"]                             //提取HOME变量 > print ENVIRON["PATH"] > }' /root /usr/local/program/jdk1.6.0_33/bin # gawk 'BEGIN{FS=":";OFS="-"} {print $1,$NF}' passwd         //NF指定数据行中的最后一个数据字段 root-/bin/bash bin-/sbin/nologin daemon-/sbin/nologin 3.自定义变量 # cat script1  #!/bin/bash BEGIN{print "the n value is",n;FS="."} {print $n} # gawk -f script1 n=3 data1 the n value is  data3 data6 # gawk -v n=3 -f script1 data1                    //BEGIN代码之前设定的变量需要用-v参数指定 the n value is 3 data3 data6 4.处理数组 1）定义数组                         //与哈希表类似 格式： var[index]= element        # gawk 'BEGIN{ > capital["shanghai"]="shanghai" > print capital["shanghai"] > }' shanghai    2）遍历数组 # gawk 'BEGIN{ > var["g"]=1 > var["a"]=2 > var["w"]=3 > var["k"]=4 > for(test in var) > { >    print "index:",test," - value:",var[test]                //中间有逗号 > } > }' index: w  - value: 3                                //输出值只能保证一一对应，不能按顺序 index: k  - value: 4 index: a  - value: 2 index: g  - value: 1 3）删除数组 # cat script2 #!/bin/bash BEGIN{ var["g"]=1 var["a"]=2 var["w"]=3 var["k"]=4 for(test in var) {    print "index:",test," - value:",var[test] } delete var["a"]                             //删除指定数组中的数据元素 print "---" for(test in var) {    print "index:",test," - value:",var[test] } } # gawk -f script2 index: w  - value: 3 index: k  - value: 4 index: a  - value: 2 index: g  - value: 1 --- index: w  - value: 3 index: k  - value: 4 index: g  - value: 1 5.使用模式 1）正则表达式 # gawk 'BEGIN{FS="."} /1/{print $1}' data1            //匹配data1文件中含有1的 data1 2）匹配操作符 波浪线～，匹配操作符可以将正则表达式限定在数据行中的特一数据字段 # gawk -F: '$1 ～ /root/{print $1,$NF}' passwd               //查找第一个数据字段中匹配root的数据 root /bin/bash # gawk -F: '$1 !~ /root/{print $1,$NF}' passwd               //波浪线前加！号，排除匹配到的数据 bin /sbin/nologin daemon /sbin/nologin adm /sbin/nologin lp /sbin/nologin sync /bin/sync shutdown /sbin/shutdown 3）数学表达式 可以使用普通数学表达式，x == y; x<=y;x>y 等等 # gawk -F: '$4 == 0{print $1}' passwd            //查找第四个数据字段为0，即属于root用户组的用户 root sync shutdown halt operator 6.结构化命令 1）if语句 # cat script3 #!/bin/bash { if ($1 <5) {    x = $1 + 20    print x } else {    x = $1 + 30    print x } } # gawk -f script3 dataif  21 22 23 24 35 36 37 38 2）while语句 # cat datawhile  12 13 14 45 56 78 22 33 44 # cat script4 #!/bin/bash { total=0 i=1 while (i<4) {    total += $i    i++ } avg = total / 3 print "avg:",avg } # gawk -f script4 datawhile  avg: 13 avg: 59.6667 avg: 33 3）for语句 # cat script5 #!/bin/bash #!/bin/bash { total=0 i=1 for (i=1;i<4;i++) {    total += $i } avg = total / 3 print "avg:",avg } 7.格式化输出 printf格式化输出 c          将一个数作为ASCII字符显示 d          显示一个整数值 e          科学计数法显示 f          显示浮点数 o          显示一个八进制值 s          显示一个文本字符串 x          显示一个十六进制值 X          显示一个十六进制值，但用大写字母A-F # cat script5 #!/bin/bash #!/bin/bash { total=0 i=1 for (i=1;i<4;i++) {    total += $i } avg = total / 3 printf "avg: %5.1f\n",avg              //近似到小数点1位 } 8.内建函数 gawk提供了一些内置函数 1）数学函数 exp(x)      x的指数函数 int(x)      x的整数部分 rand()      0至1之间的随机浮点数 x=int(10 * rand()) 2) 字符串函数 asort(s [,d])           将数组s按数据元素值排序 index(s,t)              返回字符串t在字符串s中的索引值 length([s])             返回字符串s的长度 3）时间函数 mktime(datespec)        将一个按YYYY MM DD HH MM SS格式的日期转换成时间戳 systime()               返回当前时间的时间戳 strftime(format [,timestamp])         将时间戳转成date()格式化日期 # gawk 'BEGIN{ > date = systime() > day = strftime("%A,%B %d,%Y",date) > print day > }' Sunday,December 22,2013