Linux awk 命令

Linux awk 命令
Linux 命令大全

AWK是一种处理文本文件的语言,是一个强大的文本分析工具。

之所以叫AWK是因为其取了三位创始人 Alfred Aho,Peter Weinberger, 和 Brian Kernighan 的 Family Name 的首字符。
语法

awk [选项参数] 'script' var=value file(s)
或
awk [选项参数] -f scriptfile var=value file(s)

选项参数说明:

  • -F fs or –field-separator fs
    指定输入文件折分隔符,fs是一个字符串或者是一个正则表达式,如-F:。
  • -v var=value or –asign var=value
    赋值一个用户定义变量。
  • -f scripfile or –file scriptfile
    从脚本文件中读取awk命令。
  • -mf nnn and -mr nnn
    对nnn值设置内在限制,-mf选项限制分配给nnn的最大块数目;-mr选项限制记录的最大数目。这两个功能是Bell实验室版awk的扩展功能,在标准awk中不适用。
  • -W compact or –compat, -W traditional or –traditional
    在兼容模式下运行awk。所以gawk的行为和标准的awk完全一样,所有的awk扩展都被忽略。
  • -W copyleft or –copyleft, -W copyright or –copyright
    打印简短的版权信息。
  • -W help or –help, -W usage or –usage
    打印全部awk选项和每个选项的简短说明。
  • -W lint or –lint
    打印不能向传统unix平台移植的结构的警告。
  • -W lint-old or –lint-old
    打印关于不能向传统unix平台移植的结构的警告。
  • -W posix
    打开兼容模式。但有以下限制,不识别:/x、函数关键字、func、换码序列以及当fs是一个空格时,将新行作为一个域分隔符;操作符**和**=不能代替^和^=;fflush无效。
  • -W re-interval or –re-inerval
    允许间隔正则表达式的使用,参考(grep中的Posix字符类),如括号表达式[[:alpha:]]。
  • -W source program-text or –source program-text
    使用program-text作为源代码,可与-f命令混用。
  • -W version or –version
    打印bug报告信息的版本。

基本用法

log.txt文本内容如下:

2 this is a test
3 Are you like awk
This's a test
10 There are orange,apple,mongo

用法一:

awk '{[pattern] action}' {filenames}   # 行匹配语句 awk '' 只能用单引号

实例:

# 每行按空格或TAB分割,输出文本中的1、4项
 $ awk '{print $1,$4}' log.txt
 ---------------------------------------------
 2 a
 3 like
 This's
 10 orange,apple,mongo
 # 格式化输出
 $ awk '{printf "%-8s %-10s\n",$1,$4}' log.txt
 ---------------------------------------------
 2        a
 3        like
 This's
 10       orange,apple,mongo

用法二:

awk -F  #-F相当于内置变量FS, 指定分割字符

实例:

# 使用","分割
 $  awk -F, '{print $1,$2}'   log.txt
 ---------------------------------------------
 2 this is a test
 3 Are you like awk
 This's a test
 10 There are orange apple
 # 或者使用内建变量
 $ awk 'BEGIN{FS=","} {print $1,$2}'     log.txt
 ---------------------------------------------
 2 this is a test
 3 Are you like awk
 This's a test
 10 There are orange apple
 # 使用多个分隔符.先使用空格分割,然后对分割结果再使用","分割
 $ awk -F '[ ,]'  '{print $1,$2,$5}'   log.txt
 ---------------------------------------------
 2 this test
 3 Are awk
 This's a
 10 There apple

用法三:

awk -v  # 设置变量

实例:

$ awk -va=1 '{print $1,$1+a}' log.txt
 ---------------------------------------------
 2 3
 3 4
 This's 1
 10 11
 $ awk -va=1 -vb=s '{print $1,$1+a,$1b}' log.txt
 ---------------------------------------------
 2 3 2s
 3 4 3s
 This's 1 This'ss
 10 11 10s

用法四:

awk -f {awk脚本} {文件名}

实例:

$ awk -f cal.awk log.txt

运算符

运算符 描述
= += -= *= /= %= ^= **= 赋值
?: C条件表达式
|| 逻辑或
&& 逻辑与
~ 和 !~ 匹配正则表达式和不匹配正则表达式
< <= > >= != == 关系运算符
空格 连接
+ – 加,减
* / % 乘,除与求余
+ – ! 一元加,减和逻辑非
^ *** 求幂
++ — 增加或减少,作为前缀或后缀
$ 字段引用
in 数组成员

过滤第一列大于2的行

$ awk '$1>2' log.txt    #命令
#输出
3 Are you like awk
This's a test
10 There are orange,apple,mongo

过滤第一列等于2的行

$ awk '$1==2 {print $1,$3}' log.txt    #命令
#输出
2 is

过滤第一列大于2并且第二列等于’Are’的行

$ awk '$1>2 && $2=="Are" {print $1,$2,$3}' log.txt    #命令
#输出
3 Are you

内建变量

变量 描述
$n 当前记录的第n个字段,字段间由FS分隔
$0 完整的输入记录
ARGC 命令行参数的数目
ARGIND 命令行中当前文件的位置(从0开始算)
ARGV 包含命令行参数的数组
CONVFMT 数字转换格式(默认值为%.6g)ENVIRON环境变量关联数组
ERRNO 最后一个系统错误的描述
FIELDWIDTHS 字段宽度列表(用空格键分隔)
FILENAME 当前文件名
FNR 各文件分别计数的行号
FS 字段分隔符(默认是任何空格)
IGNORECASE 如果为真,则进行忽略大小写的匹配
NF 一条记录的字段的数目
NR 已经读出的记录数,就是行号,从1开始
OFMT 数字的输出格式(默认值是%.6g)
OFS 输出记录分隔符(输出换行符),输出时用指定的符号代替换行符
ORS 输出记录分隔符(默认值是一个换行符)
RLENGTH 由match函数所匹配的字符串的长度
RS 记录分隔符(默认是一个换行符)
RSTART 由match函数所匹配的字符串的第一个位置
SUBSEP 数组下标分隔符(默认值是/034)
$ awk 'BEGIN{printf "%4s %4s %4s %4s %4s %4s %4s %4s %4s\n","FILENAME","ARGC","FNR","FS","NF","NR","OFS","ORS","RS";printf "---------------------------------------------\n"} {printf "%4s %4s %4s %4s %4s %4s %4s %4s %4s\n",FILENAME,ARGC,FNR,FS,NF,NR,OFS,ORS,RS}'  log.txt
FILENAME ARGC  FNR   FS   NF   NR  OFS  ORS   RS
---------------------------------------------
log.txt    2    1         5    1
log.txt    2    2         5    2
log.txt    2    3         3    3
log.txt    2    4         4    4
$ awk -F\' 'BEGIN{printf "%4s %4s %4s %4s %4s %4s %4s %4s %4s\n","FILENAME","ARGC","FNR","FS","NF","NR","OFS","ORS","RS";printf "---------------------------------------------\n"} {printf "%4s %4s %4s %4s %4s %4s %4s %4s %4s\n",FILENAME,ARGC,FNR,FS,NF,NR,OFS,ORS,RS}'  log.txt
FILENAME ARGC  FNR   FS   NF   NR  OFS  ORS   RS
---------------------------------------------
log.txt    2    1    '    1    1
log.txt    2    2    '    1    2
log.txt    2    3    '    2    3
log.txt    2    4    '    1    4
# 输出顺序号 NR, 匹配文本行号
$ awk '{print NR,FNR,$1,$2,$3}' log.txt
---------------------------------------------
1 1 2 this is
2 2 3 Are you
3 3 This's a test
4 4 10 There are
# 指定输出分割符
$  awk '{print $1,$2,$5}' OFS=" $ "  log.txt
---------------------------------------------
2 $ this $ test
3 $ Are $ awk
This's $ a $
10 $ There $

使用正则,字符串匹配

# 输出第二列包含 "th",并打印第二列与第四列
$ awk '$2 ~ /th/ {print $2,$4}' log.txt
---------------------------------------------
this a

~ 表示模式开始。// 中是模式。

# 输出包含"re" 的行
$ awk '/re/ ' log.txt
---------------------------------------------
3 Are you like awk
10 There are orange,apple,mongo

忽略大小写

$ awk 'BEGIN{IGNORECASE=1} /this/' log.txt
---------------------------------------------
2 this is a test
This's a test

模式取反

$ awk '$2 !~ /th/ {print $2,$4}' log.txt
---------------------------------------------
Are like
a
There orange,apple,mongo
$ awk '!/th/ {print $2,$4}' log.txt
---------------------------------------------
Are like
a
There orange,apple,mongo

awk脚本

关于awk脚本,我们需要注意两个关键词BEGIN和END。

  • BEGIN{ 这里面放的是执行前的语句 }
  • END {这里面放的是处理完所有的行后要执行的语句 }
  • {这里面放的是处理每一行时要执行的语句}

假设有这么一个文件(学生成绩表):

$ cat score.txt
Marry   2143 78 84 77
Jack    2321 66 78 45
Tom     2122 48 77 71
Mike    2537 87 97 95
Bob     2415 40 57 62

我们的awk脚本如下:

$ cat cal.awk
#!/bin/awk -f
#运行前
BEGIN {
    math = 0
    english = 0
    computer = 0
 
    printf "NAME    NO.   MATH  ENGLISH  COMPUTER   TOTAL\n"
    printf "---------------------------------------------\n"
}
#运行中
{
    math+=$3
    english+=$4
    computer+=$5
    printf "%-6s %-6s %4d %8d %8d %8d\n", $1, $2, $3,$4,$5, $3+$4+$5
}
#运行后
END {
    printf "---------------------------------------------\n"
    printf "  TOTAL:%10d %8d %8d \n", math, english, computer
    printf "AVERAGE:%10.2f %8.2f %8.2f\n", math/NR, english/NR, computer/NR
}

我们来看一下执行结果:

$ awk -f cal.awk score.txt
NAME    NO.   MATH  ENGLISH  COMPUTER   TOTAL
---------------------------------------------
Marry  2143     78       84       77      239
Jack   2321     66       78       45      189
Tom    2122     48       77       71      196
Mike   2537     87       97       95      279
Bob    2415     40       57       62      159
---------------------------------------------
  TOTAL:       319      393      350
AVERAGE:     63.80    78.60    70.00

另外一些实例

AWK的hello world程序为:

BEGIN { print "Hello, world!" }

计算文件大小

$ ls -l *.txt | awk '{sum+=$6} END {print sum}'
--------------------------------------------------
666581

从文件中找出长度大于80的行

awk 'length>80' log.txt

打印九九乘法表

seq 9 | sed 'H;g' | awk -v RS='' '{for(i=1;i<=NF;i++)printf("%dx%d=%d%s", i, NR, i*NR, i==NR?"\n":"\t")}'

更多内容:

Linux 命令大全

赞(0)

猜你喜欢

    评论 抢沙发

    • 昵称 (必填)
    • 邮箱 (必填)
    • 网址
    Linux 基础教程
    Linux 简介Linux 安装Linux 云服务器Linux 系统启动过程Linux 系统目录结构Linux 忘记密码解决方法Linux 远程登录Linux 文件基本属性Linux 文件与目录管理Linux 用户和用户组管理Linux 磁盘管理Linux vi/vimlinux yum 命令VMware 安装 Centos7 超详细过程
    Linux 命令
    Linux 命令大全Linux cat命令Linux chattr命令Linux chgrp命令Linux chmod命令Linux chown命令Linux cksum命令Linux cmp命令Linux diff命令Linux diffstat命令Linux file命令Linux find命令Linux git命令Linux gitview命令Linux indent命令Linux cut命令Linux ln命令Linux less命令Linux locate命令Linux lsattr命令Linux mattrib命令Linux mc命令Linux mdel命令Linux mdir命令Linux mktemp命令Linux more命令Linux mmove命令Linux mread命令Linux mren命令Linux mtools命令Linux mtoolstest命令Linux mv 命令Linux od命令Linux paste命令Linux patch命令Linux rcp命令Linux rm命令Linux slocate命令Linux split命令Linux tee命令Linux tmpwatch命令Linux touch命令Linux umask命令Linux which命令Linux cp命令Linux whereis命令Linux mcopy命令Linux mshowfat命令Linux rhmask命令Linux scp命令Linux awk 命令Linux read 命令Linux updatedb 命令Linux col命令Linux colrm命令Linux comm命令Linux csplit命令Linux ed命令Linux egrep命令Linux ex命令Linux fgrep命令Linux fmt命令Linux fold命令Linux grep 命令Linux ispell命令Linux jed命令Linux joe命令Linux join命令Linux look命令Linux mtype命令Linux pico命令Linux rgrep命令Linux sed 命令Linux sort命令Linux spell命令Linux tr命令Linux expr命令Linux uniq 命令Linux wc命令Linux let 命令Linux lprm命令Linux lpr命令Linux lpq命令Linux lpd命令Linux bye命令Linux ftp命令Linux uuto命令Linux uupick命令Linux uucp命令Linux uucico命令Linux tftp命令Linux ncftp命令Linux ftpshut命令Linux ftpwho命令Linux ftpcount命令Linux cd命令Linux df命令Linux dirs命令Linux du命令Linux edquota命令Linux eject命令Linux mcd命令Linux mdeltree命令Linux mdu命令Linux mkdir命令Linux mlabel命令Linux mmd命令Linux mrd命令Linux mzip命令Linux pwd命令Linux quota命令Linux mount命令Linux mmount命令Linux rmdir命令Linux rmt命令Linux stat命令Linux tree命令Linux umount命令Linux ls命令Linux quotacheck命令Linux quotaoff命令Linux lndir命令Linux repquota命令Linux quotaon命令Linux badblocks命令Linux cfdisk命令Linux dd命令Linux e2fsck命令Linux ext2ed命令Linux fsck命令Linux fsck.minix命令Linux fsconf命令Linux fdformat命令Linux hdparm命令Linux mformat命令Linux mkbootdisk命令Linux mkdosfs命令Linux mke2fs命令Linux mkfs.ext2命令Linux mkfs.msdos命令Linux mkinitrd命令Linux mkisofs命令Linux mkswap命令Linux mpartition命令Linux swapon命令Linux symlinks命令Linux sync命令Linux mbadblocks命令Linux mkfs.minix命令Linux fsck.ext2命令Linux fdisk命令Linux losetup命令Linux mkfs命令Linux sfdisk命令Linux swapoff命令Linux apachectl命令Linux arpwatch命令Linux dip命令Linux getty命令Linux mingetty命令Linux uux命令Linux telnet命令Linux uulog命令Linux uustat命令Linux ppp-off命令Linux netconfig命令Linux nc命令Linux httpd命令Linux ifconfig命令Linux minicom命令Linux mesg命令Linux dnsconf命令Linux wall命令Linux netstat命令Linux ping命令Linux pppstats命令Linux samba命令Linux setserial命令Linux talk命令Linux traceroute命令Linux tty命令Linux newaliases命令Linux uuname命令Linux netconf命令Linux write命令Linux statserial命令Linux efax命令Linux pppsetup命令Linux tcpdump命令Linux ytalk命令Linux cu命令Linux smbd命令Linux testparm命令Linux smbclient命令Linux shapecfg命令Linux adduser命令Linux chfn命令Linux useradd命令Linux date命令Linux exit命令Linux finger命令Linux fwhios命令Linux sleep命令Linux suspend命令Linux groupdel命令Linux groupmod命令Linux halt命令Linux kill命令Linux last命令Linux lastb命令Linux login命令Linux logname命令Linux logout命令Linux ps命令Linux nice命令Linux procinfo命令Linux top命令Linux pstree命令Linux reboot命令Linux rlogin命令Linux rsh命令Linux sliplogin命令Linux screen命令Linux shutdown命令Linux rwho命令Linux sudo命令Linux gitps命令Linux swatch命令Linux tload命令Linux logrotate命令Linux uname命令Linux chsh命令Linux userconf命令Linux userdel命令Linux usermod命令Linux vlock命令Linux who命令Linux whoami命令Linux whois命令Linux newgrp命令Linux renice命令Linux su命令Linux skill命令Linux w命令Linux id命令Linux groupadd 命令Linux free命令Linux reset命令Linux clear命令Linux alias命令Linux dircolors命令Linux aumix命令Linux bind命令Linux chroot命令Linux clock命令Linux crontab 命令Linux declare命令Linux depmod命令Linux dmesg命令Linux enable命令Linux eval命令Linux export命令Linux pwunconv命令Linux grpconv命令Linux rpm命令Linux insmod命令Linux kbdconfig命令Linux lilo命令Linux liloconfig命令Linux lsmod命令Linux minfo命令Linux set命令Linux modprobe命令Linux ntsysv命令Linux mouseconfig命令Linux passwd命令Linux pwconv命令Linux rdate命令Linux resize命令Linux rmmod命令Linux grpunconv命令Linux modinfo命令Linux time命令Linux setup命令Linux sndconfig命令Linux setenv命令Linux setconsole命令Linux timeconfig命令Linux ulimit命令Linux unset命令Linux chkconfig命令Linux apmd命令Linux hwclock命令Linux mkkickstart命令Linux fbset命令Linux unalias命令Linux SVGATextMode命令Linux gpasswd 命令Linux ar命令Linux bunzip2命令Linux bzip2命令Linux bzip2recover命令Linux gunzip命令Linux unarj命令Linux compress命令Linux cpio命令Linux dump命令Linux uuencode命令Linux gzexe命令Linux gzip命令Linux lha命令Linux restore命令Linux tar命令Linux uudecode命令Linux unzip命令Linux zip命令Linux zipinfo命令Linux setleds命令Linux loadkeys命令Linux rdev命令Linux dumpkeys命令Linux MAKEDEV命令Linux poweroff 命令Linux bc 命令Linux tail 命令Linux xargs 命令Linux 常用命令全拼AWK 工作原理AWK 数组AWK 条件语句与循环AWK 用户自定义函数AWK 内置函数8 个有力的 Awk 内建变量
    Linux 问答
    Nano和VIM编辑器的区别Bash脚本中Zsh和Bash的区别Ubuntu中APT和DPKG的区别Linux中桌面环境和窗口管理器的区别Owncloud和Nextcloud的区别wget和curl的区别UNIX系统中用户cpu时间和系统cpu时间的区别KornShell 和 BashShell 的区别Linux下Ext4和Btrfs文件系统的区别片上系统SoC 与 单板计算机SBC的区别用户级线程和内核级线程的区别优先级倒置和优先级继承的区别MMU和MPU有什么区别UEFI(统一可扩展固件接口)与BIOS的区别不同类型的RAM(随机存取内存)