awk命令取出某一行某一列（awk取第一行第一列）

awk是一个强大的文本分析工具，相对于grep的查找，sed的编辑，awk在对数据分析并生成报告时，显得尤为强大。

简单来说awk就是把文件逐行地读入，以空格为默认分隔符将每行切片，切开的部分再进行各种分析处理。

awk有三个不同的版本：awk、nawk和gawk，未作特别说明，一般指gawk，gawk是awk的GNU版本。

之所以叫awk是因为其取了三位创始人Alfred Aho,Peter Weinberger,和Brian Kernighan的Family Name的首字符。

awk格式：

格式: sed -n '3p' sed.txt 找谁干啥(条件动作) awk格式 39;NR==1{print $1,$3}' /etc/passwd awk 选项 '条件{动作}' /etc/passwd 条件: 哪一行,过滤什么内容 动作: print输出与显示 ,计算....

awk执行流程

awk取行

与sed类似

案例01 取出sed.txt的第2行

[root@oldboy81-golden-lnb /oldboy] awk 'NR==2' sed.txt 102,zhangya,CTO 39;行号 等于 2' sed.txt #NR awk内置变量 Number of Record 记录号(行号)

案例02 取出sed.txt中包含oldboy或lidao的行

[root@oldboy81-golden-lnb /oldboy]39;/oldboy|lidao/p' sed.txt 103,lidao007,COO 110,lidao,COCO [root@oldboy81-golden-lnb /oldboy]39;/oldboy|lidao/' sed.txt 103,lidao007,COO 110,lidao,COCO

案例03 取出文件第2行到第5行内容

39;行号大于等于2 并且 行号小于等于5' sed.txt 39;NR>=2 && NR<=5' sed.txt 方法02 sed -n '2,5p' sed.txt 39;NR==2,NR==5' sed.txt #从行号是2的行开始 到 行号是5的行结束( 了解)

案例04 取出文件第3行到最后一行内容

[root@oldboy81-golden-lnb /oldboy]39;NR >= 3' sed.txt 103,lidao007,COO 104,yy,CFO 105,feixue,CIO 110,lidao,COCO [root@oldboy81-golden-lnb /oldboy]39;3,$p' sed.txt 103,lidao007,COO 104,yy,CFO 105,feixue,CIO 110,lidao,COCO

案例05 取出从包含oldboy的行到lidao的行

[root@oldboy81-golden-lnb /oldboy] sed -n '/old/,/lidao/p' sed.txt 101,oldgirl,CEO 102,zhangya,CTO 103,lidao007,COO [root@oldboy81-golden-lnb /oldboy]39;/old/ , /lidao/' sed.txt 101,oldgirl,CEO 102,zhangya,CTO 103,lidao007,COO

awk取行小结

awk如何找出想要行？条件：

• 指定行号 NR==1
• 指定行号范围 NR>=3 或 NR>=3 && NR<=5
• 过滤: /oldby|lidao/
• 范围过滤: /oldboy/,/lidao/

[root@oldboy81-golden-lnb /oldboy]39;/11:02:00/,/11:02:30/' access.log |wc -l 1415 [root@oldboy81-golden-lnb /oldboy]39;/00/,/30/' access.log |wc -l 166945

awk取列

目标：熟练取出指定的内容或部分(取列)

39;{print $1,$3}' oldboy.txt

案例01 取出ls -lh命令中的第1列和第3列

ll -h | awk '{print $1,$3}'

注意：awk 中 $数字只有一个意思,取列

案例02 取出/etc/passwd每一行内容,加上行号

方法02 awk '{print NR,$0}' /etc/passwd NR 表示行号. $0 表示一整行内容.

案例03 取出/etc/passwd第1列和第3列

awk取列的,默认以空格,连续空格或tab键空格分割. 只需要使用3,$6….即可取出

如果想更改或指定新的,分隔符,需要使用 -F选项

-F指定分隔符,-F指定正则

[root@oldboy81-golden-lnb /oldboy]39;:' '{print $1,$3}' /etc/passwd awk -F':' '{print $1,$3}' /etc/passwd |column -t

案例04 取出ip.txt文件中ip(10.0.0.200)地址

awk中指定多个分隔符,需要使用正则匹配这多个分隔符即可

echo ' inet 10.0.0.200/24 brd 10.0.0.255 scope global ens33' >/oldboy/ip.txt

cat ip.txt inet 10.0.0.200/24 brd 10.0.0.255 scope global ens33 [root@oldboy81-golden-lnb /oldboy]39;{print $2}' ip.txt 10.0.0.200/24 [root@oldboy81-golden-lnb /oldboy]39;{print $2}' ip.txt |awk -F'/' '{print $1}' 10.0.0.200 01) [root@oldboy81-golden-lnb /oldboy]39;inet |/24' '{print $2}' ip.txt 10.0.0.200 cat ip.txt inet 10.0.0.200/24 brd 10.0.0.255 scope global ens33 [root@oldboy81-golden-lnb /oldboy]39;[ /]+' '{print $3}' ip.txt 10.0.0.200 39;[ /]+' 先用正则匹配出连续出现的空格或/. 然后交给awk -F作为分隔符. #方法03 awk+sed .....略 自己书写

案例05 取出/etc/passwd第1列,第3列和最后一列

• $NF 最后一列
• NF Number of Field 每行有多少个字段(域,列) 每行有多少列

39;:' '{print $1,$3,$NF}' /etc/passwd awk -F':' '{print $1,$3,$NF}' /etc/passwd

awk行列综合(awk过滤进阶)

精确过滤必备

• awk可以完成,某一列中包含/不包含内容..
• $3 ~ // 匹配或包含
• $3 !~ // 不匹配或不包含

格式: awk -F: '第3列 包含 以1或2开头的内容' passwd 39;$3 ~ /^/' passwd

案例01 过滤出passwd中第3列以0到3结尾的,显示第1列和第3列内容

条件: 第3列以0到3结尾 (取行) 动作: 显示第1列和第3列 (取列) 39;$3~/[0-3]$/' passwd awk -F: '$3~/[0-3]$/' passwd |awk -F: '{print $1,$3}' 39;NR==1{print $1,$3}' /etc/passwd awk 选项 '条件{动作}' /etc/passwd awk -F: '$3~/[0-3]$/ {print $1,$3} ' passwd 条件 {动作}

案例02 过滤passwd中第3列大于0小于1000内容,显示第1列和第3列

动作(取列): 显示第1列和第3列 39;$3>0 && $3<1000' passwd 39;$3>0 && $3<1000{print $1,$3}' passwd awk -F: '$3>0 && $3<1000{print $1,$3}' passwd |column -t

案例03 过滤出网卡配置文件中的ip地址

/etc/sysconfig/network-scripts/ifcfg-ens33 (eth0) cat -n /etc/sysconfig/network-scripts/ifcfg-ens33 1 TYPE=Ethernet 2 PROXY_METHOD=none 3 BROWSER_ONLY=no 4 BOOTPROTO=none 5 DEFROUTE=yes 6 IPV4_FAILURE_FATAL=no 7 IPV6INIT=yes 8 IPV6_AUTOCONF=yes 9 IPV6_DEFROUTE=yes 10 IPV6_FAILURE_FATAL=no 11 IPV6_ADDR_GEN_MODE=stable-privacy 12 NAME=ens33 13 UUID=8e987179-762e-466e-aa40-fe38ebb012d0 14 DEVICE=ens33 15 ONBOOT=yes 16 IPADDR=10.0.0.200 17 PREFIX=24 18 GATEWAY=10.0.0.2 19 DNS1=223.5.5.5 20 IPV6_PRIVACY=no 动作: 显示第2列(以=分割) awk awk -F= 'NR==16' /etc/sysconfig/network-scripts/ifcfg-ens33 IPADDR=10.0.0.200 [root@oldboy81-golden-lnb /oldboy]39;NR==16 {print $2}' /etc/sysconfig/network-scripts/ifcfg-ens33 10.0.0.200 39;/IPADDR/ {print $2}' /etc/sysconfig/network-scripts/ifcfg-ens33 sed sed -n '16p' /etc/sysconfig/network-scripts/ifcfg-ens33 IPADDR=10.0.0.200 [root@oldboy81-golden-lnb /oldboy]39;16p' /etc/sysconfig/network-scripts/ifcfg-ens33|sed 's39; 10.0.0.200 [root@oldboy81-golden-lnb /oldboy]39;16 s39; /etc/sysconfig/network-scripts/ifcfg-ens33 10.0.0.200 [root@oldboy81-golden-lnb /oldboy] ip a s ens33 2: ens33: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc pfifo_fast state UP group default qlen 1000 link/ether 00:0c:29:e8:3a:6f brd ff:ff:ff:ff:ff:ff inet 10.0.0.200/24 brd 10.0.0.255 scope global ens33 valid_lft forever preferred_lft forever inet6 fe80::20c:29ff:fee8:3a6f/64 scope link valid_lft forever preferred_lft forever [root@oldboy81-golden-lnb /oldboy]39;3p' inet 10.0.0.200/24 brd 10.0.0.255 scope global ens33 [root@oldboy81-golden-lnb /oldboy]39;3p' |sed -r 's\139; 10.0.0.200 [root@oldboy81-golden-lnb /oldboy] ip a s ens33 |sed -nr '3 s\139; 10.0.0.200 39;/IPADDR/ s39; /etc/sysconfig/network-scripts/ifcfg-ens33

awk统计计算功能

BEGIN{}和END{}

• awk中的特殊的条件(模式),pattern
• 这两个特殊的条件,都与计算相关,最常用的是END{}

BEGIN{}

awk 'BEGIN{ print 1/3}' 0.333333 [root@oldboy81-golden-lnb /oldboy]39;BEGIN{ print 1/3,1-3,1+3,3*3}' 0.333333 -2 4 9 [root@oldboy81-golden-lnb /oldboy]39;BEGIN{ print 1/3,1-3,1+3,3*3,2^10}' 0.333333 -2 4 9 1024 39;NR==1{print $1}' passwd awk 'BEGIN{FS=":"} NR==1{print $1}' passwd

END{}

案例01 统计/etc/passwd的行数

wc -l /etc/passwd 动作: i++ 39;{i++}' /etc/passwd 39;{i++} END{print i}' /etc/passwd 详解 i++ i=i+1 === i++ 39;{i++} END{print i}' num.txt 之前的i内容 i=i+1 之后i的内容 读1行 空/0 i=0+1 1 第2行 1 i=1+1 2 第3行 2 i=2+1 3 第4列 3 i=3+1 4 .......

案例02 统计/etc/passwd中可登录用户数量

可登录的用户: 命令解释器是/bin/bash 动作: c++ 输出最后次数/数量. END{print c} 39; {i++} END{print i}' /etc/passwd awk '/bash$/ {c++} END{print c}' /etc/passwd 39;/bash$/ {c++;print c} ' passwd

案例03 统计/etc/services文件中空行的数量

动作: j++ 输出最后次数/数量. [root@oldboy81-golden-lnb /oldboy]awk '/^$/' /etc/services [root@oldboy81-golden-lnb /oldboy] awk '/^$/{j++} ' /etc/services [root@oldboy81-golden-lnb /oldboy] awk '/^$/{j++} END{print j}' /etc/services 17

案例04 生产工作案例 统计access.log中一共用了多少流量

文件中记录着用户每天流量.求和,累加. cat > liu.log<<EOF 1 5 0.5 10 100 200 300 EOF i=i+1 == i++ sum=sum+$1或$0 之前的sum内容 sum=sum+$1 之后sum的内容 第1行 0 sum=0+1 1 第2行 1 sum=1+5 6 第3行 6 sum=6+0.5 6.5 第4行 6.5 sum=6.5 + 10 16.5 sum=sum+$xxx cat liu.log 1 5 0.5 10 100 200 300 [root@oldboy81-golden-lnb /oldboy]39;{sum=sum+$1} END{print sum}' liu.log 616.5

条件: 无 最后输出: END{print sum} [root@oldboy81-golden-lnb /oldboy]39;{sum=sum+$10} END{print sum}' access.log 2478496663 [root@oldboy81-golden-lnb /oldboy] awk '{sum=sum+$10} END{print sum/1024}' access.log 2.42041e+06 [root@oldboy81-golden-lnb /oldboy]39;{sum=sum+$10} END{print sum/1024/1024}' access.log 2363.68 [root@oldboy81-golden-lnb /oldboy]39;{sum=sum+$10} END{print sum/1024/1024/1024}' access.log 2.30828 [root@oldboy81-golden-lnb /oldboy]39;{sum=sum+$10} END{print sum/1024^3}' access.log 2.30828 [root@oldboy81-golden-lnb /oldboy]39;{sum=sum+$10} END{print sum/1024^3"GB"}' access.log 2.30828GB

awk常见环境变量