linux下文本处理工具很丰富很强大,例如这样一个文件: cat log www.lsjlt.com 192.168.1.1www.lsjlt.com 192.168.1.1www.lsjlt.com 19
cat log
www.lsjlt.com 192.168.1.1
www.lsjlt.com 192.168.1.1
www.lsjlt.com 192.168.1.2
ffffffffffffffffff
ffffffffffffffffff
eeeeeeeeeeeeeeeeeeee
fffffffffffffffffff
eeeeeeeeeeeeeeeeeeee
eeeeeeeeeeeeeeeeeeee
gggggggggggggggggggg
1.使用uniq/sort删除重复行
注意:单纯uniq是不行的。
shell> sort -k2n file | uniq > a.out
这里我做了个简单的测试,当file中的重复行不再一起的时候,uniq没法删除所有的重复行。经过排序后,所有相同的行都在相邻,因此unqi可以正常删除重复行。
2.使用用sort+awk命令
注意:单纯awk同样不行,原因同上。
shell> sort -k2n file | awk '{if ($0!=line) print;line=$0}'
也可以使用 awk '!i[$1]++' log;
3.用sort+sed命令,同样需要sort命令先排序。
shell> sort -k2n file | sed '$!N; /^(.*)n1$/!P; D'
--结束END--
本文标题: shell中删除文件中重复行的方法
本文链接: https://www.lsjlt.com/news/17847.html(转载时请注明来源链接)
有问题或投稿请发送至: 邮箱/279061341@qq.com QQ/279061341
下载Word文档到电脑,方便收藏和打印~
2024-05-13
2024-05-13
2024-05-11
2024-05-11
2024-05-10
2024-05-07
2024-04-30
2024-04-30
2024-04-30
2024-04-29
回答
回答
回答
回答
回答
回答
回答
回答
回答
回答
0