本篇文章给大家分享的是有关shell中怎么删除文件的重复行,小编觉得挺实用的,因此分享给大家学习,希望大家阅读完这篇文章后可以有所收获,话不多说,跟着小编一起来看看吧。代码如下:cat log www.yisu.com 192.168.1.
本篇文章给大家分享的是有关shell中怎么删除文件的重复行,小编觉得挺实用的,因此分享给大家学习,希望大家阅读完这篇文章后可以有所收获,话不多说,跟着小编一起来看看吧。
代码如下:
cat log
www.yisu.com 192.168.1.1
www.yisu.com 192.168.1.1
www.yisu.com 192.168.1.2
ffffffffffffffffff
ffffffffffffffffff
eeeeeeeeeeeeeeeeeeee
fffffffffffffffffff
eeeeeeeeeeeeeeeeeeee
eeeeeeeeeeeeeeeeeeee
gggggggggggggggggggg
可用以下方法去除重复行:
1.使用uniq/sort删除重复行
注意:单纯uniq是不行的。
代码如下:
shell> sort -k2n file | uniq > a.out
这里我做了个简单的测试,当file中的重复行不再一起的时候,uniq没法删除所有的重复行。经过排序后,所有相同的行都在相邻,因此unqi可以正常删除重复行。
2.使用用sort+awk命令
注意:单纯awk同样不行,原因同上。
代码如下:
shell> sort -k2n file | awk '{if ($0!=line) print;line=$0}'
也可以使用 awk '!i[$1]++' log;
3.用sort+sed命令,同样需要sort命令先排序。
代码如下:
shell> sort -k2n file | sed '$!N; /^\(.*\)\n\1$/!P; D'
以上就是shell中怎么删除文件的重复行,小编相信有部分知识点可能是我们日常工作会见到或用到的。希望你能通过这篇文章学到更多知识。更多详情敬请关注编程网精选频道。
--结束END--
本文标题: shell中怎么删除文件的重复行
本文链接: https://www.lsjlt.com/news/257528.html(转载时请注明来源链接)
有问题或投稿请发送至: 邮箱/279061341@qq.com QQ/279061341
下载Word文档到电脑,方便收藏和打印~
2024-05-11
2024-05-11
2024-05-11
2024-05-11
2024-05-11
2024-05-11
2024-05-11
2024-05-11
2024-05-11
2024-05-11
回答
回答
回答
回答
回答
回答
回答
回答
回答
回答
0