linux去掉重复行的方法有哪些

在linux中，可以使用以下方法去掉重复行：
1. 使用`sort`命令和`uniq`命令组合，`sort`命令可以对文件进行排序，`uniq`命令可以去掉重复行。示例命令如下：
```
sort file.txt | uniq > newfile.txt
```
2. 使用`awk`命令，`awk`命令是一种文本处理工具，可以用来去掉重复行。示例命令如下：
```
awk '!seen[$0]++' file.txt > newfile.txt
```
3. 使用`sed`命令，`sed`命令是一种流编辑器，可以用来去掉重复行。示例命令如下：
```
sed '$!N; /^\(.*\)\n\1$/!P; D' file.txt > newfile.txt
```
4. 使用`comm`命令，`comm`命令用于比较两个已排序的文件，并找出相同行、不同行和仅存在于一个文件中的行。示例命令如下：
```
comm -12 <(sort file.txt) <(sort file.txt) > newfile.txt
```
以上是一些常用的方法，可以根据具体情况选择适合的方法。