Linux 查询重复行

Linux 查询重复行

在日常的工作和学习中，我们经常会遇到需要查询和处理文件中的重复行的情况。Linux作为一个强大的操作系统，提供了丰富的命令行工具和技巧来解决这个问题。本文将详细介绍在Linux下如何查询重复行，并给出相应的示例代码和运行结果。

1. sort命令

在开始讨论如何查询重复行之前，首先需要了解一个重要的命令——sort。sort命令用于对文件的行进行排序，默认情况下按照字典序进行排序。为了查询重复行，我们可以先对文件进行排序，然后再查找相邻重复的行。

使用sort命令的基本语法如下：

sort [选项] 文件名

常见的一些选项包括：

• -r 反向排序，从大到小
• -n 数字排序
• -u 去重，只保留唯一的行

2. 查询重复行

有了sort命令的基础，接下来我们可以利用sort命令来查询重复行了。需要注意的是，为了方便演示，我们先创建一个包含重复行的文件，然后再进行查询。

首先，使用文本编辑器创建一个名为example.txt的文件，并在其中输入以下内容：

apple
orange
banana
banana
pear
orange

保存文件后，使用sort命令对文件进行排序，并配合uniq命令来查找重复的行：

sort example.txt | uniq -d

运行以上命令后，我们可以看到输出为：

banana
orange

这就是文件中的重复行。其中，uniq -d表示只输出重复行，即duplicate的意思。如果想要输出所有行，并对重复行进行标记，可以使用uniq -D命令：

sort example.txt | uniq -D

运行结果如下：

apple
banana
banana
orange
orange
pear

可以看到重复的行被标记了出来。

3. 只显示重复行的次数

除了查询重复行，有时候我们还想知道每个重复行出现的次数。针对这个需求，我们可以使用uniq -c命令来实现。这个命令会在每个重复行前面显示它出现的次数。

继续使用之前的示例，运行以下命令：

sort example.txt | uniq -c

运行结果如下：

   2 banana
   2 orange
   1 apple
   1 pear

可以看到，每个重复行前面都显示了它的出现次数。

4. 查询重复行并输出行号

有时候，不仅要查询重复行的内容，还需要知道它们在文件的位置。这时，我们可以使用grep命令配合nl命令来实现。

继续使用之前创建的example.txt文件，运行以下命令：

sort example.txt | uniq -d | grep -n "$(uniq -d example.txt)" | nl

运行结果如下：

     1   2  banana
     2   3  orange

可以看到，重复行的行号和内容都被列出来了。其中，grep -n命令会输出匹配行的行号，而nl命令则用来对输出进行行号标记。

5. 查询重复行并删除重复项

在某些情况下，我们希望查询到重复行后，将它们从文件中删除。这可以通过将删除命令与查询命令结合来实现。

继续使用之前的example.txt文件，运行以下命令：

sort example.txt | uniq -d | xargs -I {} sed -i '/{}/d' example.txt

运行以上命令后，文件example.txt中的重复行将被删除。

6. 总结

通过本文的介绍，我们学习了如何在Linux下查询重复行。我们提到了sort命令的使用，以及结合uniq、grep、nl等命令来实现查询、统计和删除重复行的方法。掌握了这些方法，我们可以更加高效地处理和整理文件中的重复行，提高工作和学习的效率。