Python 过滤重复单词

Python 过滤重复单词

很多时候,我们只需要分析文件中出现的独特单词。因此,我们需要从文本中消除重复的单词。这可以通过使用nltk中提供的单词标记化和集合函数实现。

不保留顺序

在下面的示例中,我们首先将句子分词为单词。然后我们应用set()函数,它创建一个无序的唯一元素集合。结果将是没有顺序的独特单词。

import nltk
word_data = "The Sky is blue also the ocean is blue also Rainbow has a blue colour." 

# First Word tokenization
nltk_tokens = nltk.word_tokenize(word_data)

# Applying Set
no_order = list(set(nltk_tokens))

print no_order

当我们运行上述程序时,我们会得到以下输出 –

['blue', 'Rainbow', 'is', 'Sky', 'colour', 'ocean', 'also', 'a', '.', 'The', 'has', 'the']

保留顺序

为了删除重复单词但仍保持句子中单词的顺序,我们读取单词并将其追加到列表中。

import nltk
word_data = "The Sky is blue also the ocean is blue also Rainbow has a blue colour." 
# First Word tokenization
nltk_tokens = nltk.word_tokenize(word_data)

ordered_tokens = set()
result = []
for word in nltk_tokens:
    if word not in ordered_tokens:
        ordered_tokens.add(word)
        result.append(word)

print result

当我们运行上面的程序时,我们得到以下输出−

['The', 'Sky', 'is', 'blue', 'also', 'the', 'ocean', 'Rainbow', 'has', 'a', 'colour', '.']

Python教程

Java教程

Web教程

数据库教程

图形图像教程

大数据教程

开发工具教程

计算机教程