Python文本处理 简介

文本处理直接应用于自然语言处理（Natural Language Processing，简称NLP）。NLP旨在处理人类之间的语言交流，无论是口头交流还是书面交流。这与计算机与人类之间的交流不同，计算机与人类之间的交流要么是通过人类编写的计算机程序，要么是通过人类的一些手势，如在某个位置点击鼠标。NLP试图理解人类所说的自然语言，并对其进行分类、分析以及必要时作出响应。Python拥有丰富的库，满足NLP的需求。自然语言工具包（Natural Language Tool Kit，简称NLTK）就是提供NLP所需功能的一套库。

以下是一些使用NLP和间接使用Python的NLTK的应用程序。

摘要

很多时候，我们需要获取新闻文章、电影情节或大篇幅故事的摘要。它们都是用人类语言书写的，如果没有NLP，我们必须依赖另一个人对此类摘要的解释和呈现。但是通过NLP的帮助，我们可以编写程序使用NLTK根据各种参数进行长文本摘要，比如我们在最终输出中希望有多少文本的百分比，选择用于摘要的积极和消极词汇等。在线新闻订阅依赖于这种摘要技术来呈现新闻见解。

基于语音的工具

基于语音的工具如苹果的Siri或亚马逊的Alexa依赖于NLP来理解与人类的交互。它们拥有大量的训练数据集，用于解释来自人类的问题或命令并进行处理。虽然涉及到语音，但间接地也会被转换为文本，产生的文本通过NLP系统处理得到结果。

信息提取

Web页面抓取是使用Python代码从Web页面中提取数据的常见示例。虽然它可能不是严格基于NLP的，但它涉及到文本处理。例如，如果我们只需提取html页面中存在的标题，则可以搜索页面结构中的h1标签，并找到一种提取仅在这些标签之间的文本的方法。这需要Python的文本处理程序。

垃圾邮件过滤

通过分析主题行和邮箱内容中的文本，可以识别并消除垃圾邮件。由于垃圾邮件通常大量发送给许多收件人，即使它们的主题和内容有少许变化，也可以匹配和标记为垃圾邮件。这再次需要使用NLTK库。

语言翻译

计算机化的语言翻译严重依赖于NLP。随着越来越多的语言在在线平台上使用，将一个人类语言自动翻译成另一种语言变得必要。这将涉及到处理涉及到的语言的词汇、语法和上下文标记的编程。同样地，NLTK被用来处理这样的需求。

情感分析

为了找出对一部电影的表现整体反应，我们可能需要阅读成千上万个观众的反馈帖子。但是这也可以通过使用积极和消极反馈的分类以及语句分析来自动化。然后通过测量积极和消极评论的频率来找出观众的整体情感。这显然需要分析观众写的人类语言，NLTK在这里大量使用用于处理文本。