Python Logging详解

1. Python日志简介

在软件开发中，日志是一种记录程序运行状态和错误的重要方式。通过使用日志，我们可以方便地追踪和调试代码，查找问题的根源。

Python中的标准库logging模块提供了强大的日志记录功能。它可以以不同的级别记录日志消息，并且还可以将日志消息输出到不同的目标，如控制台、文件、网络等。

本文将详细介绍如何使用Python的logging模块来记录日志，并介绍一些常见的用法和技巧。

2. logging模块的基本用法

2.1 日志级别

logging模块有多个日志级别可供选择，每个级别有不同的重要性和意义。下面是几个常用的日志级别：

DEBUG：最详细的日志级别，通常用于调试和开发阶段。
INFO：提供程序运行的一些重要信息，例如启动时的配置信息。
WARNING：警告级别，表示可能的错误或异常情况。
ERROR：错误级别，表示发生了错误但不会影响程序的正常运行。
CRITICAL：严重错误级别，表示发生了严重的错误，可能导致程序崩溃。

2.2 创建和配置Logger

要使用logging模块记录日志，首先需要创建一个Logger对象。每个Logger对象代表一个独立的日志记录器，可以通过给其设置不同的名称来区分不同的日志记录器，从而更好地组织和管理日志。

下面是创建Logger对象的简单示例：

import logging

logger = logging.getLogger('my_logger')

在上面的示例中，我们创建了一个名为my_logger的Logger对象。

2.3 设置日志输出格式

为了更直观地查看日志消息，可以通过设置日志的输出格式来定义日志消息的显示方式。logging模块提供了丰富的日志格式选项，可以满足不同需求。

下面是一个设置日志输出格式的示例：

import logging

logger = logging.getLogger('my_logger')

formatter = logging.Formatter('%(asctime)s - %(name)s - %(levelname)s - %(message)s')

在上面的示例中，'%(asctime)s'表示日志的输出时间，'%(name)s'表示日志记录器的名称，'%(levelname)s'表示日志级别，'%(message)s'表示日志消息本身。

2.4 设置日志输出目标

logging模块可以将日志消息输出到不同的目标，例如控制台、文件、网络等。通过设置日志的处理器（Handler），可以将日志消息发送到指定的目标。

下面是将日志消息输出到控制台和文件的示例：

import logging

logger = logging.getLogger('my_logger')

console_handler = logging.StreamHandler()  # 创建控制台处理器
file_handler = logging.FileHandler('log.txt')  # 创建文件处理器

logger.addHandler(console_handler)
logger.addHandler(file_handler)

在上面的示例中，我们通过创建StreamHandler和FileHandler两种处理器，并将它们添加到Logger对象中，从而实现将日志消息输出到控制台和文件。

2.5 记录日志消息

当需要记录日志消息时，可以使用Logger对象的不同方法，根据消息的重要性选择合适的日志级别。

下面是记录不同日志级别消息的示例：

import logging

logger = logging.getLogger('my_logger')

logger.debug('This is a debug message')
logger.info('This is an info message')
logger.warning('This is a warning message')
logger.error('This is an error message')
logger.critical('This is a critical message')

在上面的示例中，我们分别使用debug、info、warning、error和critical方法记录了不同级别的日志消息。

2.6 完整示例

import logging

logger = logging.getLogger('my_logger')
logger.setLevel(logging.DEBUG)

formatter = logging.Formatter('%(asctime)s - %(name)s - %(levelname)s - %(message)s')

console_handler = logging.StreamHandler()
console_handler.setFormatter(formatter)

file_handler = logging.FileHandler('log.txt')
file_handler.setFormatter(formatter)

logger.addHandler(console_handler)
logger.addHandler(file_handler)

logger.debug('This is a debug message')
logger.info('This is an info message')
logger.warning('This is a warning message')
logger.error('This is an error message')
logger.critical('This is a critical message')

在上面的示例中，我们创建了一个Logger对象，设置了日志级别为DEBUG，并添加了控制台和文件处理器。然后，使用不同级别的方法记录了多条日志消息。

运行上面的代码会在控制台输出以下内容：

2022-01-01 10:00:00,000 - my_logger - DEBUG - This is a debug message
2022-01-01 10:00:01,000 - my_logger - INFO - This is an info message
2022-01-01 10:00:02,000 - my_logger - WARNING - This is a warning message
2022-01-01 10:00:03,000 - my_logger - ERROR - This is an error message
2022-01-01 10:00:04,000 - my_logger - CRITICAL - This is a critical message

同时，会在当前目录下生成一个名为log.txt的日志文件，其内容与控制台输出的内容相同。

3. logging模块的高级用法

3.1 日志消息的详细信息

除了基本的日志消息外，logging模块还支持记录其他详细信息，如执行代码的文件名、行号和函数名等。

下面是一个使用logger.findCaller()方法获取详细信息的示例：

import logging

logger = logging.getLogger('my_logger')
logger.setLevel(logging.DEBUG)

# ...

filename, lineno, funcname = logger.findCaller()

logger.debug(f'Executing code in file {filename}, line {lineno}, function {funcname}')

在上面的示例中，我们使用logger.findCaller()方法获取当前执行代码的详细信息，并使用debug方法记录下来。

3.2 日志消息的过滤和处理

logging模块可以根据日志消息的级别、来源等条件来过滤消息。对于符合条件的消息，可以通过自定义处理器进行特殊处理。

下面是一个使用过滤器和处理器的示例：

import logging

class CustomFilter(logging.Filter):
    def filter(self, record):
        return record.levelno >= logging.WARNING

class CustomHandler(logging.Handler):
    def emit(self, record):
        # 处理日志消息的方式
        print('Custom handling:', record.msg)

logger = logging.getLogger('my_logger')
logger.setLevel(logging.DEBUG)

formatter = logging.Formatter('%(asctime)s - %(name)s - %(levelname)s - %(message)s')

console_handler = logging.StreamHandler()
console_handler.setFormatter(formatter)

custom_handler = CustomHandler()
custom_handler.setFormatter(formatter)

custom_filter = CustomFilter()

logger.addHandler(console_handler)
logger.addHandler(custom_handler)
logger.addFilter(custom_filter)

logger.debug('This is a debug message')
logger.info('This is an info message')
logger.warning('This is a warning message')
logger.error('This is an error message')
logger.critical('This is a critical message')

在上面的示例中，我们定义了一个自定义的过滤器CustomFilter和处理器CustomHandler。过滤器根据日志消息的级别，只允许级别大于等于WARNING的消息通过。处理器则对这些消息进行特殊的处理方式，这里只是简单地打印出消息。

运行上面的代码会在控制台输出以下内容：

This is a warning message
This is an error message
This is a critical message
Custom handling: This is a warning message
Custom handling: This is an error message
Custom handling: This is a critical message

从输出可以看出，只有级别大于等于WARNING的消息通过了过滤器，并被处理器特殊处理。

3.3 使用配置文件进行日志配置

除了在代码中直接配置日志记录器，logging模块还支持通过配置文件进行日志配置。这种方式更加灵活，可以根据不同的需求进行日志的配置。

下面是一个简单的配置文件示例：

[loggers]
keys=root

[handlers]
keys=consoleHandler

[formatters]
keys=sampleFormatter

[logger_root]
level=DEBUG
handlers=consoleHandler

[handler_consoleHandler]
class=StreamHandler
level=DEBUG
formatter=sampleFormatter
args=(sys.stdout,)

[formatter_sampleFormatter]
format=%(asctime)s - %(name)s - %(levelname)s - %(message)s
datefmt=

在上面的配置文件中，定义了一个名为root的日志记录器，使用了DEBUG级别和consoleHandler处理器。同时，定义了sampleFormatter格式化器用于格式化日志消息。

要使用配置文件进行日志配置，可以使用fileConfig函数，如下所示：

import logging.config

logging.config.fileConfig('logging.conf')

logger = logging.getLogger()
logger.debug('This is a debug message')
logger.info('This is an info message')

在上面的示例中，通过fileConfig函数加载了名为logging.conf的配置文件，然后获取默认的日志记录器，并使用debug和info方法记录了日志消息。

3.4 使用第三方库进行日志配置

除了Python内置的logging模块，还有一些第三方库可以更方便地进行日志配置和管理，例如loguru、structlog等。

下面是使用loguru库进行日志配置的示例：

from loguru import logger

logger.add('file_{time}.log', level='DEBUG')

logger.debug('This is a debug message')
logger.info('This is an info message')
logger.warning('This is a warning message')
logger.error('This is an error message')
logger.critical('This is a critical message')

在上面的示例中，我们使用logger.add方法添加了一个输出文件，并设置了日志级别为DEBUG。然后，使用不同级别的方法记录了日志消息。

loguru库提供了更简洁、灵活的日志记录方式，并且具有强大的功能，如自动旋转日志文件、异常追踪等。