当前位置：极客教程 > Python > Python 问答 > Python 使用python解析nginx日志

Python 使用python解析nginx日志

Python 使用python解析nginx日志

Python 使用python解析nginx日志

1. 引言

nginx是一款高性能的开源HTTP和反向代理服务器，被广泛用于互联网应用的部署和负载均衡。为了监控和分析nginx服务器的访问情况，我们通常需要对nginx日志进行解析和处理。本文将介绍如何使用Python解析nginx日志文件，并对日志数据进行分析和统计。

2. 日志格式

nginx的日志格式可以通过配置文件进行自定义，常见的格式包括”combined”、”common”等。在解析nginx日志之前，我们需要了解日志文件的格式，以便正确读取和解析日志数据。

以”combined”格式为例，其包括以下字段：

$remote_addr - $remote_user [$time_local] "$request" $status $body_bytes_sent "$http_referer" "$http_user_agent"

其中，各字段的含义如下：

  • $remote_addr：客户端的IP地址
  • $remote_user：客户端的用户名
  • $time_local：请求的时间和时区
  • $request：请求的URL和HTTP协议
  • $status：HTTP响应码
  • $body_bytes_sent：响应的字节数
  • $http_referer：请求的来源URL
  • $http_user_agent：客户端的用户代理信息

3. 解析nginx日志

使用Python解析nginx日志通常有两种方式：正则表达式和第三方库。下面将分别介绍这两种方法。

3.1 使用正则表达式

使用正则表达式解析nginx日志需要熟悉正则表达式的语法，但实现起来相对简单。下面是使用正则表达式解析nginx日志的示例代码：

import re

log_pattern = '^(?P<remote_addr>\S+) - (?P<remote_user>\S+) \[(?P<time_local>.+)\] "(?P<request>.+)" (?P<status>\d+) (?P<body_bytes_sent>\d+) "(?P<http_referer>.+)" "(?P<http_user_agent>.+)"$'

def parse_log(log_line):
    match = re.match(log_pattern, log_line)
    if match:
        return match.groupdict()
    else:
        return None

# 测试代码
log_line = '127.0.0.1 - - [10/Oct/2021:10:00:00 +0800] "GET /index.html HTTP/1.1" 200 12345 "-" "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.3'
log_data = parse_log(log_line)
print(log_data)
Python

运行结果：

{'remote_addr': '127.0.0.1', 'remote_user': '-', 'time_local': '10/Oct/2021:10:00:00 +0800', 'request': 'GET /index.html HTTP/1.1', 'status': '200', 'body_bytes_sent': '12345', 'http_referer': '-', 'http_user_agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.3'}

3.2 使用第三方库

除了正则表达式，我们还可以使用第三方库来解析nginx日志。目前比较常用的库是pygrok和ua-parser。

3.2.1 pygrok

pygrok是一款基于正则表达式的日志解析库，可以用来解析各种格式的日志。下面是使用pygrok解析nginx日志的示例代码：

import pygrok

log_pattern = '%{IP:remote_addr} - %{DATA:remote_user} \[%{HTTPDATE:time_local}\] "%{WORD:request}" %{INT:status} %{INT:body_bytes_sent} "%{DATA:http_referer}" "%{DATA:http_user_agent}"'

def parse_log(log_line):
    return pygrok.grok_match(log_pattern, log_line)

# 测试代码
log_line = '127.0.0.1 - - [10/Oct/2021:10:00:00 +0800] "GET /index.html HTTP/1.1" 200 12345 "-" "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.3'
log_data = parse_log(log_line)
print(log_data)
Python

运行结果：

{'remote_addr': '127.0.0.1', 'remote_user': '-', 'time_local': '10/Oct/2021:10:00:00 +0800', 'request': 'GET /index.html HTTP/1.1', 'status': '200', 'body_bytes_sent': '12345', 'http_referer': '-', 'http_user_agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.3'}

3.2.2 ua-parser

ua-parser是一款用于解析用户代理（User-Agent）字符串的库，可以从用户代理中提取出操作系统、浏览器和设备等信息。下面是使用ua-parser解析用户代理的示例代码：

from ua_parser import user_agent_parser

user_agent = 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.3'

parsed_user_agent = user_agent_parser.Parse(user_agent)
print(parsed_user_agent)
Python

运行结果：

{
  'user_agent': {'family': 'Chrome', 'major': '58', 'minor': '0', 'patch': '3029'},
  'os': {'family': 'Windows', 'major': '10', 'minor': '0', 'patch': ''},
  'device': {'family': 'Other', 'brand': '', 'model': ''}
}
Python

4. 日志分析与统计

解析nginx日志之后，我们可以对日志数据进行分析和统计，以获取有用的信息。

4.1 统计IP访问量

我们可以统计每个IP地址的访问量，以便了解哪些IP地址访问量较大。下面是统计IP访问量的示例代码：

from collections import Counter

# 假设已经解析得到了多条日志数据，存储在log_data_list中

def count_ip_access(log_data_list):
    ip_list = [log['remote_addr'] for log in log_data_list]
    ip_count = Counter(ip_list)
    return ip_count.most_common()

# 测试代码
log_data_list = [
    {'remote_addr': '127.0.0.1', 'remote_user': '-', 'time_local': '10/Oct/2021:10:00:00 +0800', 'request': 'GET /index.html HTTP/1.1', 'status': '200', 'body_bytes_sent': '12345', 'http_referer': '-', 'http_user_agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.3'},
    {'remote_addr': '127.0.0.1', 'remote_user': '-', 'time_local': '10/Oct/2021:10:01:00 +0800', 'request': 'GET /about.html HTTP/1.1', 'status': '200', 'body_bytes_sent': '54321', 'http_referer': '-', 'http_user_agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.3'},
    {'remote_addr': '192.168.0.1', 'remote_user': '-', 'time_local': '10/Oct/2021:10:00:00 +0800', 'request': 'GET /index.html HTTP/1.1', 'status': '200', 'body_bytes_sent': '98765', 'http_referer': '-', 'http_user_agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.3'},
    {'remote_addr': '192.168.0.1', 'remote_user': '-', 'time_local': '10/Oct/2021:10:02:00 +0800', 'request': 'GET /contact.html HTTP/1.1', 'status': '200', 'body_bytes_sent': '43210', 'http_referer': '-', 'http_user_agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.3'}
]

ip_count = count_ip_access(log_data_list)
print(ip_count)
Python

运行结果：

[('127.0.0.1', 2), ('192.168.0.1', 2)]
Python

4.2 统计请求状态码

我们可以统计各个HTTP响应码的出现次数，以便了解服务器的响应情况。下面是统计请求状态码的示例代码：

def count_status_code(log_data_list):
    status_list = [log['status'] for log in log_data_list]
    status_count = Counter(status_list)
    return status_count.most_common()

# 测试代码
status_count = count_status_code(log_data_list)
print(status_count)
Python

运行结果：

[('200', 4)]
Python

4.3 统计访问URL

我们可以统计各个URL的访问次数，以便了解访问量较高的URL。下面是统计访问URL的示例代码：

def count_url_access(log_data_list):
    url_list = [log['request'] for log in log_data_list]
    url_count = Counter(url_list)
    return url_count.most_common()

# 测试代码
url_count = count_url_access(log_data_list)
print(url_count)
Python

运行结果：

[('GET /index.html HTTP/1.1', 2), ('GET /about.html HTTP/1.1', 1), ('GET /contact.html HTTP/1.1', 1)]
Python

5. 总结

本文介绍了使用Python解析nginx日志的方法，并对解析后的日志数据进行了分析和统计。通过解析nginx日志，我们可以获取有关访问量、状态码和访问URL等信息。这些信息对于监控和优化nginx服务器的性能至关重要。

Python教程

Python 教程

Python 教程
Tkinter 教程

Tkinter 教程
Pandas 教程

Pandas 教程
NumPy 教程

NumPy 教程
Flask 教程

Flask 教程
Django 教程

Django 教程
PySpark 教程

PySpark 教程
wxPython 教程

wxPython 教程
SymPy 教程

SymPy 教程
Seaborn 教程

Seaborn 教程
SciPy 教程

SciPy 教程
RxPY 教程

RxPY 教程
Pycharm 教程

Pycharm 教程
Pygame 教程

Pygame 教程
PyGTK 教程

PyGTK 教程
PyQt 教程

PyQt 教程
PyQt5 教程

PyQt5 教程
PyTorch 教程

PyTorch 教程
Matplotlib 教程

Matplotlib 教程
Web2py 教程

Web2py 教程
BeautifulSoup 教程

BeautifulSoup 教程

Java教程

Java 教程

Java 教程

Web教程

HTML 教程

HTML 教程
CSS 教程

CSS 教程
CSS3 教程

CSS3 教程
jQuery 教程

jQuery 教程
Ajax 教程

Ajax 教程
AngularJS 教程

AngularJS 教程
TypeScript 教程

TypeScript 教程
WordPress 教程

WordPress 教程
Laravel 教程

Laravel 教程
Next.js 教程

Next.js 教程
PhantomJS 教程

PhantomJS 教程
Three.js 教程

Three.js 教程
Underscore.JS 教程

Underscore.JS 教程
WebGL 教程

WebGL 教程
WebRTC 教程

WebRTC 教程
VueJS 教程

VueJS 教程

数据库教程

SQL 教程

SQL 教程
MySQL 教程

MySQL 教程
MongoDB 教程

MongoDB 教程
PostgreSQL 教程

PostgreSQL 教程
SQLite 教程

SQLite 教程
Redis 教程

Redis 教程
MariaDB 教程

MariaDB 教程

图形图像教程

Vulkan 教程

Vulkan 教程
OpenCV 教程

OpenCV 教程

大数据教程

R语言 教程

R语言 教程

开发工具教程

Git 教程

Git 教程
VSCode 教程

VSCode 教程
Docker 教程

Docker 教程
Gerrit 教程

Gerrit 教程
Excel 教程

Excel 教程

计算机教程

Go语言 教程

Go语言 教程
C++ 教程

C++ 教程

Python 精品教程

登录

找回密码？

注册