Pandas DataFrame插值|极客教程

Pandas DataFrame插值

在本文中，我们将介绍DataFrame中的插值功能。在数据分析和处理中，往往需要处理一些缺失的数值，这时就需要使用插值来估算这些缺失的数值。Pandas在处理DataFrame时，提供了很多的插值方法，比如线性插值，多项式插值等，下文将一一介绍这些插值方法。

阅读更多：Pandas 教程

数据准备

为了演示这些插值方法，我们需要先准备一些数据。这里我们使用Pandas自带的飞行记录数据集，读取数据后，随机删除一部分条目的某些数据，这些删除的数据将作为插值的目标。

import seaborn as sns
import pandas as pd
import numpy as np

flights = sns.load_dataset('flights')
flights = flights.pivot('month', 'year', 'passengers')
flights_missing = flights.copy()

# 随机删除一部分条目的某些数据
for _ in range(30):
    i, j = np.random.randint(0, 12, size=2)
    flights_missing.iloc[i, j] = np.nan

线性插值

线性插值是最常用的一种插值方法，它假设一个连续函数在区间内是线性的。在Pandas中，我们可以使用interpolate()函数进行线性插值。接下来我们对缺失值进行线性插值，并将插值的结果与原始数据进行比较。

flights_linear = flights_missing.interpolate(method='linear')
print(flights_linear.equals(flights))

输出结果为False，说明线性插值后的数据集与原始数据集不相同，也就是说插值成功了。下面我们比较一下插值前后数据的曲线图。

import matplotlib.pyplot as plt

plt.figure(figsize=(12, 6))
plt.subplot(1, 2, 1)
sns.heatmap(flights_missing, cmap='coolwarm')
plt.title('Before Interpolation')

plt.subplot(1, 2, 2)
sns.heatmap(flights_linear, cmap='coolwarm')
plt.title('After Linear Interpolation')
plt.show()

可以看到插值后的曲线已经很好地填补了原来的缺失值。

多项式插值

多项式插值是对多项式函数进行插值的方法。假设我们有 $n+1$ 个数据点 $(x_0,y_0),(x_1,y_1),\cdots,(x_n,y_n)$ ，则可以通过唯一的 $n$ 次多项式

$P_n(x)=a_0+a_1x+a_2x^2+\cdots+a_nx^n$

来拟合这个数据点集。然后再通过这个多项式对这个数据集进行插值。在Pandas中，我们可以使用interpolate()函数的method参数选择多项式插值的方式，如下所示。

flights_poly = flights_missing.interpolate(method='polynomial', order=2)

下面我们同样比较一下关于多项式插值前后的曲线对比图。

plt.figure(figsize=(12, 6))
plt.subplot(1, 2, 1)
sns.heatmap(flights_missing, cmap='coolwarm')
plt.title('Before Interpolation')

plt.subplot(1, 2, 2)
sns.heatmap(flights_poly, cmap='coolwarm')
plt.title('After Polynomial Interpolation')
plt.show()

可以发现多项式插值在插值效果上略好于线性插值。

Spline插值

接下来介绍另外一种插值方法——Spline插值。Spline插值是指用分段多项式函数拼接的方式拟合数据。在Pandas中，我们可以使用interpolate()函数的method参数选择Spline插值的方式，如下所示。

flights_spline = flights_missing.interpolate(method='spline', order=2)

同样进行插值前后的曲线对比图展示。

plt.figure(figsize=(12, 6))
plt.subplot(1, 2, 1)
sns.heatmap(flights_missing, cmap='coolwarm')
plt.title('Before Interpolation')

plt.subplot(1, 2, 2)
sns.heatmap(flights_spline, cmap='coolwarm')
plt.title('After Spline Interpolation')
plt.show()