Pandas中两个序列之间的相关性分析|极客教程

Pandas中两个序列之间的相关性分析

参考：pandas correlation between two series

在数据分析中，了解不同数据序列之间的关系是非常重要的。Pandas库提供了一系列方法来计算和分析序列（Series）之间的相关性。相关性分析可以帮助我们理解一个变量的变化如何影响另一个变量。本文将详细介绍如何使用Pandas来计算两个序列之间的相关性，包括相关系数的计算方法和相关性的类型。

1. 相关性基础

在统计学中，相关系数用于量化两个变量之间的线性关系的强度和方向。Pandas中主要使用Pearson、Spearman和Kendall三种相关系数。

Pearson相关系数：衡量两个数据集合在一条直线上的程度，其值介于-1和1之间。
Spearman秩相关系数：基于等级（而非实际值）的相关性度量，适用于非线性关系的评估。
Kendall秩相关系数：也是一种基于等级的相关性度量，通常用于小样本数据。

2. 使用Pandas计算相关性

在Pandas中，可以使用corr()函数来计算两个序列之间的相关性。下面我们将通过一系列示例来展示如何计算和分析两个序列之间的相关性。

示例代码

示例 1: 计算Pearson相关系数

import pandas as pd

# 创建两个序列
series1 = pd.Series([1, 2, 3, 4, 5], name="pandasdataframe.com_series1")
series2 = pd.Series([5, 4, 3, 2, 1], name="pandasdataframe.com_series2")

# 计算Pearson相关系数
pearson_corr = series1.corr(series2, method='pearson')
print(pearson_corr)

Output:

Pandas中两个序列之间的相关性分析

示例 2: 计算Spearman秩相关系数

import pandas as pd

# 创建两个序列
series1 = pd.Series([1, 2, 3, 4, 5], name="pandasdataframe.com_series1")
series2 = pd.Series([5, 4, 3, 2, 1], name="pandasdataframe.com_series2")

# 计算Spearman秩相关系数
spearman_corr = series1.corr(series2, method='spearman')
print(spearman_corr)

Output:

Pandas中两个序列之间的相关性分析

示例 3: 计算Kendall秩相关系数

import pandas as pd

# 创建两个序列
series1 = pd.Series([1, 2, 3, 4, 5], name="pandasdataframe.com_series1")
series2 = pd.Series([5, 4, 3, 2, 1], name="pandasdataframe.com_series2")

# 计算Kendall秩相关系数
kendall_corr = series1.corr(series2, method='kendall')
print(kendall_corr)

Output:

Pandas中两个序列之间的相关性分析

示例 4: 使用DataFrame计算相关性

import pandas as pd

# 创建DataFrame
data = {
    "pandasdataframe.com_series1": [1, 2, 3, 4, 5],
    "pandasdataframe.com_series2": [5, 4, 3, 2, 1]
}
df = pd.DataFrame(data)

# 计算相关系数矩阵
corr_matrix = df.corr(method='pearson')
print(corr_matrix)

Output:

Pandas中两个序列之间的相关性分析

示例 5: 处理缺失数据并计算相关性

import pandas as pd

# 创建带有缺失值的序列
series1 = pd.Series([1, 2, None, 4, 5], name="pandasdataframe.com_series1")
series2 = pd.Series([5, None, 3, 2, 1], name="pandasdataframe.com_series2")

# 计算相关系数，自动排除缺失值
pearson_corr = series1.corr(series2, method='pearson')
print(pearson_corr)

Output:

Pandas中两个序列之间的相关性分析

示例 6: 不同长度序列的相关性计算

import pandas as pd

# 创建不同长度的序列
series1 = pd.Series([1, 2, 3, 4, 5, 6], name="pandasdataframe.com_series1")
series2 = pd.Series([5, 4, 3, 2, 1], name="pandasdataframe.com_series2")

# 计算相关系数，自动对齐数据
pearson_corr = series1.corr(series2, method='pearson')
print(pearson_corr)

Output:

Pandas中两个序列之间的相关性分析

示例 7: 使用滚动窗口计算动态相关性

import pandas as pd

# 创建序列
series1 = pd.Series([1, 2, 3, 4, 5, 6, 7, 8, 9, 10], name="pandasdataframe.com_series1")
series2 = pd.Series([10, 9, 8, 7, 6, 5, 4, 3, 2, 1], name="pandasdataframe.com_series2")

# 使用滚动窗口计算相关性
rolling_corr = series1.rolling(window=3).corr(series2)
print(rolling_corr)

Output:

Pandas中两个序列之间的相关性分析

示例 8: 分组数据后计算相关性

import pandas as pd

# 创建DataFrame
data = {
    "group": ["A", "A", "A", "B", "B", "B"],
    "pandasdataframe.com_series1": [1, 2, 3, 1, 2, 3],
    "pandasdataframe.com_series2": [3, 2, 1, 3, 2, 1]
}
df = pd.DataFrame(data)

# 分组后计算每组的相关性
grouped_corr = df.groupby("group").apply(lambda x: x["pandasdataframe.com_series1"].corr(x["pandasdataframe.com_series2"]))
print(grouped_corr)

示例 9: 多变量之间的相关性分析

import pandas as pd

# 创建DataFrame
data = {
    "pandasdataframe.com_series1": [1, 2, 3, 4, 5],
    "pandasdataframe.com_series2": [5, 4, 3, 2, 1],
    "pandasdataframe.com_series3": [2, 3, 4, 5, 6]
}
df = pd.DataFrame(data)

# 计算相关系数矩阵
corr_matrix = df.corr(method='pearson')
print(corr_matrix)

Output:

Pandas中两个序列之间的相关性分析

示例 10: 使用图形化工具分析相关性

import pandas as pd
import seaborn as sns
import matplotlib.pyplot as plt

# 创建DataFrame
data = {
    "pandasdataframe.com_series1": [1, 2, 3, 4, 5],
    "pandasdataframe.com_series2": [5, 4, 3, 2, 1]
}
df = pd.DataFrame(data)

# 计算相关系数矩阵
corr_matrix = df.corr(method='pearson')

# 使用Seaborn绘制热图
sns.heatmap(corr_matrix, annot=True, cmap='coolwarm')
plt.show()

Output:

Pandas中两个序列之间的相关性分析

以上示例展示了如何使用Pandas进行两个序列之间的相关性分析。这些示例涵盖了从基本的相关性计算到更复杂的情况，如处理缺失数据、不同长度的序列、以及动态相关性的计算。下面我们继续提供更多的示例代码，以进一步探索Pandas在相关性分析中的应用。

示例 11: 考虑时间序列数据的相关性

import pandas as pd

# 创建时间序列数据
dates = pd.date_range(start="2020-01-01", periods=5, freq='D')
series1 = pd.Series([1, 2, 3, 4, 5], index=dates, name="pandasdataframe.com_series1")
series2 = pd.Series([5, 4, 3, 2, 1], index=dates, name="pandasdataframe.com_series2")

# 计算相关系数
pearson_corr = series1.corr(series2, method='pearson')
print(pearson_corr)

Output:

Pandas中两个序列之间的相关性分析

示例 12: 使用不同方法比较相关性

import pandas as pd

# 创建序列
series1 = pd.Series([1, 2, 3, 4, 5], name="pandasdataframe.com_series1")
series2 = pd.Series([5, 4, 3, 2, 1], name="pandasdataframe.com_series2")

# 计算不同方法的相关系数
pearson_corr = series1.corr(series2, method='pearson')
spearman_corr = series1.corr(series2, method='spearman')
kendall_corr = series1.corr(series2, method='kendall')

print(f"Pearson: {pearson_corr}, Spearman: {spearman_corr}, Kendall: {kendall_corr}")

Output:

Pandas中两个序列之间的相关性分析

示例 13: 分析具有异常值的序列相关性

import pandas as pd

# 创建带有异常值的序列
series1 = pd.Series([1, 2, 3, 4, 100], name="pandasdataframe.com_series1")
series2 = pd.Series([5, 4, 3, 2, 1], name="pandasdataframe.com_series2")

# 计算Pearson相关系数
pearson_corr = series1.corr(series2, method='pearson')
print(pearson_corr)

Output:

Pandas中两个序列之间的相关性分析

示例 14: 使用条件过滤后计算相关性

import pandas as pd

# 创建DataFrame
data = {
    "pandasdataframe.com_series1": [1, 2, 3, 4, 5],
    "pandasdataframe.com_series2": [5, 4, 3, 2, 1],
    "condition": ["good", "good", "bad", "bad", "good"]
}
df = pd.DataFrame(data)

# 过滤条件为'good'的数据
filtered_df = df[df['condition'] == 'good']

# 计算相关系数
pearson_corr = filtered_df["pandasdataframe.com_series1"].corr(filtered_df["pandasdataframe.com_series2"])
print(pearson_corr)

Output:

Pandas中两个序列之间的相关性分析

示例 15: 结合多个数据源计算相关性

import pandas as pd

# 创建两个DataFrame
data1 = {
    "pandasdataframe.com_series1": [1, 2, 3, 4, 5]
}
data2 = {
    "pandasdataframe.com_series2": [5, 4, 3, 2, 1]
}

df1 = pd.DataFrame(data1)
df2 = pd.DataFrame(data2)

# 合并DataFrame
merged_df = pd.concat([df1, df2], axis=1)

# 计算相关系数
pearson_corr = merged_df["pandasdataframe.com_series1"].corr(merged_df["pandasdataframe.com_series2"])
print(pearson_corr)

Output:

Pandas中两个序列之间的相关性分析

示例 16: 使用Pandas的`corrwith()`函数比较多个序列

import pandas as pd

# 创建DataFrame
data = {
    "pandasdataframe.com_series1": [1, 2, 3, 4, 5],
    "pandasdataframe.com_series2": [5, 4, 3, 2, 1],
    "pandasdataframe.com_series3": [2, 3, 4, 5, 6]
}
df = pd.DataFrame(data)

# 计算series1与其他序列的相关性
corr_with = df.corrwith(df["pandasdataframe.com_series1"])
print(corr_with)

Output:

Pandas中两个序列之间的相关性分析

示例 17: 分析季节性数据的相关性

import pandas as pd

# 创建季节性数据
months = pd.date_range(start="2020-01", periods=12, freq='M')
temperature = pd.Series([0, 1, 5, 10, 15, 20, 25, 20, 15, 10, 5, 0], index=months, name="pandasdataframe.com_temperature")
sales = pd.Series([200, 210, 250, 300, 350, 400, 450, 400, 350, 300, 250, 210], index=months, name="pandasdataframe.com_sales")

# 计算相关系数
pearson_corr = temperature.corr(sales, method='pearson')
print(pearson_corr)

示例 18: 使用自定义函数处理数据后计算相关性

import pandas as pd

# 创建序列
series1 = pd.Series([1, 2, 3, 4, 5], name="pandasdataframe.com_series1")
series2 = pd.Series([5, 4, 3, 2, 1], name="pandasdataframe.com_series2")

# 定义一个简单的数据处理函数
def process_data(series):
    return series * 2

# 处理数据
processed_series1 = process_data(series1)
processed_series2 = process_data(series2)

# 计算相关系数
pearson_corr = processed_series1.corr(processed_series2, method='pearson')
print(pearson_corr)

Output:

Pandas中两个序列之间的相关性分析

示例 19: 分析不同行业数据的相关性

import pandas as pd

# 创建行业数据
data = {
    "pandasdataframe.com_tech": [1, 2, 3, 4, 5],
    "pandasdataframe.com_finance": [5, 4, 3, 2, 1]
}
df = pd.DataFrame(data)

# 计算相关系数
pearson_corr = df["pandasdataframe.com_tech"].corr(df["pandasdataframe.com_finance"])
print(pearson_corr)

Output:

Pandas中两个序列之间的相关性分析

示例 20: 使用外部数据源增强相关性分析

import pandas as pd

# 假设这些数据从外部数据源导入
external_data = pd.Series([10, 9, 8, 7, 6], name="pandasdataframe.com_external")

# 创建本地序列
local_data = pd.Series([1, 2, 3, 4, 5], name="pandasdataframe.com_local")

# 计算相关系数
pearson_corr = local_data.corr(external_data, method='pearson')
print(pearson_corr)

Output:

Pandas中两个序列之间的相关性分析

以上示例展示了如何使用Pandas进行两个序列之间的相关性分析，涵盖了从基本的相关性计算到更复杂的情况，如处理缺失数据、不同长度的序列、以及动态相关性的计算。这些技巧和方法可以帮助数据分析师在实际工作中更有效地处理和分析数据。接下来，我们将继续探讨更多高级的应用场景和技巧。

示例 21: 动态窗口相关性分析

在金融数据分析中，经常需要计算滚动窗口的相关性，以观察随时间变化的相关性趋势。

import pandas as pd

# 创建时间序列数据
dates = pd.date_range(start="2020-01-01", periods=100, freq='D')
series1 = pd.Series(range(100), index=dates)
series2 = series1 + pd.Series(range(100, 0, -1), index=dates)

# 使用滚动窗口计算相关性
rolling_corr = series1.rolling(window=30).corr(series2)
rolling_corr.plot(title="Rolling Correlation Over Time")

示例 22: 多变量相关性矩阵

在探索性数据分析中，了解多个变量之间的相关性是非常重要的。Pandas 提供了一种简单的方法来计算和显示相关性矩阵。

import pandas as pd
import seaborn as sns
import matplotlib.pyplot as plt

# 创建DataFrame
data = {
    "var1": [1, 2, 3, 4, 5],
    "var2": [5, 4, 3, 2, 1],
    "var3": [2, 3, 2, 5, 4]
}
df = pd.DataFrame(data)

# 计算相关性矩阵
corr_matrix = df.corr()

# 使用Seaborn绘制热图
sns.heatmap(corr_matrix, annot=True, cmap='coolwarm')
plt.title("Correlation Matrix")
plt.show()

Output:

Pandas中两个序列之间的相关性分析

示例 23: 分组数据的相关性分析

当数据集中包含多个分组时，可能需要分别计算每个分组的相关性。

import pandas as pd

# 创建DataFrame
data = {
    "group": ["A", "A", "B", "B", "A"],
    "var1": [1, 2, 3, 4, 5],
    "var2": [5, 4, 3, 2, 1]
}
df = pd.DataFrame(data)

# 分组并计算相关性
grouped_corr = df.groupby('group').apply(lambda x: x['var1'].corr(x['var2']))
print(grouped_corr)

示例 24: 时间序列的季节调整相关性

在分析季节性数据时，考虑到季节性变化对相关性的影响是很有必要的。

import pandas as pd
import statsmodels.api as sm

# 创建季节性时间序列数据
dates = pd.date_range(start="2020-01-01", periods=24, freq='M')
data = pd.Series([i + 10 * (i % 12) for i in range(24)], index=dates)

# 季节调整
res = sm.tsa.seasonal_decompose(data, model='additive')
data_adjusted = data - res.seasonal

# 计算调整后的自相关
print(data_adjusted.autocorr())

示例 25: 使用外部因素调整相关性

在实际应用中，外部因素可能对两个变量的相关性产生影响。通过控制这些因素，可以更准确地估计变量之间的真实相关性。

import pandas as pd

# 创建数据
data = {
    "sales": [200, 210, 250, 300, 350, 400],
    "temperature": [20, 21, 25, 30, 35, 40],
    "holiday": [0, 1, 0, 0, 1, 0]
}
df = pd.DataFrame(data)

# 控制假日因素
df_non_holiday = df[df['holiday'] == 0]

# 计算非假日的销售和温度的相关性
print(df_non_holiday['sales'].corr(df_non_holiday['temperature']))