Pandas简介与基本操作|极客教程

Pandas简介与基本操作

1. 引言

在数据分析与处理的领域，Pandas 是 Python 编程语言中的一个强大工具库。其提供了高性能、易于使用的数据结构和数据分析工具，使数据分析师和科学家们能够轻松地处理和分析数据。

本文将详细介绍 Pandas 的常用功能和基本操作，包括数据读取、数据清洗、数据排序、数据选择与过滤、数据聚合与分组、数据合并与拼接、数据分析与计算等方面。

2. 数据读取与展示

在进行数据分析之前，我们首先需要将数据加载到 Pandas 中。Pandas 提供了多种数据读取方式，支持读取的数据类型通常包括 CSV、Excel、SQL 数据库、JSON、HTML 网页等。

2.1 CSV 数据读取

CSV 是一种常用格式的数据文件，通常以逗号分隔每一列数据。以下是使用 Pandas 读取 CSV 文件的代码示例：

import pandas as pd

# 读取 CSV 文件
data = pd.read_csv('data.csv')

上述代码中，我们使用 read_csv 函数读取名为 ‘data.csv’ 的 CSV 文件，将读取得到的数据存储在 data 变量中。

2.2 Excel 数据读取

使用 Pandas 读取 Excel 文件同样也十分简单。以下是使用 Pandas 读取 Excel 文件的代码示例：

import pandas as pd

# 读取 Excel 文件
data = pd.read_excel('data.xlsx')

上述代码中，我们使用 read_excel 函数读取名为 ‘data.xlsx’ 的 Excel 文件，将读取得到的数据存储在 data 变量中。

2.3 展示数据

在读取数据之后，我们通常需要对数据进行一定程度的展示以了解数据的结构和内容。Pandas 提供了多种方法来展示数据，包括 head、tail、sample 等函数。

以下是利用 Pandas 展示数据的示例代码：

import pandas as pd

# 读取 CSV 文件
data = pd.read_csv('data.csv')

# 展示数据前5行
print(data.head())

上述代码使用 head 函数展示了读取到的数据的前 5 行。

3. 数据清洗与处理

在进行数据分析之前，常常需要对数据进行一定程度的清洗和处理，以确保数据的质量和准确性。下面我们将介绍 Pandas 中的一些常用数据清洗与处理函数。

3.1 缺失值处理

在数据中，常常会出现缺失值的情况，这会对后续的分析和计算造成困扰。Pandas 提供了多种方法来处理缺失值，包括删除、填充等。

以下是一些常见的缺失值处理方法的代码示例：

删除缺失值

import pandas as pd

# 读取 CSV 文件
data = pd.read_csv('data.csv')

# 删除包含缺失值的行
data_dropped = data.dropna()

上述代码使用 dropna 函数删除了数据中包含缺失值的行。

填充缺失值

import pandas as pd

# 读取 CSV 文件
data = pd.read_csv('data.csv')

# 用均值填充缺失值
data_filled = data.fillna(data.mean())

上述代码使用 fillna 函数用均值填充了数据中的缺失值。

3.2 数据去重

在实际数据分析中，我们常常遇到数据中存在重复值的情况。为了确保数据的准确性，我们需要对数据进行去重操作。

以下是一些常见的数据去重方法的代码示例：

去除重复行

import pandas as pd

# 读取 CSV 文件
data = pd.read_csv('data.csv')

# 去除重复行
data_deduplicated = data.drop_duplicates()

上述代码使用 drop_duplicates 函数去除了数据中的重复行。

去除重复列

import pandas as pd

# 读取 CSV 文件
data = pd.read_csv('data.csv')

# 去除重复列
data_deduplicated = data.T.drop_duplicates().T

上述代码使用 T 函数对数据进行转置，并使用 drop_duplicates 函数去除了重复的列。

3.3 数据类型转换

在进行数据分析之前，经常需要将数据转换为合适的数据类型。Pandas 提供了多种方法来对数据进行类型转换。

以下是一些常见的数据类型转换方法的代码示例：

转换为字符串

import pandas as pd

# 读取 CSV 文件
data = pd.read_csv('data.csv')

# 将整数列转换为字符串列
data['Col1'] = data['Col1'].astype(str)

上述代码使用 astype 函数将整数列 Col1 转换为字符串列。

转换为日期时间类型

import pandas as pd

# 读取 CSV 文件
data = pd.read_csv('data.csv')

# 将字符串列转换为日期时间列
data['Col2'] = pd.to_datetime(data['Col2'])

上述代码使用 to_datetime 函数将字符串列 Col2 转换为日期时间列。

4. 数据排序与选择

在数据分析中，经常需要对数据进行排序和选择，以便快速定位和识别感兴趣的数据。Pandas 提供了多种方法来对数据进行排序和选择。

4.1 数据排序

以下是一些常见的数据排序方法的代码示例：

按列排序

import pandas as pd

# 读取 CSV 文件
data = pd.read_csv('data.csv')

# 按照 'Col1' 列进行升序排序
data_sorted = data.sort_values('Col1')

上述代码使用 sort_values 函数按照 ‘Col1’ 列的值对数据进行升序排序。

按行排序

import pandas as pd

# 读取 CSV 文件
data = pd.read_csv('data.csv')

# 按照第一行的值进行升序排序
data_sorted = data.T.sort_values(0).T

上述代码使用 T 函数对数据进行转置，并使用 sort_values 函数对第一行的值进行升序排序。

4.2 数据选择与过滤

以下是一些常见的数据选择与过滤方法的代码示例：

选择指定列

import pandas as pd

# 读取 CSV 文件
data = pd.read_csv('data.csv')

# 选择指定列
selected_columns = data[['Col1', 'Col2', 'Col3']]

上述代码使用了双重方括号来选择需要的列，将选取到的数据存储在 selected_columns 变量中。

根据条件选择

import pandas as pd

# 读取 CSV 文件
data = pd.read_csv('data.csv')

# 根据条件选择
selected_data = data[data['Col1'] > 10]

上述代码使用一个条件来选择数据，只将满足条件的行保留在 selected_data 变量中。

通过位置选择数据

import pandas as pd

# 读取 CSV 文件
data = pd.read_csv('data.csv')

# 通过位置选择数据
selected_data = data.iloc[0:3, :]

上述代码使用 iloc 函数通过行和列的位置来选择数据，将前三行的所有列选择出来存储在 selected_data 变量中。

5. 数据聚合与分组

在数据分析中，常常需要对数据进行聚合和分组，以便进行统计和分析。Pandas 提供了强大的聚合和分组操作。

以下是一些常见的数据聚合与分组方法的代码示例：

对单列进行聚合统计

import pandas as pd

# 读取 CSV 文件
data = pd.read_csv('data.csv')

# 对 'Col1' 列求和
sum_col1 = data['Col1'].sum()

上述代码使用 sum 函数对 ‘Col1’ 列进行聚合求和。

对多列进行聚合统计

import pandas as pd

# 读取 CSV 文件
data = pd.read_csv('data.csv')

# 对 'Col1' 和 'Col2' 列求和
sum_col1_col2 = data[['Col1', 'Col2']].sum()

上述代码使用 sum 函数对 ‘Col1’ 和 ‘Col2’ 列进行聚合求和。

按照某列进行分组统计

import pandas as pd

# 读取 CSV 文件
data = pd.read_csv('data.csv')

# 按照 'Col2' 列进行分组，并对 'Col1' 列求和
grouped_data = data.groupby('Col2')['Col1'].sum()

上述代码使用 groupby 函数按照 ‘Col2’ 列进行分组，并对每组的 ‘Col1’ 列进行求和。

6. 数据合并与拼接

在数据分析中，经常需要将多个数据集合并或者拼接在一起，以便进行更为综合和全面的分析。Pandas 提供了多种方法来实现数据的合并与拼接。

以下是一些常见的数据合并与拼接方法的代码示例：

合并两个 DataFrame

import pandas as pd

# 读取 CSV 文件
data1 = pd.read_csv('data1.csv')
data2 = pd.read_csv('data2.csv')

# 合并两个 DataFrame
merged_data = pd.merge(data1, data2, on='Col1')

上述代码使用 merge 函数将两个 DataFrame 按照 ‘Col1’ 列进行合并。

拼接多个 DataFrame

import pandas as pd

# 读取 CSV 文件
data1 = pd.read_csv('data1.csv')
data2 = pd.read_csv('data2.csv')
data3 = pd.read_csv('data3.csv')

# 拼接多个 DataFrame
concatenated_data = pd.concat([data1, data2, data3])

上述代码使用 concat 函数将多个 DataFrame 进行拼接。

7. 数据分析与计算

在进行数据分析的过程中，我们常常需要进行一些计算和统计。Pandas 提供了多种数据分析和计算的函数。

以下是一些常见的数据分析与计算方法的代码示例：

计算统计指标

import pandas as pd

# 读取 CSV 文件
data = pd.read_csv('data.csv')

# 计算 'Col1' 列的均值和标准差
mean_col1 = data['Col1'].mean()
std_col1 = data['Col1'].std()

上述代码使用 mean 和 std 函数计算了 ‘Col1’ 列的均值和标准差。

应用函数

import pandas as pd

# 读取 CSV 文件
data = pd.read_csv('data.csv')

# 对 'Col1' 列应用自定义函数
def custom_function(x):
    return x * 2

data['Col1'] = data['Col1'].apply(custom_function)

上述代码使用 apply 函数将自定义函数 custom_function 应用于 ‘Col1’ 列的每个元素。