将 DataFrame 转换为 NumPy 数组|极客教程

将 DataFrame 转换为 NumPy 数组

在数据处理和分析中，经常需要在不同的数据结构之间进行转换，以适应不同的处理需求和算法要求。Pandas 的 DataFrame 和 NumPy 的数组是数据科学中最常用的两种数据结构。本文将详细介绍如何将 Pandas 的 DataFrame 转换为 NumPy 的数组，并提供多个示例代码来展示不同的转换场景。

1. 基本转换

首先，我们从最基本的转换开始。将一个 DataFrame 转换为 NumPy 数组是一个非常直接的过程，可以通过 DataFrame 的 .values 属性或者 .to_numpy() 方法来实现。

示例代码 1：使用 `.values` 属性

import pandas as pd
import numpy as np

# 创建一个简单的 DataFrame
df = pd.DataFrame({
    'A': [1, 2, 3],
    'B': [4, 5, 6],
    'C': [7, 8, 9]
})

# 转换为 NumPy 数组
array = df.values
print(array)

Output:

将 DataFrame 转换为 NumPy 数组

示例代码 2：使用 `.to_numpy()` 方法

import pandas as pd
import numpy as np

# 创建 DataFrame
df = pd.DataFrame({
    'A': [10, 20, 30],
    'B': [40, 50, 60],
    'C': [70, 80, 90]
})

# 使用 to_numpy() 方法转换
array = df.to_numpy()
print(array)

Output:

将 DataFrame 转换为 NumPy 数组

2. 数据类型控制

在转换过程中，有时需要控制生成的 NumPy 数组的数据类型。可以通过 .to_numpy() 方法的 dtype 参数来指定期望的数据类型。

示例代码 3：指定数据类型

import pandas as pd
import numpy as np

# 创建 DataFrame
df = pd.DataFrame({
    'A': [1.1, 2.2, 3.3],
    'B': [4.4, 5.5, 6.6]
})

# 指定转换后的数据类型为 float32
array = df.to_numpy(dtype=np.float32)
print(array)

Output:

将 DataFrame 转换为 NumPy 数组

3. 处理缺失数据

在实际应用中，DataFrame 中可能包含缺失值。在转换为 NumPy 数组时，需要特别注意这一点，因为 NumPy 对数据类型有严格要求。

示例代码 4：处理含有缺失值的 DataFrame

import pandas as pd
import numpy as np

# 创建含有缺失值的 DataFrame
df = pd.DataFrame({
    'A': [1, np.nan, 3],
    'B': [4, 5, np.nan]
})

# 转换时自动处理 NaN
array = df.to_numpy()
print(array)

Output:

将 DataFrame 转换为 NumPy 数组

4. 选择性列转换

有时候我们不需要将 DataFrame 的所有列转换为数组，而是选择性地转换某些列。

示例代码 5：选择性列转换

import pandas as pd
import numpy as np

# 创建 DataFrame
df = pd.DataFrame({
    'A': ['foo', 'bar', 'baz'],
    'B': [1, 2, 3],
    'C': [4, 5, 6]
})

# 仅选择 B 和 C 列进行转换
array = df[['B', 'C']].to_numpy()
print(array)

Output:

将 DataFrame 转换为 NumPy 数组

5. 复杂结构的转换

在某些情况下，DataFrame 中可能包含复杂的数据结构，如列表或字典等。这种情况下的转换需要更加小心。

示例代码 6：处理复杂结构数据

import pandas as pd
import numpy as np

# 创建包含复杂结构的 DataFrame
df = pd.DataFrame({
    'A': [[1, 2], [3, 4], [5, 6]],
    'B': [{'x': 1}, {'y': 2}, {'z': 3}]
})

# 直接转换可能会导致异常，这里仅作为示例
array = df.to_numpy()
print(array)

Output:

将 DataFrame 转换为 NumPy 数组

6. 性能考虑

在处理大规模数据时，转换性能可能成为一个问题。使用 .to_numpy() 方法通常比 .values 属性更快，因为 .to_numpy() 方法是最新优化过的方法。

示例代码 7：性能测试

import pandas as pd
import numpy as np

# 创建大型 DataFrame
df = pd.DataFrame(np.random.randint(0, 100, size=(10000, 4)), columns=list('ABCD'))

# 使用 to_numpy() 方法进行转换
array = df.to_numpy()
print(array)

Output:

将 DataFrame 转换为 NumPy 数组