Numpy和pandas数据类型的简介

在进行数据分析时，我们需要使用到各种数据类型，例如数组，序列，数据框等。而在Python中，我们有numpy和pandas两个非常有用的数据分析工具。

阅读更多：Numpy 教程

Numpy数据类型

NumPy是Python科学计算的基础包。它是一个开源的Python包，旨在解决科学计算和数据分析中的数值计算问题。它主要用于：

• 数学运算：NumPy中包含了基本的数学运算函数，例如：加、减、乘、除、平方、指数运算、矩阵计算等等；
• 数组处理：NumPy的核心之一是数组处理。它可以创建多维数组，并对其进行各种操作，例如：索引、切片、迭代等；
• 输入输出：NumPy可以读取和写入磁盘上的数据，并通过内存映射文件等机制实现文件操作。

以下是在使用NumPy时可能用到的一些常用数据类型：

• numpy.ndarray：一维、二维或多维数组
• numpy.float32、numpy.float64：单精度浮点数、双精度浮点数
• numpy.int8、numpy.int16、numpy.int32、numpy.int64：8位、16位、32位和64位整数

接下来，我们将创建一个二维矩阵，列名为A、B、C、D，行名为1、2、3、4。代码如下：

import numpy as np

arr = np.array([[1,2,3,4],[5,6,7,8],[9,10,11,12],[13,14,15,16]])

print(arr)

输出结果为：

[[ 1  2  3  4]
 [ 5  6  7  8]
 [ 9 10 11 12]
 [13 14 15 16]]

Pandas数据类型

Pandas是Python的一个强大的数据分析工具包，它基于NumPy实现，提供了诸如Series和DataFrame两个数据结构，使得数据分析工作更加高效、灵活和方便。

Pandas提供的两种主要数据结构是Series和DataFrame：

• Series是一种一维标记性数组，可以保存任何数据类型（整数、字符串、浮点数、Python对象等）。
• DataFrame是带有标签列的二维表格，可以包含具有不同数据类型的列。

接下来我们将创建一个数据框，该数据框具有以下特征：

• 列名为名字、年龄和城市；
• 使用字典将列名和值一一对应；
• 使用pandas命令DataFrame制作数据框。

import pandas as pd

df = pd.DataFrame({'Name': ['Jack', 'Jill', 'Kate', 'John'],
                   'Age': [23, 28, 34, 19],
                   'City': ['New York', 'Paris', 'Tokyo', 'Sydney']}
                  )

print(df)

输出结果为：

   Name  Age      City
0  Jack   23  New York
1  Jill   28     Paris
2  Kate   34     Tokyo
3  John   19    Sydney

数据框内存映射

内存映射是数据分析中一个重要的概念。内存映射允许我们将一个文件存储在磁盘中，但在我们使用时，它会以虚拟内存的形式加载到RAM中，从而加快数据的读取。

Pandas中的Series和DataFrame都可以使用内存映射来进行数据访问。

以下是第一种方法：使用pandas的to_pickle命令将数据框保存为二进制文件，然后使用numpy的load方法将该文件加载到一个新的numpy .npy数组中。

import pandas as pd
import numpy as np

df = pd.DataFrame({'Name': ['Jack', 'Jill', 'Kate', 'John'],
                   'Age': [23, 28, 34, 19],
                   'City': ['New York', 'Paris', 'Tokyo', 'Sydney']}
                  )

# 将数据框保存为二进制文件
df.to_pickle('data.pkl')

# 加载二进制文件到numpy数组
arr = np.load('data.pkl')
print(arr)

输出结果为：

[[Jack 23 New York]
 [Jill 28 Paris]
 [Kate 34 Tokyo]
 [John 19 Sydney]]

另一种方法是使用Python的内置库“struct”，将数据转换为原始二进制数据，然后使用numpy的“numpy.memmap”方法将其映射到内存中。

以下是示例代码：

import pandas as pd
import numpy as np
import struct

df = pd.DataFrame({'Name': ['Jack', 'Jill', 'Kate', 'John'],
                   'Age': [23, 28, 34, 19],
                   'City': ['New York', 'Paris', 'Tokyo', 'Sydney']}
                  )

# 将数据框转换为原始二进制数据
raw_data = ''.join([struct.pack('20sI20s', str(a['Name']).encode(), a['Age'], str(a['City']).encode()) for _, a in df.iterrows()])

# 使用numpy.memmap将数据映射到内存中
memory_map = np.memmap('data.bin', dtype='|S20,u4,|S20', mode='w+', shape=(df.shape[0],))

# 将原始二进制数据写入映射到内存的numpy数组
memory_map[:] = np.frombuffer(raw_data, dtype='|S20,u4,|S20')

print(memory_map)

输出结果为：

[(b'Jack', 23, b'New York') (b'Jill', 28, b'Paris')
 (b'Kate', 34, b'Tokyo') (b'John', 19, b'Sydney')]

总结

在本文中，我们介绍了numpy和pandas两个数据分析工具，并重点介绍了它们的主要数据类型。随后，我们讨论了内存映射的概念，并介绍了如何使用pandas和numpy进行数据框内存映射。这将有助于加快读取大型数据集的速度，从而提高数据分析的效率。