Numpy ndarray占用多少内存

在使用Numpy进行数据分析、科学计算等相关任务时，我们时常需要创建用于存储数据的多维数组，即ndarray对象。然而，在实际操作中，如果我们需要处理较大数据，那么就需要关注ndarray对象占用的内存大小。本篇文章将介绍如何通过Numpy来判断ndarray对象的内存占用。

阅读更多：Numpy 教程

ndarray对象的内存占用

ndarray对象是Numpy库的基础，通常用于存储同一类型的元素的多维数组，而且它在内存中被绑定为一个连续的数据块。

在接下来的讨论中，我们将说明如何计算ndarray对象所占用的内存大小。

Numpy和Python内存管理的差异

在Python中，我们通常使用列表(list)、元组(tuple)等内置类型来存储数据。然而，这些内置类型的内存管理方式和Numpy中的ndarray对象是有很大不同的。Python中的元组和列表是动态类型和动态内存管理的，而Numpy的ndarray对象是静态类型和静态内存管理的。

当我们在Python中定义一个列表时，由于列表是动态类型的，Python解释器在实际的内存管理过程中需要为其提供额外的开销来支持其扩容和深度复制等操作。而对于Numpy的数组，其大小和类型都是固定不变的。这就导致Numpy的ndarray对象在内存占用上比Python中的列表等动态类型的内置类型更为高效。同时，静态类型和静态内存管理也是Numpy的重要特性之一。因此，为了了解Numpy的ndarray对象在内存占用方面的性能和优势，下面我们将详细介绍ndarray对象的内存模型。

ndarray对象内存模型

在我们开始介绍ndarray对象的内部存储机制之前，让我们先看一下一个定义在Numpy中的简单数组，并检查一下它所占用的内存大小：

import numpy as np

# 创建一个包含10个元素的一维数组
arr = np.arange(10)
print(arr.nbytes)

输出：

输出的值40表示，该数组占用了40个字节的内存空间。在Numpy中，我们通常可以使用nbytes属性来检查数组所占用的内存大小。但需要注意的是，该属性通常只考虑数组中数据的占用空间，并不包含Numpy对象自身在内存中占用的大小。

那么，如何计算Numpy对象本身在内存中所占用的空间呢？这就需要使用标准库中的sys.getsizeof()来计算，具体如下：

import sys

print(sys.getsizeof(arr))

输出：

可以发现，在计算Numpy对象本身的大小时，结果（176）比使用nbytes属性计算的结果（40）更大。这是因为sys.getsizeof()方法考虑了对象自身在内存占用的金之前开销。

ndarray对象内存大小计算公式

除了使用nbytes和sys.getsizeof()方法来检查数组占用的内存空间外，我们还可以使用公式计算来检查数组占用的内存空间。对于Numpy中的一维数组来说，其消耗的内存空间计算公式如下：

n_bytes = len(arr) * arr.itemsize

其中，len(arr)表示数组所含元素的数量，arr.itemsize表示数组中一个元素的大小（单位为字节）。

举个例子，如果我们定义一个包含20个元素的一维数组，并且数组中每个元素占用4个字节，那么它占用的内存大小可以通过以下代码来计算：

import numpy as np

arr = np.arange(20)
n_bytes = len(arr) * arr.itemsize

print(n_bytes)

输出：

对于多维数组，其消耗的内存空间计算公式类似于一维数组的计算公式，只是需要对于每一个维度来进行计算。下面给出一个二维数组的计算示例：

import numpy as np

arr = np.zeros((100, 100), dtype=np.int32)
n_bytes = arr.nbytes

print(n_bytes)

输出：

在本示例中，我们创建了一个100×100的二维数组。由于该数组中的每个元素都是一个32位整数，因此它占用的内存空间为10000（即100×100）个元素每个元素占用4个字节，总共为40000字节。

了解了Numpy中ndarray对象内存占用的计算方法，我们现在来看一下如何减小Python程序在使用Numpy时所占用的内存。

减小内存占用的方法

在使用Numpy处理大规模数据时，由于内存的限制，我们往往需要对程序进行优化以减小内存占用。下面列出了一些常见的减少Numpy内存占用的方法：

使用更小的数据类型：在Numpy中，我们可以为数组指定不同的数据类型。例如，我们可以使用无符号整数(uint8)来代替有符号整数(int8)和整型(int32、int64)等数据类型；
避免使用复制副本：在Numpy中，如果我们想要对数组或其部分进行操作，可能需要使用副本而产生额外的内存开销。因此，我们在处理Numpy数组时应该尽量避免使用复制副本，而是应该使用切片、广播和就地操作等方法避免额外的内存开销；
压缩存储：在某些特定情况下，我们可以使用不同的压缩算法来存储Numpy数组。例如，我们可以使用Zstandard和Blosc等算法进行数据压缩，从而减小内存占用；
使用稀疏数组(Sparse Arrays)：在某些场景下，我们可能面临的数据是非常稀疏的。此时，我们可以使用稀疏数组来代替密集数组，从而减少内存占用。