Numpy 从压缩文件中加载数据(.npz)

NumPy是一个Python库，用于科学计算。它提供了高性能的多维数组对象，以及用于处理这些数组的工具。 npz文件是一个numpy的压缩文件，可以用来存储多个numpy数组。在数据处理方面，npz文件是非常有用的。

在本文中，我们将介绍如何使用Numpy从npz文件中加载数据。

阅读更多：Numpy 教程

创建.npy和.npz文件

NPY和NPZ文件是numpy的常见文件类型。NPY是一种用于保存单个numpy数组的文件格式，而NPZ是一种用于保存多个numpy数组的压缩文件格式。我们可以使用numpy.save和numpy.savez_compressed函数来创建.npy和.npz文件。

import numpy as np

x = np.array([1, 2, 3, 4, 5])
np.save('x.npy', x)

y = np.array([6, 7, 8, 9, 10])
z = np.array([11, 12, 13, 14, 15])

np.savez_compressed('yz.npz', y=y, z=z) 

加载.npy文件

要加载.npy文件，我们可以使用函数numpy.load。

import numpy as np

x = np.load('x.npy')
print(x)

输出结果：

[1 2 3 4 5]

在这个例子中，我们从.npy文件中加载了一个numpy数组x，然后将其打印出来。

加载.npz文件

从.npz文件中加载numpy数组需要一些不同的操作。我们需要使用函数numpy.load。

import numpy as np

data = np.load('yz.npz')
y = data['y']
z = data['z']

print(y)
print(z)

输出结果：

[ 6  7  8  9 10]
[11 12 13 14 15]

在这个例子中，我们从.npz文件中加载了名为’y’和’z’的两个numpy数组，并将它们打印出来。

获取.npy和.npz文件中的所有键

您还可以获取获取.npy或.npz文件中的所有键。我们可以调用numpy.load函数，并在参数中设置mmap_mode为’r’或’c’。这个函数返回一个dict对象，其中包含所有.npy或.npz文件中的键和numpy数组的值。

import numpy as np

data1 = np.load('x.npy', mmap_mode='r')
data2 = np.load('yz.npz', mmap_mode='c')

print(data1.keys())
print(data2.keys())

输出结果：

dict_keys(['arr_0'])
dict_keys(['y', 'z'])

在这个例子中，我们分别加载了.xnp和.yz.npz文件，并获得了所有键。

总结

在本文中，我们介绍了如何轻松地从.npz压缩文件中使用Numpy加载数据。仅通过numpy.load函数，我们可以像从.npy文件一样轻松地从.npz文件中加载数据。这种处理方式是非常高效的，特别对于一次加载大量数据时非常有用。此外，我们还介绍了如何创建.npy和.npz文件，以及如何获取.npy和.npz文件的所有键。这将使您更好地理解Numpy中压缩文件的操作。

最后，需要注意的是，当数据量太大无法一次加载时，我们可以考虑使用迭代或分块方式来读取数据。另外，我们还可以将压缩文件存储在云端存储中，然后使用Numpy直接从云端读取数据。这将减少数据传输和本地存储的负担，并提高数据读取的效率。