Python Pandas 稀疏数据
稀疏对象在省略匹配特定值(NaN / 缺失值,可以选择任何值)的数据时被“压缩”。特殊的SparseIndex对象跟踪数据已被“稀疏化”的位置。这在一个例子中会更清晰明了。所有标准的Pandas数据结构都适用于 to_sparse 方法 −
它的 输出 如下:
稀疏对象的存在是为了提高内存效率。
现在假设你有一个很大的NA数据框,并执行以下代码 –
这个 输出 如下:
通过调用 to_dense 方法,可以将任何稀疏对象转换回标准的稠密形式。
其 输出 如下:
稀疏数据类型
稀疏数据应与其稠密表示具有相同的数据类型。目前支持 float64, int64 和 booldtypes 。根据原始数据类型, fill_value 的默认值会发生变化 −
- float64 − np.nan
-
int64 − 0
-
bool − False
让我们执行以下代码来理解这个问题−
输出如下所示−