Numpy 高效地从数组中删除空值

阅读更多：Numpy 教程

背景

在numpy中处理浮点数数组时，我们经常会遇到空值。空值既存在于输入数据中，也可能在进行数据处理过程中产生。删除空值是一个常见的数据清洗过程，可以提高后续数据处理的效率。

方法

使用numpy中的布尔索引可以高效地删除空值。如果对于一个数组，我们需要删除其中的空值，那么可以根据以下步骤处理：

使用numpy中的isnan()函数将数组中的空值转化为True；
使用~符号对上述结果取反，即可得到一个True/False数组；
将上述数组作为索引，从原数组中删除空值元素。

import numpy as np

# 生成一个包含空值的数组
arr = np.array([1, np.nan, 3, np.nan, 5])

# 删除空值
arr_clean = arr[~np.isnan(arr)]

print(arr_clean)
# [1. 3. 5.]

如上所示，我们成功地删除了数组中的空值元素。

性能比较

与其他方法相比，使用布尔索引对于高维数组的处理效率更高。

import numpy as np
import time

# 生成一个10,000*10,000的随机矩阵
np.random.seed(0)
arr = np.random.rand(10000, 10000)

# 将一部分元素置为None
arr[::2, ::3] = None

# 使用布尔索引删除空值
start_time = time.time()
arr_clean = arr[~np.isnan(arr)]
print('Time taken using boolean indexing: {}s'.format(time.time()-start_time))

# 使用compress()函数删除空值
start_time = time.time()
arr_clean = np.ma.compress_rows(np.ma.masked_invalid(arr))
print('Time taken using compress() function: {}s'.format(time.time()-start_time))

如上所示，我们比较了在一个大小为10000×10000的随机矩阵中使用布尔索引和使用compress()函数删除空值的效率。通过比较结果，我们可以发现布尔索引的方法速度更快。