极客笔记pandas筛选列为空的
一、背景介绍
Pandas是使用Python进行数据分析的强大工具，可以处理和分析大量的结构化数据。在处理数据时，经常需要根据某些条件来筛选数据，其中一种常见的情况是筛选某列为空的数据。
本文将详细介绍如何使用Pandas筛选列为空的数据，并提供多个实例来帮助理解和实践。
二、筛选列为空的方法
1. isnull()方法
Pandas提供了isnull()方法来判断数据是否为空。该方法返回一个布尔值的DataFrame，其中True表示对应的数据为空，False表示对应的数据不为空。
下面是一个简单的示例代码：
import pandas as pd
data = {'A': [1, 2, None, 4, 5],
'B': [None, 2, 3, None, 5],
'C': ['a', 'b', 'c', 'd', 'e']}
df = pd.DataFrame(data)
null_values = df.isnull()
print(null_values)
输出如下：
A B C
0 False True False
1 False False False
2 True False False
3 False True False
4 False False False
可以看到，通过isnull()方法得到的结果中，空值对应的位置显示为True。
2. notnull()方法
与isnull()方法相反，Pandas还提供了notnull()方法来判断数据是否不为空。该方法返回一个布尔值的DataFrame，其中True表示对应的数据不为空，False表示对应的数据为空。
示例如下：
import pandas as pd
data = {'A': [1, 2, None, 4, 5],
'B': [None, 2, 3, None, 5],
'C': ['a', 'b', 'c', 'd', 'e']}
df = pd.DataFrame(data)
not_null_values = df.notnull()
print(not_null_values)
输出如下：
A B C
0 True False True
1 True True True
2 False True True
3 True False True
4 True True True
可以看到，通过notnull()方法得到的结果中，非空值对应的位置显示为True。
3. dropna()方法
除了判断数据是否为空之外，有时候我们还希望直接删除包含空值的行或列。Pandas提供了dropna()方法来实现该功能。
import pandas as pd
data = {'A': [1, 2, None, 4, 5],
'B': [None, 2, 3, None, 5],
'C': ['a', 'b', 'c', 'd', 'e']}
df = pd.DataFrame(data)
df_dropna = df.dropna()
print(df_dropna)
输出如下：
A B C
1 2.0 2.0 b
4 5.0 5.0 e
可以看到，通过dropna()方法删除包含空值的行后，结果DataFrame中只保留了不包含空值的行。
4. fillna()方法
有时候我们想要将空值填充为特定的值，而不是删除整行或整列。Pandas提供了fillna()方法来实现该功能。
import pandas as pd
data = {'A': [1, 2, None, 4, 5],
'B': [None, 2, 3, None, 5],
'C': ['a', 'b', 'c', 'd', 'e']}
df = pd.DataFrame(data)
df_fillna = df.fillna(0)
print(df_fillna)
输出如下：
A B C
0 1.0 0.0 a
1 2.0 2.0 b
2 0.0 3.0 c
3 4.0 0.0 d
4 5.0 5.0 e
可以看到，通过fillna()方法将空值填充为0后，结果DataFrame中所有空值已经被填充。
5. any()方法
有时候我们希望判断整个列是否存在空值，而不仅仅是判断某个位置是否为空。Pandas提供了any()方法来实现该功能。
import pandas as pd
data = {'A': [1, 2, None, 4, 5],
'B': [None, 2, 3, None, 5],
'C': ['a', 'b', 'c', 'd', 'e']}
df = pd.DataFrame(data)
column_has_null = df.isnull().any()
print(column_has_null)
输出如下：
A True
B True
C False
dtype: bool
可以看到，通过isnull().any()方法判断每一列是否存在空值后，结果中存在空值的列对应位置为True。
三、实例演示
示例1：筛选空值所在的行
假设我们有一个包含学生信息的DataFrame，其中包含学生的姓名、性别和年龄。我们希望筛选出所有年龄为空的学生。
import pandas as pd
data = {'姓名': ['张三', '李四', '王五', '赵六', '钱七'],
'性别': ['男', '女', '男', '女', '女'],
'年龄': [18, None, 20, None, 22]}
df = pd.DataFrame(data)
df_null_age = df[df['年龄'].isnull()]
print(df_null_age)
输出如下：
姓名 性别 年龄
1 李四 女 NaN
3 赵六 女 NaN
可以看到，通过筛选年龄为空的条件，得到了所有年龄为空的学生信息。
示例2：删除包含空值的行
假设我们仍然有一个包含学生信息的DataFrame，与示例1相同。我们希望删除所有年龄为空的学生的信息。
import pandas as pd
data = {'姓名': ['张三', '李四', '王五', '赵六', '钱七'],
'性别': ['男', '女', '男', '女', '女'],
'年龄': [18, None, 20, None, 22]}
df = pd.DataFrame(data)
df_dropna_age = df.dropna(subset=['年龄'])
print(df_dropna_age)
输出如下：
姓名 性别 年龄
0 张三 男 18
2 王五 男 20
4 钱七 女 22
可以看到，通过删除包含空值的行，得到了删除了所有年龄为空的学生的DataFrame。
示例3：将空值填充为特定值假设我们仍然有一个包含学生信息的DataFrame，与示例1和示例2相同。我们希望将所有年龄为空的学生的年龄填充为0。
import pandas as pd
data = {'姓名': ['张三', '李四', '王五', '赵六', '钱七'],
'性别': ['男', '女', '男', '女', '女'],
'年龄': [18, None, 20, None, 22]}
df = pd.DataFrame(data)
df_fillna_age = df.fillna({'年龄': 0})
print(df_fillna_age)
输出如下：
姓名 性别 年龄
0 张三 男 18.0
1 李四 女 0.0
2 王五 男 20.0
3 赵六 女 0.0
4 钱七 女 22.0
可以看到，通过将年龄为空的学生的年龄填充为0，得到了所有学生信息的DataFrame。
示例4：判断列是否存在空值
假设我们仍然有一个包含学生信息的DataFrame，与示例1、示例2和示例3相同。我们希望判断每一列是否存在空值。
import pandas as pd
data = {'姓名': ['张三', '李四', '王五', '赵六', '钱七'],
'性别': ['男', '女', '男', '女', '女'],
'年龄': [18, None, 20, None, 22]}
df = pd.DataFrame(data)
column_has_null = df.isnull().any()
print(column_has_null)
输出如下：
姓名 False
性别 False
年龄 True
dtype: bool
可以看到，通过判断每一列是否存在空值，得到了每一列是否存在空值的结果。
四、总结
本文详细介绍了如何使用Pandas筛选列为空的数据，并提供了多个实例来帮助理解和实践。通过isnull()、notnull()、dropna()、fillna()和any()方法，我们可以根据需要筛选出空值，删除包含空值的行或列，填充空值为特定值，以及判断是否存在空值等操作。
Pandas提供了丰富的功能和方法，能够方便地处理和分析数据。在实际应用中，我们可以根据具体情况选择合适的方法来处理空值，从而提高数据分析的效率和准确性。