Python 官方文档:入门教程 => 点击学习
目录检测缺失值缺失值处理删除缺失值填补缺失值检测缺失值 我们先创建一个带有缺失值的数据框(DataFrame)。 import pandas as pd df = pd.Dat
我们先创建一个带有缺失值的数据框(DataFrame
)。
import pandas as pd
df = pd.DataFrame(
{'A': [None, 2, None, 4],
'B': [10, None, None, 40],
'C': [100, 200, None, 400],
'D': [None, 2000, 3000, None]})
df
数值类缺失值在 Pandas 中被显示为 NaN (Not A Number)。下面看看如何判断哪些列或者哪些行有缺失值。
1.info()
info() 返回的结果中,我们只需要观察每一列对应的 Non-Null Count 的数量是否等于 RangeIndex(索引范围) 即可。
2.isnull()
isnull() 返回一个与原 DataFrame 大小(列数,行数)相同的数据框,行列对应的数据代表着该位置是否为缺失值。
df.isnull()
使用 sum() 来检测每列中的缺失值的数量。
df.isnull().sum()
通过 .T 将 DataFrame 转置,获取检测每行中缺失值的数量。
df.isnull().T.sum()
如果出现缺失值的行/列重要性不大的话,可以直接使用 dropna()
删除带有缺失值的行/列。
df.dropna(axis=0,
how='any',
thresh=None,
subset=None,
inplace=False)
参数含义
指定 axis = 1,如果列中有缺失值,则删除该列。
df.dropna(axis=1, how='any')
由于每列都有缺失值,所以只剩索引。
指定 axis = 0(默认),如果行中有缺失值,则删除该行。
df.dropna(axis=0, how='any')
以 ABC 列为参照,删除这三列都是缺失值的行。
df.dropna(axis=0, subset=['A', 'B', 'C'], how='all')
保留至少有3个非NaN值的行。
df.dropna(axis=0, thresh=3)
另一种常见的缺失值处理方式就是使用 fillna()
填补缺失值。
df.fillna(value=None,
method=None,
axis=0,
inplace=False,
limit=None)
1. 直接指定填充值
df.fillna(666)
2.用缺失值前/后的值填充
按前一个值填充
当method 值为 ffill 或 pad时,按前一个值进行填充。
当 axis = 0,用缺失值同一列的上一个值填充,如果缺失值在第一行则不填充。
当 axis = 1,用缺失值同一行的上一个值填充,如果缺失值在第一列则不填充。
df.fillna(axis=0, method='pad')
按后一个值填充
当method 值为 backfill 或 bfill时,按后一个值进行填充。
当 axis = 0,用缺失值同一列的下一个值填充,如果缺失值在最后一行则不填充。
当 axis = 1,用缺失值同一行的下一个值填充,如果缺失值在最后一列则不填充。
df.fillna(axis=0, method='bfill')
指定相应的方法来填充
df.fillna(df.mean())
limit限制填充次数
在ABCD列上,每列只填充第一个空值。
df.fillna(value=666, axis=1, limit=1)
以上就是python数据分析之缺失值检测与处理详解的详细内容,更多关于Python 缺失值检测处理的资料请关注编程网其它相关文章!
--结束END--
本文标题: Python数据分析之缺失值检测与处理详解
本文链接: https://www.lsjlt.com/news/159016.html(转载时请注明来源链接)
有问题或投稿请发送至: 邮箱/279061341@qq.com QQ/279061341
下载Word文档到电脑,方便收藏和打印~
2024-03-01
2024-03-01
2024-03-01
2024-02-29
2024-02-29
2024-02-29
2024-02-29
2024-02-29
2024-02-29
2024-02-29
回答
回答
回答
回答
回答
回答
回答
回答
回答
回答
0