iis服务器助手广告广告
返回顶部
首页 > 资讯 > 后端开发 > Python >python数据分析必会的Pandas技巧汇总
  • 239
分享到

python数据分析必会的Pandas技巧汇总

2024-04-02 19:04:59 239人浏览 薄情痞子

Python 官方文档:入门教程 => 点击学习

摘要

目录一、pandas两大数据结构的创建二、DataFrame常见方法三、数据索引四、DataFrame选取和重新组合数据的方法五、排序六、相关分析和统计分析七、分组的方法八、读写文本

一、Pandas两大数据结构的创建

序号 方法 说明
1 pd.Series(对象,index=[ ]) 创建Series。对象可以是列表\ndarray、字典以及DataFrame中的某一行或某一列
2 pd.DataFrame(data,columns = [ ],index = [ ]) 创建DataFrame。columns和index为指定的列、行索引,并按照顺序排列

举例:用pandas创建数据表:


df = pd.DataFrame({"id":[1001,1002,1003,1004,1005,1006], 
 "date":pd.date_range('20130102', periods=6),
  "city":['Beijing ', 'SH', ' guangzhou ', 'Shenzhen', 'shanghai', 'BEIJING '],
 "age":[23,44,54,32,34,32],
 "cateGory":['100-A','100-B','110-A','110-C','210-A','130-F'],
  "price":[1200,np.nan,2133,5433,np.nan,4432]},
  columns =['id','date','city','category','age','price'])

二、DataFrame常见方法

序号 方法 说明
1 df.head() 查询数据的前五行
2 df.tail() 查询数据的末尾5行
3 pandas.qcut() 基于秩或基于样本分位数将变量离散化为等大小桶
4 pandas.cut() 基于分位数的离散化函数
5 pandas.date_range() 返回一个时间索引
6 df.apply() 沿相应轴应用函数
7 Series.value_counts() 返回不同数据的计数值
8 df.reset_index() 重新设置index,参数drop = True时会丢弃原来的索引,设置新的从0开始的索引,常与groupby()一起用

举例:重新索引

df_inner.reset_index()

三、数据索引

序号 方法 说明
1 .values 将DataFrame转换为ndarray二维数组
2 .append(idx) 连接另一个Index对象,产生新的Index对象
3 .insert(loc,e) 在loc位置增加一个元素
4 .delete(loc) 删除loc位置处的元素
5 .uNIOn(idx) 计算并集
6 .intersection(idx) 计算交集
7 .diff(idx) 计算差集,产生新的Index对象
8 .reindex(index, columns ,fill_value, method, limit, copy ) 改变、重排Series和DataFrame索引,会创建一个新对象,如果某个索引值当前不存在,就引入缺失值。
9 .drop() 删除Series和DataFrame指定行或列索引。
10 .loc[行标签,列标签] 通过标签查询指定的数据,第一个值为行标签,第二值为列标签。
11 df.iloc[行位置,列位置] 通过默认生成的数字索引查询指定的数据。

举例:按索引提取单行的数值

df_inner.loc[3]

四、DataFrame选取和重新组合数据的方法

序号 方法 说明
1 df[val] 从DataFrame选取单列或一组列;在特殊情况下比较便利:布尔型数组(过滤行)、切片(行切片)、或布尔型DataFrame(根据条件设置值)
2 df.loc[val] 通过标签,选取DataFrame的单个行或一组行
3 df.loc[:,val] 通过标签,选取单列或列子集
4 df.1oc[val1,val2] 通过标签,同时选取行和列
5 df.iloc[where] 通过整数位置,从DataFrame选取单个行或行子集
6 df.iloc[:,where] 通过整数位置,从DataFrame选取单个列或列子集
7 df.iloc[where_i,where_j] 通过整数位置,同时选取行和列
8 df.at[1abel_i,1abel_j] 通过行和列标签,选取单一的标量
9 df.iat[i,j] 通过行和列的位置(整数),选取单一的标量
10 reindex 通过标签选取行或列
11 get_value 通过行和列标签选取单一值
12 set_value 通过行和列标签选取单一值

举例:使用iloc按位置区域提取数据

df_inner.iloc[:3,:2]

#冒号前后的数字不再是索引的标签名称,而是数据所在的位置,从0开始,前三行,前两列。

五、排序

序号 函数 说明
1 .sort_index(axis=0, ascending=True) 根据指定轴索引的值进行排序
2 Series.sort_values(axis=0, ascending=True) 只能根据0轴的值排序。
3 DataFrame.sort_values(by, axis=0, ascending=True) 参数by为axis轴上的某个索引或索引列表。

举例:按照索引列排序

df_inner.sort_index()

六、相关分析和统计分析

序号 方法 说明
1 .idxmin() 计算数据最小值所在位置的索引(自定义索引)
2 .idxmax() 计算数据最大值所在位置的索引(自定义索引)
3 .argmin() 计算数据最小值所在位置的索引位置(自动索引)
4 .argmax() 计算数据最大值所在位置的索引位置(自动索引)
5 .describe() 针对各列的多个统计汇总,用统计学指标快速描述数据的概要
6 .sum() 计算各列数据的和
7 .count() 非NaN值的数量
8 .mean( ) 计算数据的算术平均值
9 .median() 计算算术中位数
10 .var() 计算数据的方差
11 .std() 计算数据的标准差
12 .corr() 计算相关系数矩阵
13 .cov() 计算协方差矩阵
14 .corrwith() 利用DataFrame的corrwith方法,可以计算其列或行跟另一个Series或DataFrame之间的相关系数。
15 .min() 计算数据的最小值
16 .max() 计算数据的最大值
17 .diff() 计算一阶差分,对时间序列很有效
18 .mode() 计算众数,返回频数最高的那(几)个
19 .mean() 计算均值
20 .quantile() 计算分位数(0到1)
21 .isin() 用于判断矢量化集合的成员资格,可用于过滤Series中或DataFrame列中数据的子集
22 .unique() 返回一个Series中的唯一值组成的数组。
23 .value_counts() 计算一个Series中各值出现的频率。

举例:判断city列的值是否为北京

df_inner['city'].isin(['beijing']) 

七、分组的方法

序号 方法 说明
1 DataFrame.groupby() 分组函数
2 pandas.cut() 根据数据分析对象的特征,按照一定的数值指标,把数据分析对象划分为不同的区间部分来进行研究,以揭示其内在的联系和规律性。

举例:.groupby用法

group_by_name=salaries.groupby('name')
print(type(group_by_name))

输出结果为:

class 'pandas.core.groupby.DataFrameGroupBy'

八、读写文本格式数据的方法

序号 方法 说明
1 read_csv 从文件、URL、文件型对象中加载带分隔符的数据。默认分隔符为逗号
2 read_table 从文件、URL、文件型对象中加载带分隔符的数据。默认分隔符为制表符(t)
3 read_ fwf 读取定宽列格式数据(也就是说,没有分隔符)
4 read_clipboard 读取剪贴板中的数据,可以看做read_table的剪贴板版。再将网页转换为表格时很有用
5 read_excel 从ExcelXLS或XLSXfile 读取表格数据
6 read_hdf 读取pandas写的HDF5文件
7 read_html 读取HTML文档中的所有表格
8 read_JSON 读取jsON字符串中的数据
9 read_msgpack 二进制格式编码的pandas数据
10 read_pickle 读取python pickle格式中存储的任意对象
11 read_sas 读取存储于SAS系统自定义存储格式的SAS数据集
12 read_sql 读取SQL 查询结果为pandas的DataFrame
13 read_stata 读取Stata文件格式的数据集
14 read_feather 读取 Feather二进制文件格式

举例:导入CSV或者xlsx文件

df = pd.DataFrame(pd.read_csv('name.csv',header=1))
df = pd.DataFrame(pd.read_excel('name.xlsx'))

九、处理缺失数据

序号 方法 说明
1 .fillna(value,method,limit,inplace) 填充缺失值
2 .dropna() 删除缺失数据
3 .info() 查看数据的信息,包括每个字段的名称、非空数量、字段的数据类型
4 .isnull() 返回一个同样长度的值为布尔型的对象(Series或DataFrame),表示哪些值是缺失的

举例:查看数据表基本信息(维度、列名称、数据格式等等)

df.info()

十、数据转换

序号 方法 说明
1 .replace(old, new) 用新的数据替换老的数据,如果希望一次性替换多个值,old和new可以是列表。默认会返回一个新的对象,传入inplace=True可以对现有对象进行就地修改。
2 .duplicated() 判断各行是否是重复行,返回一个布尔型Series。
3 .drop_duplicates() 删除重复行,返回删除后的DataFrame对象。

举例:删除后出现的重复值:

df['city'].drop_duplicates()

本文总结的是都是一些Pandas常用的方法,至于一些基础的概念还需要你学到Pandas的时候去理解,例如Series是什么?DataFrame是什么?如果你已经清楚了Pandas的这些基础东西之后,搭配上文章中的这些方法,那你用Pandas去做数据处理和分析必然会游刃有余。

--结束END--

本文标题: python数据分析必会的Pandas技巧汇总

本文链接: https://www.lsjlt.com/news/132804.html(转载时请注明来源链接)

有问题或投稿请发送至: 邮箱/279061341@qq.com    QQ/279061341

本篇文章演示代码以及资料文档资料下载

下载Word文档到电脑,方便收藏和打印~

下载Word文档
猜你喜欢
  • python数据分析必会的Pandas技巧汇总
    目录一、Pandas两大数据结构的创建二、DataFrame常见方法三、数据索引四、DataFrame选取和重新组合数据的方法五、排序六、相关分析和统计分析七、分组的方法八、读写文本...
    99+
    2024-04-02
  • Pandas提高数据分析效率的13个技巧汇总
    目录1.计算变量缺失率2.获取分组里最大值所在的行方法3.多列合并为一行4.删除包含特定字符串所在的行5.组内排序6.选择特定类型的列7.字符串转换为数值8.优化 DataFrame...
    99+
    2024-04-02
  • Pandas数据处理加速技巧汇总
    目录数据准备日期时间数据优化数据的简单循环循环 .itertuples() 和 .iterrows() 方法.apply() 方法.isin() 数据选择.cut() 数据分箱Num...
    99+
    2024-04-02
  • 必备的JS调试技巧汇总
    1. 使用console.log()打印调试信息:可以使用console.log()在控制台输出变量的值,以便查看和验证代码的执行结...
    99+
    2023-09-15
    JS
  • Python必备技巧之Pandas数据合并函数
    目录1. concat2. append3. merge4. join5. combine总结1. concat concat是pandas中专门用于数据连接合并的函数,功能非常强大...
    99+
    2024-04-02
  • 优化pandas数据分析的技巧和方法
    提高数据分析效率的pandas技巧与窍门 引言 在现代数据分析领域,pandas是一种非常广泛使用的Python库。它提供了高效、灵活和丰富的数据结构和数据处理工具,使得数据分析变得更加简单和高效。然而,要想真正发挥pandas...
    99+
    2024-01-13
    数据清洗 数据聚合 数据转换
  • Python数据处理的26个Pandas实用技巧总结
    目录从剪贴板中创建DataFram将DataFrame划分为两个随机的子集多种类型过滤DataFrameDataFrame筛选数量最多类别处理缺失值一个字符串划分成多列Series扩...
    99+
    2024-04-02
  • 实时数据分析必备:Python 接口的使用技巧
    随着大数据时代的到来,越来越多的公司需要对海量数据进行实时分析。而Python作为一种高效、易用的编程语言,已经成为了数据分析领域的重要工具。本文将介绍Python接口的使用技巧,帮助您更好地进行实时数据分析。 一、Python接口的基本...
    99+
    2023-07-28
    接口 大数据 实时
  • 有哪些Python数据分析技巧
    这篇文章主要介绍“有哪些Python数据分析技巧”,在日常操作中,相信很多人在有哪些Python数据分析技巧问题上存在疑惑,小编查阅了各式资料,整理出简单好用的操作方法,希望对大家解答”有哪些Python数据分析技巧”的疑惑有所帮助!接下来...
    99+
    2023-06-16
  • 新手必会的Python技巧有哪些
    小编给大家分享一下新手必会的Python技巧有哪些,希望大家阅读完这篇文章之后都有所收获,下面让我们一起去探讨吧!清理字符串输入对用户输入进行清理的问题几乎适用于您编写的所有程序。通常情况下,将字符转换为小写或大写就足够了,有时您可以使用R...
    99+
    2023-06-16
  • python数据分析之pandas数据选
      Pandas是作为Python数据分析著名的工具包,提供了多种数据选取的方法,方便实用。本文主要介绍Pandas的几种数据选取的方法。   Pandas中,数据主要保存为Dataframe和Series是数据结构,这两种数据结构数据...
    99+
    2023-01-30
    数据 python pandas
  • Python数据分析--Pandas知识
    本文主要是总结学习pandas过程中用到的函数和方法, 在此记录, 防止遗忘 1. 重复值的处理 利用drop_duplicates()函数删除数据表中重复多余的记录, 比如删除重复多余的ID. 1 import pandas as p...
    99+
    2023-01-30
    知识 数据 Python
  • Oracle中的分析函数汇总
    目录一、概述1、分析函数和聚合函数的不同之处是什么?2、分析函数的形式3、OVER解析4、Oracle分析函数简单实例:二、分析函数:Rank, Dense_rank, row_nu...
    99+
    2024-04-02
  • Python数据分析库之pandas,你
    写这个系列背后的故事 咦,面试系列的把基础部分都写完啦,哈哈答,接下来要弄啥嘞~ pandas吧 外国人开发的 翻译成汉语叫 熊猫 厉害厉害,很接地气 一个基于numpy的库 干啥的? 做数据分析用的 而数据分析是python体系下一个...
    99+
    2023-01-31
    数据 Python pandas
  • Python数据分析23种Pandas核心操作方法总结
    目录基本数据集操作基本数据处理DataFrame 操作Pandas 是一个 Python 软件库,它提供了大量能使我们快速便捷地处理数据的函数和方法。一般而言,Pandas 是使 P...
    99+
    2024-04-02
  • Python Pandas数据结构的示例分析
    这篇文章将为大家详细讲解有关Python Pandas数据结构的示例分析,小编觉得挺实用的,因此分享给大家做个参考,希望大家阅读完这篇文章后可以有所收获。1 Pandas介绍2008年WesMcKinney开发出的库专门用于数据挖...
    99+
    2023-06-29
  • Python 数据分析的艺术:探索高级技巧和技术
    数据预处理的优化 缺失值处理: interpolate() 函数:使用插值方法填充缺失值。 KNNImputer() 模块:通过 K 最近邻算法估计缺失值。 MICE 方法:通过多重插补创建多个数据集并组合结果。 异常值检测和处理: ...
    99+
    2024-03-12
    掌握 Python 数据分析的精髓不仅仅限于掌握基础知识。通过利用高级技巧和技术 数据分析师可以提升他们的效率、提高模型的准确性 并获得更深入的见解。
  • 加速Python数据分析的小技巧分别有哪些
    这期内容当中小编将会给大家带来有关加速Python数据分析的小技巧分别有哪些,文章内容丰富且以专业的角度为大家分析和叙述,阅读完这篇文章希望大家可以有所收获。有时候,一点小小的黑客行为可以节省时间,挽救生命。一个小小的快捷方式或附加组件有时...
    99+
    2023-06-16
  • Python的Pandas时序数据实例分析
    这篇文章主要讲解了“Python的Pandas时序数据实例分析”,文中的讲解内容简单清晰,易于学习与理解,下面请大家跟着小编的思路慢慢深入,一起来研究和学习“Python的Pandas时序数据实例分析”吧!Pandas时序数据前言 在数据分...
    99+
    2023-06-29
  • Python数据分析之pandas函数详解
    目录一、apply和applymap二、排序三、处理缺失数据一、apply和applymap 1. 可直接使用NumPy的函数 示例代码: # Numpy ufunc 函数 df...
    99+
    2024-04-02
软考高级职称资格查询
编程网,编程工程师的家园,是目前国内优秀的开源技术社区之一,形成了由开源软件库、代码分享、资讯、协作翻译、讨论区和博客等几大频道内容,为IT开发者提供了一个发现、使用、并交流开源技术的平台。
  • 官方手机版

  • 微信公众号

  • 商务合作