返回顶部
首页 > 资讯 > 后端开发 > Python >Polars库如何在python中使用
  • 697
分享到

Polars库如何在python中使用

2023-06-14 14:06:24 697人浏览 安东尼

Python 官方文档:入门教程 => 点击学习

摘要

这期内容当中小编将会给大家带来有关Polars库如何在python中使用,文章内容丰富且以专业的角度为大家分析和叙述,阅读完这篇文章希望大家可以有所收获。Python可以做什么Python是一种编程语言,内置了许多有效的工具,Python几

这期内容当中小编将会给大家带来有关Polars库如何在python中使用,文章内容丰富且以专业的角度为大家分析和叙述,阅读完这篇文章希望大家可以有所收获。

Python可以做什么

Python是一种编程语言,内置了许多有效的工具,Python几乎无所不能,该语言通俗易懂、容易入门、功能强大,在许多领域中都有广泛的应用,例如最热门的大数据分析人工智能web开发等。

Polars是通过Rust编写的一个库,Polars的内存模型是基于Apache Arrow。

Polars存在两种api,一种是Eager API,另一种则是Lazy API。

其中Eager API和pandas的使用类似,语法差不太多,立即执行就能产生结果。

Polars库如何在python中使用

而Lazy API就像spark,首先将查询转换为逻辑计划,然后对计划进行重组优化,以减少执行时间和内存使用。

安装Polars,使用百度pip源。

# 安装polarspip install polars -i https://mirror.baidu.com/pypi/simple/

安装成功后,开始测试,比较Pandas和Polars处理数据的情况。

使用某网站注册用户的用户名数据进行分析,包含约2600万个用户名的CSV文件。

文件已上传公众号,获取方式见文末。

import pandas as pddf = pd.read_csv('users.csv')print(df)

数据情况如下。

Polars库如何在python中使用

此外还使用了一个自己创建的CSV文件,用以数据整合测试。

import pandas as pddf = pd.read_csv('fake_user.csv')print(df)

得到结果如下。

Polars库如何在python中使用

首先比较一下两个库的排序算法耗时。

import timeitimport pandas as pdstart = timeit.default_timer()df = pd.read_csv('users.csv')df.sort_values('n', ascending=False)stop = timeit.default_timer()print('Time: ', stop - start)-------------------------Time:  27.555776743218303

可以看到使用Pandas对数据进行排序,花费了大约28s。

import timeitimport polars as plstart = timeit.default_timer()df = pl.read_csv('users.csv')df.sort(by_column='n', reverse=True)stop = timeit.default_timer()print('Time: ', stop - start)-----------------------Time:  9.924110282212496

Polars只花费了约10s,这意味着Polars比Pandas快了2.7倍。

下面,我们来试试数据整合的效果,纵向连接。

import timeitimport pandas as pdstart = timeit.default_timer()df_users = pd.read_csv('users.csv')df_fake = pd.read_csv('fake_user.csv')df_users.append(df_fake, ignore_index=True)stop = timeit.default_timer()print('Time: ', stop - start)------------------------Time:  15.556222308427095

使用Pandas耗时15s。

import timeitimport polars as plstart = timeit.default_timer()df_users = pl.read_csv('users.csv')df_fake = pl.read_csv('fake_user.csv')df_users.vstack(df_fake)stop = timeit.default_timer()print('Time: ', stop - start)-----------------------Time:  3.475433263927698

Polars居然最使用了约3.5s,这里Polars比Pandas快了4.5倍。

通过上面的比较,Polars在处理速度上表现得相当不错。

可以是大家在未来处理数据时,另一种选择~

当然,Pandas目前历时12年,已经形成了很成熟的生态,支持很多其它的数据分析库。

Polars则是一个较新的库,不足的地方还有很多。

如果你的数据集对于Pandas来说太大,对于Spark来说太小,那么Polars便是你可以考虑的一个选择。

上述就是小编为大家分享的Polars库如何在python中使用了,如果刚好有类似的疑惑,不妨参照上述分析进行理解。如果想知道更多相关知识,欢迎关注编程网Python频道。

--结束END--

本文标题: Polars库如何在python中使用

本文链接: https://www.lsjlt.com/news/271604.html(转载时请注明来源链接)

有问题或投稿请发送至: 邮箱/279061341@qq.com    QQ/279061341

猜你喜欢
  • Polars库如何在python中使用
    这期内容当中小编将会给大家带来有关Polars库如何在python中使用,文章内容丰富且以专业的角度为大家分析和叙述,阅读完这篇文章希望大家可以有所收获。python可以做什么Python是一种编程语言,内置了许多有效的工具,Python几...
    99+
    2023-06-14
  • python Polars库的使用简介
    目录文件地址:大家好,我是小F~ 很多人在学习数据分析的时候,肯定都会用到Pandas这个库,非常的实用! 从创建数据到读取各种格式的文件(text、csv、json),或者对数据进...
    99+
    2024-04-02
  • urllib库如何在python中使用
    今天就跟大家聊聊有关urllib库如何在python中使用,可能很多人都不太了解,为了让大家更加了解,小编给大家总结了以下内容,希望大家根据这篇文章可以有所收获。1、请求模块:urllib.requestpython2import urll...
    99+
    2023-06-14
  • 如何在python中使用gensim库
    这篇文章给大家介绍如何在python中使用gensim库,内容非常详细,感兴趣的小伙伴们可以参考借鉴,希望对大家能有所帮助。python主要应用领域有哪些1、云计算,典型应用OpenStack。2、WEB前端开发,众多大型网站均为Pytho...
    99+
    2023-06-14
  • 如何在python中使用matlab库
    这期内容当中小编将会给大家带来有关如何在python中使用matlab库,文章内容丰富且以专业的角度为大家分析和叙述,阅读完这篇文章希望大家可以有所收获。Python的优点有哪些1、简单易用,与C/C++、Java、C# 等传统语言相比,P...
    99+
    2023-06-14
  • 如何在python中使用gin库
    这篇文章将为大家详细讲解有关如何在python中使用gin库,文章内容质量较高,因此小编分享给大家做个参考,希望大家阅读完这篇文章后对相关知识有一定的了解。Python主要用来做什么Python主要应用于:1、Web开发;2、数据科学研究;...
    99+
    2023-06-14
  • 如何在python中使用jieba库
    这篇文章将为大家详细讲解有关如何在python中使用jieba库,文章内容质量较高,因此小编分享给大家做个参考,希望大家阅读完这篇文章后对相关知识有一定的了解。python可以做什么Python是一种编程语言,内置了许多有效的工具,Pyth...
    99+
    2023-06-07
  • 如何在Python中使用curses库
    本篇文章为大家展示了如何在Python中使用curses库,内容简明扼要并且容易理解,绝对能使你眼前一亮,通过这篇文章的详细介绍希望你能有所收获。1、Python内置了curses库,但是对于Windows 操作系统需要安装一个补丁以进行适...
    99+
    2023-06-15
  • 如何在python中使用munch库
    这篇文章给大家介绍如何在python中使用munch库,内容非常详细,感兴趣的小伙伴们可以参考借鉴,希望对大家能有所帮助。1. 安装方法使用如下命令进行安装$ python -m pip instal...
    99+
    2023-06-15
  • 如何在python中中使用excel模块库
    本篇文章为大家展示了如何在python中中使用excel模块库,内容简明扼要并且容易理解,绝对能使你眼前一亮,通过这篇文章的详细介绍希望你能有所收获。openpyxlopenpyxl是⼀个Python库,用于读取/写⼊Excel 2010 ...
    99+
    2023-06-15
  • 如何在python中使用matplotlib库绘图
    这篇文章给大家介绍如何在python中使用matplotlib库绘图,内容非常详细,感兴趣的小伙伴们可以参考借鉴,希望对大家能有所帮助。首先介绍绘图时常用的基础命令:plt.plot(x,y)即为绘图命令。①基础画图:plt.plot(x,...
    99+
    2023-06-15
  • 如何在 Django 中使用 Python 缓存库?
    Django 是一个开源的 Python web 框架,它提供了许多强大的功能,可以帮助开发人员快速构建高性能的 web 应用程序。其中之一就是缓存,它可以让 Django 应用程序更快地响应用户请求。本文将介绍如何在 Django 中使用...
    99+
    2023-10-23
    缓存 django windows
  • 如何在python中使用xlwings库读写excel
    如何在python中使用xlwings库读写excel?相信很多没有经验的人对此束手无策,为此本文总结了问题出现的原因和解决方法,通过这篇文章希望你能解决这个问题。1、xlwings 中的逻辑:应用->工作簿->工作表->...
    99+
    2023-06-06
  • 如何在python中安装与使用selenium库
    如何在python中安装与使用selenium库?针对这个问题,这篇文章详细介绍了相对应的分析和解答,希望可以帮助更多想解决这个问题的小伙伴找到更简单易行的方法。第一步:python中安装selenium库和其他所有Python库一样,se...
    99+
    2023-06-15
  • 如何在python中使用paramiko第三方库
    这期内容当中小编将会给大家带来有关如何在python中使用paramiko第三方库,文章内容丰富且以专业的角度为大家分析和叙述,阅读完这篇文章希望大家可以有所收获。python是什么意思Python是一种跨平台的、具有解释性、编译性、互动性...
    99+
    2023-06-06
  • Python中如何使用Itertools库
    这篇文章将为大家详细讲解有关Python中如何使用Itertools库,文章内容质量较高,因此小编分享给大家做个参考,希望大家阅读完这篇文章后对相关知识有一定的了解。一、概念简介1. 什么是迭代器迭代器是由__next__方法组成的对象。它...
    99+
    2023-06-16
  • Python中如何使用ChatOps库
    Python中如何使用ChatOps库,针对这个问题,这篇文章详细介绍了相对应的分析和解答,希望可以帮助更多想解决这个问题的小伙伴找到更简单易行的方法。ChatOps 是基于会话导向而进行的开发。其思路是你可以编写能够对聊天窗口中的某些输入...
    99+
    2023-06-16
  • Python中如何使用NumPy库?
    NumPy是Python中最流行的科学计算库之一。它提供了一种高效的处理大型数组和矩阵的方法,同时也包含了许多用于数学、科学和工程计算的常用函数。本文将介绍NumPy库的基础知识以及如何使用它来进行数组和矩阵操作。 安装NumPy 在...
    99+
    2023-09-26
    api numpy spring
  • python中如何使用numpy库
    这篇文章主要介绍“python中如何使用numpy库”,在日常操作中,相信很多人在python中如何使用numpy库问题上存在疑惑,小编查阅了各式资料,整理出简单好用的操作方法,希望对大家解答”python中如何使用numpy库”的疑惑有所...
    99+
    2023-06-27
  • python中如何使用Matplotlib库
    这篇文章将为大家详细讲解有关python中如何使用Matplotlib库,小编觉得挺实用的,因此分享给大家做个参考,希望大家阅读完这篇文章后可以有所收获。Matplotlib是一个Python 2D绘图库,可以生成各种硬拷贝格式和跨平台交互...
    99+
    2023-06-02
软考高级职称资格查询
编程网,编程工程师的家园,是目前国内优秀的开源技术社区之一,形成了由开源软件库、代码分享、资讯、协作翻译、讨论区和博客等几大频道内容,为IT开发者提供了一个发现、使用、并交流开源技术的平台。
  • 官方手机版

  • 微信公众号

  • 商务合作