Polars库如何在python中使用

这期内容当中小编将会给大家带来有关Polars库如何在python中使用，文章内容丰富且以专业的角度为大家分析和叙述，阅读完这篇文章希望大家可以有所收获。

Python可以做什么

Python是一种编程语言，内置了许多有效的工具，Python几乎无所不能，该语言通俗易懂、容易入门、功能强大，在许多领域中都有广泛的应用，例如最热门的大数据分析，人工智能，web开发等。

Polars是通过Rust编写的一个库，Polars的内存模型是基于Apache Arrow。

Polars存在两种api，一种是Eager API，另一种则是Lazy API。

其中Eager API和pandas的使用类似，语法差不太多，立即执行就能产生结果。

而Lazy API就像spark，首先将查询转换为逻辑计划，然后对计划进行重组优化，以减少执行时间和内存使用。

安装Polars，使用百度pip源。

# 安装polarspip install polars -i https://mirror.baidu.com/pypi/simple/

安装成功后，开始测试，比较Pandas和Polars处理数据的情况。

使用某网站注册用户的用户名数据进行分析，包含约2600万个用户名的CSV文件。

文件已上传公众号，获取方式见文末。

import pandas as pddf = pd.read_csv('users.csv')print(df)

数据情况如下。

此外还使用了一个自己创建的CSV文件，用以数据整合测试。

import pandas as pddf = pd.read_csv('fake_user.csv')print(df)

得到结果如下。

首先比较一下两个库的排序算法耗时。

import timeitimport pandas as pdstart = timeit.default_timer()df = pd.read_csv('users.csv')df.sort_values('n', ascending=False)stop = timeit.default_timer()print('Time: ', stop - start)-------------------------Time:  27.555776743218303

可以看到使用Pandas对数据进行排序，花费了大约28s。

import timeitimport polars as plstart = timeit.default_timer()df = pl.read_csv('users.csv')df.sort(by_column='n', reverse=True)stop = timeit.default_timer()print('Time: ', stop - start)-----------------------Time:  9.924110282212496

Polars只花费了约10s，这意味着Polars比Pandas快了2.7倍。

下面，我们来试试数据整合的效果，纵向连接。

import timeitimport pandas as pdstart = timeit.default_timer()df_users = pd.read_csv('users.csv')df_fake = pd.read_csv('fake_user.csv')df_users.append(df_fake, ignore_index=True)stop = timeit.default_timer()print('Time: ', stop - start)------------------------Time:  15.556222308427095

使用Pandas耗时15s。

import timeitimport polars as plstart = timeit.default_timer()df_users = pl.read_csv('users.csv')df_fake = pl.read_csv('fake_user.csv')df_users.vstack(df_fake)stop = timeit.default_timer()print('Time: ', stop - start)-----------------------Time:  3.475433263927698

Polars居然最使用了约3.5s，这里Polars比Pandas快了4.5倍。

通过上面的比较，Polars在处理速度上表现得相当不错。

可以是大家在未来处理数据时，另一种选择～

当然，Pandas目前历时12年，已经形成了很成熟的生态，支持很多其它的数据分析库。

Polars则是一个较新的库，不足的地方还有很多。

如果你的数据集对于Pandas来说太大，对于Spark来说太小，那么Polars便是你可以考虑的一个选择。

上述就是小编为大家分享的Polars库如何在python中使用了，如果刚好有类似的疑惑，不妨参照上述分析进行理解。如果想知道更多相关知识，欢迎关注编程网Python频道。