iis服务器助手广告广告
返回顶部
首页 > 资讯 > 后端开发 > Python >Pandas自定义shift与DataFrame求差集的小技巧
  • 746
分享到

Pandas自定义shift与DataFrame求差集的小技巧

2024-04-02 19:04:59 746人浏览 薄情痞子

Python 官方文档:入门教程 => 点击学习

摘要

目录pandas的高级shift偏移Datafream对象求差集总结 大家好,我是小小明。今天分享两个小技巧: Pandas的高级shift偏移 有很多玩量化的朋友经常碰到

大家好,我是小小明。今天分享两个小技巧:

Pandas的高级shift偏移

有很多玩量化的朋友经常碰到类似这样的问题:

image-20210719013514514

其中有位量化大佬居然在半年后的今天又问了我一遍怎么实现这样的效果,他居然忘了我之前给他写过实现。为了避免有人再碰到类似的问题,特别写下此文。

我们知道Pandas默认的api是不支持这样的操作的,这个只能自己想办法实现。下面我借助数值索引实现这样的功能,并封装起来。

最终我们封装的方法如下:

import numpy as np
import pandas as pd

def adv_shift(s, n, na_value=pd.NA):
    t = np.arange(s.shape[0])-n
    t[t < 0] = s.shape[0]
    tmp = s.append(pd.Series(na_value))
    return pd.Series(tmp.iloc[t].values, index=s.index)

然后生成测试数据完成这个需求:

df = pd.DataFrame({"a": [200, 300, 500, 800, 600], "b": [1, 1, 1, 2, 1]})
df['c'] = df.a-adv_shift(df.a, df.b, 0)
df
 abc
02001200
13001100
25001200
38002500
46001-200

可以看到结果完全满足要求。

如果你希望直接给DataFrame对象增加高级偏移adv_shift方法,则可以这样写:

def adv_shift(self, field, n, na_value=pd.NA):
    t = np.arange(self.shape[0])-self[n]
    s = self[field]
    t[t < 0] = s.shape[0]
    tmp = s.append(pd.Series(na_value))
    return pd.Series(tmp.iloc[t].values, index=s.index)

pd.DataFrame.adv_shift = adv_shift

调用方式:

df['c'] = df.a-df.adv_shift("a", "b", 0)
df
 abc
02001200
13001100
25001200
38002500
46001-200

最终结果与上述一致。

Datafream对象求差集

下面我们再看看如何求解Datafream对象的交集、并集和差集:

import pandas as pd

df1 = pd.DataFrame([[1, 11], [2, 22], [3, 33]],
                   columns=['a', 'b'])
df2 = pd.DataFrame([[0, 0], [1, 11], [2, 22], [4, 44]], columns=['a', 'b'])
display(df1)
display(df2)

image-20210719014818463

交集和并集一般的实现都是使用merge方法。

取交集:

df1.merge(df2)

去并集:

df1.merge(df2, how='outer')

关于取差集,我采用的是去重法。思路是,将df1与df2拼接,然后将重复的都去掉不保留,为了将df2全部去掉,将df2拼接两次,这样所有df2的数据都会产生重新而被删除,df1存在于与df2一致的数据也会被删除。

代码为:

pd.concat([df1, df2, df2]).drop_duplicates(keep=False)

测试结果:

image-20210719020032890

总结 

到此这篇关于Pandas自定义shift与DataFrame求差集的文章就介绍到这了,更多相关Pandas shift与DataFrame求差集内容请搜索编程网以前的文章或继续浏览下面的相关文章希望大家以后多多支持编程网!

--结束END--

本文标题: Pandas自定义shift与DataFrame求差集的小技巧

本文链接: https://www.lsjlt.com/news/140705.html(转载时请注明来源链接)

有问题或投稿请发送至: 邮箱/279061341@qq.com    QQ/279061341

本篇文章演示代码以及资料文档资料下载

下载Word文档到电脑,方便收藏和打印~

下载Word文档
猜你喜欢
软考高级职称资格查询
编程网,编程工程师的家园,是目前国内优秀的开源技术社区之一,形成了由开源软件库、代码分享、资讯、协作翻译、讨论区和博客等几大频道内容,为IT开发者提供了一个发现、使用、并交流开源技术的平台。
  • 官方手机版

  • 微信公众号

  • 商务合作