Python 官方文档：入门教程 => 点击学习
目录聚合函数和开窗函数开窗函数聚合开窗函数排序开窗函数开窗函数能在每行的最后一行都显示聚合函数的结果，所以聚合函数可以用作开窗函数 聚合函数和开窗函数 聚合函数是将多行变成一行，如果
开窗函数能在每行的最后一行都显示聚合函数的结果，所以聚合函数可以用作开窗函数
聚合函数是将多行变成一行，如果要显示其他列，必须将列加入group by
开窗函数是将一行变成多行，将所有的信息显示出来
聚合函数 over(partition by子句)
over关键字将聚合函数当作聚合开窗函数
sql标准允许所有的聚合函数用作聚合开窗函数
示例：
// spark.sql("select id, name, age, count(name) from person").show 报错
spark.sql("select id, name, age, count(name)over() sum from person").show
over后面的括号还可以改变聚合函数的窗口范围
如果over后面的括号为空，则开窗函数会对所有行进行聚合运算
over后面的括号里可以用partition by 来定义行的分区来进行聚合运算
partition by进行分区之后，计算当前分区的聚合计算的结果
spark.sql("select id, name, age, area_id, count(name)over(partition by area_id) sum from person").show
ROW_NUMBER顺序排序
row_number() over(order by score)
排序开窗函数中使用partition by 需要放置在order by之前
实例
spark.sql("select id, name, age, area_id, row_number() over(order by age) rank from person").show
spark.sql("select id, name, age, area_id, row_number() over(partition by area_id order by age) rank from person").show
RANK跳跃排序
rank() over(order by)
使用该函数排序求出来的结果可以并列
示例
spark.sql("select id, name, age, area_id, rank() over(order by age) rank from person").show
spark.sql("select id, name, age, area_id, rank() over(partition by area_id order by age) rank from person").show
DENSE_RANK连续排序
dense_rank() over(order by )
使用该函数，并列排名之后的排序+1
示例
spark.sql("select id, name, age, area_id, dense_rank() over(order by age) rank from person").show
spark.sql("select id, name, age, area_id, dense_rank() over(partition by area_id order by age) rank from person").show
NTILE分组排序
ntile(6) over(order by) // 表示分成六个组，显示每个组的序号spark.sql("select id, name, age, area_id, ntile(4) over(order by age) rank from person").show
spark.sql("select id, name, age, area_id, ntile(4) over(partition by area_id order by age) rank from person").show
到此这篇关于SparkSQL开窗函数分析使用示例的文章就介绍到这了,更多相关SparkSQL开窗函数内容请搜索编程网以前的文章或继续浏览下面的相关文章希望大家以后多多支持编程网！
--结束END--
本文标题: SparkSQL开窗函数分析使用示例
本文链接: https://www.lsjlt.com/news/178246.html(转载时请注明来源链接)
有问题或投稿请发送至: 邮箱/279061341@qq.com QQ/279061341
下载Word文档到电脑，方便收藏和打印～
2024-03-01
2024-03-01
2024-03-01
2024-02-29
2024-02-29
2024-02-29
2024-02-29
2024-02-29
2024-02-29
2024-02-29
回答
回答
回答
回答
回答
回答
回答
回答
回答
回答
官方手机版
微信公众号
商务合作
0