iis服务器助手广告广告
返回顶部
首页 > 资讯 > 数据库 >MySQL Flink实时流处理的核心技术之窗口机制
  • 282
分享到

MySQL Flink实时流处理的核心技术之窗口机制

MySQL Flink窗口Flink窗口机制 2023-05-19 14:05:38 282人浏览 泡泡鱼
摘要

目录1.为什么要学窗口2.flink中的窗口3.滚动窗口(Tumble)3.1 概念3.2 案例sql1.为什么要学窗口 流式计算,一般有两种场景: 无限制的流式计算,比如:Word

1.为什么要学窗口

流式计算,一般有两种场景:

  • 无限制的流式计算,比如:Wordcount案例,它没有任何外部的限制条件,这种情况不多。
  • 有限制的流式计算,比如:统计早高峰时间内经过某个道路的车辆数。

对于第二种情况来说,我们需要加上额外的限制条件。最常用的限制条件就是时间了。

这个时间段,在程序中,就用一个窗口来表示。

也就是说,窗口的作用:把流式计算转换为批量计算,窗口是流转批的一个桥梁。

这就是为什么要学窗口的原因了。

2.Flink中的窗口

在Flink中,窗口可以分为如下几类:

  • 滚动窗口(Tumble)
  • 滑动窗口(hop、Slice)
  • 会话窗口(session)
  • 渐进式窗口(cumulate)
  • 聚合窗口(over)

3.滚动窗口(Tumble)

3.1 概念

滚动窗口 :窗口大小 = 滚动距离(时间间隔)

特点:上一个窗口的结束就是下一个窗口的开始,数据不重复、也不丢失。

3.2 案例SQL

#1.创建source表
CREATE TABLE source_table ( 
 user_id STRING, 
 price BIGINT,
 `timestamp` bigint,
 row_time AS TO_TIMESTAMP(FROM_UNIXTIME(`timestamp`)),
 watermark for row_time as row_time - interval '0' second
) WITH (
  'connector' = 'Socket',
  'hostname' = 'node1',        
  'port' = '9999',
  'fORMat' = 'csv'
);
#2.语法
tumble(事件时间列,窗口大小)
窗口大小是用户自定义的。比如30分钟、1小时等。
直接把tumble窗口放在group by语句后即可。
比如:tumble(row_time,interval '5' second)
含义:定义一个5秒大小的滚动窗口。
#3.数据处理
select 
user_id,
count(*) as pv,
    sum(price) as sum_price,
UNIX_TIMESTAMP(CAST(tumble_start(row_time, interval '5' second) AS STRING)) * 1000  as window_start,
UNIX_TIMESTAMP(CAST(tumble_end(row_time, interval '5' second) AS STRING)) * 1000  as window_end
from source_table
group by
    user_id,
    tumble(row_time, interval '5' second);

到此这篇关于Mysql Flink实时流处理的核心技术之窗口机制的文章就介绍到这了,更多相关mysql Flink窗口机制内容请搜索编程网以前的文章或继续浏览下面的相关文章希望大家以后多多支持编程网!

您可能感兴趣的文档:

--结束END--

本文标题: MySQL Flink实时流处理的核心技术之窗口机制

本文链接: https://www.lsjlt.com/news/213292.html(转载时请注明来源链接)

有问题或投稿请发送至: 邮箱/279061341@qq.com    QQ/279061341

本篇文章演示代码以及资料文档资料下载

下载Word文档到电脑,方便收藏和打印~

下载Word文档
猜你喜欢
软考高级职称资格查询
编程网,编程工程师的家园,是目前国内优秀的开源技术社区之一,形成了由开源软件库、代码分享、资讯、协作翻译、讨论区和博客等几大频道内容,为IT开发者提供了一个发现、使用、并交流开源技术的平台。
  • 官方手机版

  • 微信公众号

  • 商务合作