广告
返回顶部
首页 > 资讯 > 数据库 >「Flink」Flink中的时间类型
  • 955
分享到

「Flink」Flink中的时间类型

「Flink」Flink中的时间类型 2016-05-10 00:05:20 955人浏览 绘本
摘要

flink中的时间类型和窗口是非常重要概念,是学习Flink必须要掌握的两个知识点。Flink中的时间类型时间类型介绍Flink流式处理中支持不同类型的时间。分为以下几种:处理时间Flink程序执行对应操作的系统时间。所有基于时间

「Flink」Flink中的时间类型

flink中的时间类型和窗口是非常重要概念,是学习Flink必须要掌握的两个知识点。

Flink中的时间类型

时间类型介绍

Flink流式处理中支持不同类型的时间。分为以下几种:

  1. 处理时间
    • Flink程序执行对应操作的系统时间。所有基于时间的操作(例如:时间窗口)都将使用运行相应operator的系统时间。例如:每个小时的处理时间窗口包括在系统时间范围内所有operator接收到的记录。例如:如果应用程序在09:15开始运行,则第一个滚动时间窗口将包括:09:15 – 10:00 之间的处理事件,下一个窗口包括上午10:00 – 11:00之间的处理事件
    • 这种处理时间方式实时性是最好的,但数据未必准确
  2. 事件时间
    • 每个事件发生的时间。这个时间一般是在进入到Flink之前就包含在事件中
    • 针对Eventtime,事件被处理的时间以来与事件本身
    • Eventtime必须要指定如何生成Eventtime Watermark(水印)
    • 理想情况,不管事件何时到达或者顺序如何,事件时间处理能够得到完整一致地结果。
    • 事件处理在等待乱序事件时,会产生一些延迟。这样会对Eventtime的应用性能有一定的影响
  3. 摄入时间
    • 摄入时间是事件进入Flink的时间
    • 在source operator中,每个记录以时间戳的形式获取源的当前时间
    • 它在概念是处于事件时间和处理时间中间
    • 摄入时间不能处理乱序问题或者延迟数据,摄入时间可以由流式系统自动生成水印

Flink支持的这几种时间刚好和我们上一篇播客中的内容相对应。

https://www.cnblogs.com/ilovezihan/p/12254479.html

应用一张Flink官网的图。

image

Flink代码中设置时间类型

通常,我们在Flink初始化流式运行环境时,就会设置流处理时间特性。这个设置很重要,它决定了数据流的行为方式。(例如:是否需要给事件分配时间戳),以及窗口操作应该使用什么样的时间类型。例如:KeyedStream.timeWindow(Time.seconds(30))。


我们接下来通过实现一个每5秒中进行一次单词计数的案例,来说明Flink中如何指定时间类型。

public class WordCountWindow {
    public static void main(String[] args) throws Exception {
        // 1. 初始化流式运行环境
        Configuration conf = new Configuration();
        StreamExecutionEnvironment env = StreamExecutionEnvironment.createLocalEnvironmentWithWEBUI(conf);

        // 2. 设置时间处理类型,这里设置的方式处理时间
        env.setStreamTimeCharacteristic(TimeCharacteristic.ProcessingTime);

        // 3. 定义数据源,每秒发送一个hadoop单词
        DataStreamSource wordDS = env.addSource(new RichSourceFunction() {

            private boolean isCanaled = false;

            @Override
            public void run(SourceContext ctx) throws Exception {
                while (!isCanaled) {
                    ctx.collect("hadooop");
                    Thread.sleep(1000);
                }
            }

            @Override
            public void cancel() {
                isCanaled = true;
            }
        });

        // 4. 每5秒进行一次,分组统计
        // 4.1 转换为元组
        wordDS.map(word -> Tuple2.of(word, 1))
                // 指定返回类型
                .returns(Types.TUPLE(Types.STRING, Types.INT))
                // 按照单词进行分组
                .keyBy(t -> t.f0)
                // 滚动窗口,3秒计算一次
                .timeWindow(Time.seconds(3))
                .reduce(new ReduceFunction>() {
                    @Override
                    public Tuple2 reduce(Tuple2 value1, Tuple2 value2) throws Exception {
                        return Tuple2.of(value1.f0, value1.f1 + value2.f1);
                    }
                }, new RichWindowFunction, Tuple2, String, TimeWindow>() {
                    @Override
                    public void apply(String word, TimeWindow window, Iterable> input, Collector> out) throws Exception {

                        // 打印窗口开始、结束时间
                        SimpleDateFORMat sdf = new SimpleDateFormat("yyyy-MM-dd HH:mm:ss");
                        System.out.println("窗口开始时间:" + sdf.format(window.getStart())
                                + " 窗口结束时间:" + sdf.format(window.getEnd())
                                + " 窗口计算时间:" + sdf.format(System.currentTimeMillis()));

                        int sum = 0;
                        Iterator> iterator = input.iterator();
                        while(iterator.hasNext()) {
                            Integer count = iterator.next().f1;
                            sum += count;
                        }
                        out.collect(Tuple2.of(word, sum));
                    }
                }).print();

        env.execute("app");
    }
}

窗口开始时间:2020-02-05 00:22:21 窗口结束时间:2020-02-05 00:22:24 窗口计算时间:2020-02-05 00:22:24
4> (hadooop,2)
窗口开始时间:2020-02-05 00:22:24 窗口结束时间:2020-02-05 00:22:27 窗口计算时间:2020-02-05 00:22:27
4> (hadooop,3)
窗口开始时间:2020-02-05 00:22:27 窗口结束时间:2020-02-05 00:22:30 窗口计算时间:2020-02-05 00:22:30
4> (hadooop,3)
窗口开始时间:2020-02-05 00:22:30 窗口结束时间:2020-02-05 00:22:33 窗口计算时间:2020-02-05 00:22:33
4> (hadooop,3)
窗口开始时间:2020-02-05 00:22:33 窗口结束时间:2020-02-05 00:22:36 窗口计算时间:2020-02-05 00:22:36
4> (hadooop,3)
窗口开始时间:2020-02-05 00:22:36 窗口结束时间:2020-02-05 00:22:39 窗口计算时间:2020-02-05 00:22:39

我们可以看到,这个滚动窗口,每3秒计算一次,是按照系统时间来计算的。

我们再把时间窗口设置为1分钟,再试试。

窗口开始时间:2020-02-05 00:27:00 窗口结束时间:2020-02-05 00:28:00 窗口计算时间:2020-02-05 00:28:00
4> (hadooop,32)

窗口开始时间:2020-02-05 00:28:00 窗口结束时间:2020-02-05 00:29:00 窗口计算时间:2020-02-05 00:29:00
4> (hadooop,60)

刚好在 00:27:00 – 00:28:00之间。


参考文件:

Https://ci.apache.org/projects/flink/flink-docs-release-1.9/dev/event_time.html

您可能感兴趣的文档:

--结束END--

本文标题: 「Flink」Flink中的时间类型

本文链接: https://www.lsjlt.com/news/4074.html(转载时请注明来源链接)

有问题或投稿请发送至: 邮箱/279061341@qq.com    QQ/279061341

本篇文章演示代码以及资料文档资料下载

下载Word文档到电脑,方便收藏和打印~

下载Word文档
猜你喜欢
  • 「Flink」Flink中的时间类型
    Flink中的时间类型和窗口是非常重要概念,是学习Flink必须要掌握的两个知识点。Flink中的时间类型时间类型介绍Flink流式处理中支持不同类型的时间。分为以下几种:处理时间Flink程序执行对应操作的系统时间。所有基于时间...
    99+
    2016-05-10
    「Flink」Flink中的时间类型
  • Flink中的Time类型有哪些
    这篇文章主要讲解了“Flink中的Time类型有哪些”,文中的讲解内容简单清晰,易于学习与理解,下面请大家跟着小编的思路慢慢深入,一起来研究和学习“Flink中的Time类型有哪些”吧!**Processing Time**Processi...
    99+
    2023-06-19
  • 「Flink」事件时间与水印
    我们先来以滚动时间窗口为例,来看一下窗口的几个时间参数与Flink流处理系统时间特性的关系。获取窗口开始时间Flink源代码获取窗口的开始时间为以下代码:org.apache.flink.streaming.api.windowi...
    99+
    2019-07-13
    「Flink」事件时间与水印
  • Flink支持哪些数据类型?
    目录一、支持的数据类型二、Flink之Tuple类型三、Tuple的使用四、Flink之POJO类型五、Flink之基本类型六、Flink之通用类型七、Flink之值类型Values...
    99+
    2022-11-12
  • Flink支持的数据类型有哪些
    这篇文章将为大家详细讲解有关Flink支持的数据类型有哪些,文章内容质量较高,因此小编分享给大家做个参考,希望大家阅读完这篇文章后对相关知识有一定的了解。一、支持的数据类型Flink 对可以在 DataSet 或 DataStream 中的...
    99+
    2023-06-15
  • Flink编程模型是怎样的
    这篇文章主要讲解了“Flink编程模型是怎样的”,文中的讲解内容简单清晰,易于学习与理解,下面请大家跟着小编的思路慢慢深入,一起来研究和学习“Flink编程模型是怎样的”吧!抽象层次(Levels of Abstraction)Flink ...
    99+
    2023-06-02
  • MySQL中的时间类型
    时间是一类重要的数据,MySQL中有多种关于时间的类型可以选择。这篇文章主要介绍MySQL中的时间类型,主要参考MySQL文档:https://dev.mysql.com/doc/refman/8.0...
    99+
    2023-10-27
    mysql 数据库 java
  • 使用Flink CDC将Mysql中的数据实时同步到ES
    前言 最近公司要搞搜索,需要把mysql中的数据同步到es中来进行搜索,由于公司已经搭建了flink集群,就打算用flink来做这个同步。本来以为很简单,跟着官网文档走就好了,结果没想到折腾了将近一周...
    99+
    2023-09-01
    mysql flink elasticsearch
  • 使用flink的sql-client.sh,测试mysql-->kafka-->kafka-->mysql实时流
    目录 1. 环境介绍 2. mysql建表 3. flinksql建表 3.1 进入flinksql客户端  ​3.2 配置输出格式 ​3.3 flink建表 3.4 任务流配置 4. 测试 4.1 插入测试数据 4.2 查看结果表数据​ ...
    99+
    2023-09-09
    mysql flink kafka
  • flink和spark Streaming中Back Pressure的示例分析
    这篇文章将为大家详细讲解有关flink和spark Streaming中Back Pressure的示例分析,小编觉得挺实用的,因此分享给大家做个参考,希望大家阅读完这篇文章后可以有所收获。Spark Streaming的back pres...
    99+
    2023-06-19
  • 基于FLink实现实时安全检测的示例代码
    目录研发背景场景描述组件版本日志结构技术方案关键代码主入口类mapper算子filter算子keyBy算子窗口函数(核心代码)最后一次map算子ElasticSearch工具类事件实...
    99+
    2023-02-23
    FLink实时安全检测 FLink安全检测 FLink检测
  • 美团点评基于 Flink 的实时数仓建设实践
    引言近些年,企业对数据服务实时化服务需求日益增多。本文整理了常见实时数据组件的性能特点和适用场景,介绍了美团如何通过 Flink 引擎构建实时数据仓库,从而提供高效、稳健的实时数据服务。此前我们美团技术博客...
    99+
    2022-10-18
  • MySQL Flink实时流处理的核心技术之窗口机制
    目录1.为什么要学窗口2.Flink中的窗口3.滚动窗口(Tumble)3.1 概念3.2 案例SQL1.为什么要学窗口 流式计算,一般有两种场景: 无限制的流式计算,比如:word...
    99+
    2023-05-19
    MySQL Flink窗口 Flink窗口机制
  • 基于Flink和规则引擎的实时风控解决方案
    案例与解决方案汇总页: 阿里云实时计算产品案例&解决方案汇总...
    99+
    2022-10-18
  • 大数据实战中的Kudu、Flink和Mahout应用
    在大数据实战中,Kudu、Flink和Mahout都是常见的工具和框架。1. Kudu:Kudu是一个开源的列式存储系统,旨在提供快...
    99+
    2023-10-11
    大数据
  • flink中如何实现有状态stateful的计算
    小编给大家分享一下flink中如何实现有状态stateful的计算,相信大部分人都还不怎么了解,因此分享这篇文章给大家参考一下,希望大家阅读完这篇文章后大有收获,下面让我们一起去了解一下吧!import org.apache.fl...
    99+
    2023-06-02
  • 【Flink】关于jvm元空间溢出,mysql binlog冲突的问题解决
    问题一:7张表是同一个mysql中的,我们进行增量同步时分别用不同的flink任务读取,造成mysql server-id冲突问题,如下: Caused by: io.debezium.Debe...
    99+
    2023-10-10
    flink jvm mysql
  • MySQL 时间类型的选择
    目录DATETIMETIMESTAMP如何选择如何存储毫秒级时间结语MySQL 提供了 DATETIME 和 TIMESTAMP 两种非常相似的类型处理日期和时间,大部分情况下两种都是 OK 的,但是有些情况二者会互...
    99+
    2022-05-29
    MySQL 时间类型 MySQL 时间类型选择
  • mysql中什么是时间类型
    本篇文章给大家分享的是有关mysql中什么是时间类型,小编觉得挺实用的,因此分享给大家学习,希望大家阅读完这篇文章后可以有所收获,话不多说,跟着小编一起来看看吧。说明多种数据类型可用于表示日期和时间的表示。每一种时间类型都有一个有效的范围,...
    99+
    2023-06-20
  • mysql中有哪些时间类型
    这期内容当中小编将会给大家带来有关mysql中有哪些时间类型,文章内容丰富且以专业的角度为大家分析和叙述,阅读完这篇文章希望大家可以有所收获。        在mys...
    99+
    2022-10-18
软考高级职称资格查询
编程网,编程工程师的家园,是目前国内优秀的开源技术社区之一,形成了由开源软件库、代码分享、资讯、协作翻译、讨论区和博客等几大频道内容,为IT开发者提供了一个发现、使用、并交流开源技术的平台。
  • 官方手机版

  • 微信公众号

  • 商务合作