广告
返回顶部
首页 > 资讯 > 后端开发 > Python >Netty分布式行解码器逻辑源码解析
  • 632
分享到

Netty分布式行解码器逻辑源码解析

2024-04-02 19:04:59 632人浏览 安东尼

Python 官方文档:入门教程 => 点击学习

摘要

目录行解码器LineBasedFrameDecoder首先看其参数我们跟到重载的decode方法中我们看findEndOfLine(buffer)方法前文传送门:Netty分布式固定

前文传送门:Netty分布式固定长度解码器实现原理剖析

这一小节了解下行解码器LineBasedFrameDecoder, 行解码器的功能是一个字节流, 以\r\n或者直接以\n结尾进行解码, 也就是以换行符为分隔进行解析

同样, 这个解码器也继承了ByteToMessageDecoder

行解码器LineBasedFrameDecoder

首先看其参数

//数据包的最大长度, 超过该长度会进行丢弃模式
private final int maxLength;
//超出最大长度是否要抛出异常
private final boolean failFast;
//最终解析的数据包是否带有换行符
private final boolean stripDelimiter;
//为true说明当前解码过程为丢弃模式
private boolean discarding;
//丢弃了多少字节
private int discardedBytes;

其中的丢弃模式, 我们会在源码中看到其中的含义

我们看其decode方法

protected final void decode(ChannelHandlerContext ctx, ByteBuf in, List<Object> out) throws Exception {
    Object decoded = decode(ctx, in);
    if (decoded != null) {
        out.add(decoded);
    }
}

这里的decode方法和我们上一小节分析的decode方法一样, 调用重载的decode方法, 并将解码后的内容放到out集合

我们跟到重载的decode方法中

protected Object decode(ChannelHandlerContext ctx, ByteBuf buffer) throws Exception {
    //找这行的结尾
    final int eol = findEndOfLine(buffer);
    if (!discarding) {
        if (eol >= 0) {
            final ByteBuf frame;
            //计算从换行符到可读字节之间的长度
            final int length = eol - buffer.readerIndex();
            //拿到分隔符长度, 如果是\r\n结尾, 分隔符长度为2
            final int delimLength = buffer.getByte(eol) == '\r'? 2 : 1;
            //如果长度大于最大长度
            if (length > maxLength) {
                //指向换行符之后的可读字节(这段数据完全丢弃)
                buffer.readerIndex(eol + delimLength);
                //传播异常事件
                fail(ctx, length);
                return null;
            }
            //如果这次解析的数据是有效的
            //分隔符是否算在完整数据包里
            //true为丢弃分隔符
            if (stripDelimiter) {
                //截取有效长度
                frame = buffer.readRetainedSlice(length);
                //跳过分隔符的字节
                buffer.skipBytes(delimLength);
            } else {
                //包含分隔符
                frame = buffer.readRetainedSlice(length + delimLength);
            }

            return frame;
        } else {
            //如果没找到分隔符(非丢弃模式)
            //可读字节长度
            final int length = buffer.readableBytes();
            //如果朝超过能解析的最大长度
            if (length > maxLength) {
                //将当前长度标记为可丢弃的
                discardedBytes = length;
                //直接将读指针移动到写指针
                buffer.readerIndex(buffer.writerIndex());
                //标记为丢弃模式
                discarding = true;
                //超过最大长度抛出异常
                if (failFast) {
                    fail(ctx, "over " + discardedBytes);
                }
            }
            //没有超过, 则直接返回
            return null;
        }
    } else {
        //丢弃模式
        if (eol >= 0) {
            //找到分隔符
            //当前丢弃的字节(前面已经丢弃的+现在丢弃的位置-写指针)
            final int length = discardedBytes + eol - buffer.readerIndex();
            //当前换行符长度为多少
            final int delimLength = buffer.getByte(eol) == '\r'? 2 : 1;
            //读指针直接移到换行符+换行符的长度
            buffer.readerIndex(eol + delimLength);
            //当前丢弃的字节为0
            discardedBytes = 0;
            //设置为未丢弃模式
            discarding = false;
            //丢弃完字节之后触发异常
            if (!failFast) {
                fail(ctx, length);
            }
        } else {
            //累计已丢弃的字节个数+当前可读的长度
            discardedBytes += buffer.readableBytes();
            //移动
            buffer.readerIndex(buffer.writerIndex());
        }
        return null;
    }
}

 final int eol = findEndOfLine(buffer) 

这里是找当前行的结尾的索引值, 也就是\r\n或者是\n:

6-3-1

图中不难看出, 如果是以\n结尾的, 返回的索引值是\n的索引值, 如果是\r\n结尾的, 返回的索引值是\r的索引值

我们看findEndOfLine(buffer)方法

private static int findEndOfLine(final ByteBuf buffer) {
    //找到/n这个字节
    int i = buffer.forEachByte(ByteProcessor.FIND_LF);
    //如果找到了, 并且前面的字符是-r, 则指向/r字节
    if (i > 0 && buffer.getByte(i - 1) == '\r') {
        i--;
    }
    return i;
}

这里通过一个forEachByte方法找\n这个字节, 如果找到了, 并且前面是\r, 则返回\r的索引, 否则返回\n的索引

回到重载的decode方法中:

 if (!discarding) 判断是否为非丢弃模式, 默认是就是非丢弃模式, 所以进入if中

 if (eol >= 0) 如果找到了换行符, 我们看非丢弃模式下找到换行符的相关逻辑:

final ByteBuf frame; 
final int length = eol - buffer.readerIndex();
final int delimLength = buffer.getByte(eol) == '\r'? 2 : 1; 
if (length > maxLength) {
    buffer.readerIndex(eol + delimLength);
    fail(ctx, length);
    return null;
} 
if (stripDelimiter) { 
    frame = buffer.readRetainedSlice(length); 
    buffer.skipBytes(delimLength);
} else { 
    frame = buffer.readRetainedSlice(length + delimLength);
}
return frame;

首先获得换行符到可读字节之间的长度, 然后拿到换行符的长度, 如果是\n结尾, 那么长度为1, 如果是\r结尾, 长度为2

 if (length > maxLength) 带表如果长度超过最大长度, 则直接通过 readerIndex(eol + delimLength) 这种方式, 将读指针指向换行符之后的字节, 说明换行符之前的字节需要完全丢弃

6-3-2

丢弃之后通过fail方法传播异常, 并返回null

继续往下看, 走到下一步, 说明解析出来的数据长度没有超过最大长度, 说明是有效数据包

 if (stripDelimiter) 表示是否要将分隔符放在完整数据包里面, 如果是true, 则说明要丢弃分隔符, 然后截取有效长度, 并跳过分隔符长度

将包含分隔符进行截取

以上就是非丢弃模式下找到换行符的相关逻辑

我们再看非丢弃模式下没有找到换行符的相关逻辑, 也就是非丢弃模式下,  if (eol >= 0) 中的else块:

final int length = buffer.readableBytes();
if (length > maxLength) { 
    discardedBytes = length; 
    buffer.readerIndex(buffer.writerIndex());
    discarding = true; 
    if (failFast) {
        fail(ctx, "over " + discardedBytes);
    }
} 
return null;

首先通过 final int length = buffer.readableBytes() 获取所有的可读字节数

然后判断可读字节数是否超过了最大值, 如果超过最大值, 则属性discardedBytes标记为这个长度, 代表这段内容要进行丢弃

6-3-3

 buffer.readerIndex(buffer.writerIndex()) 这里直接将读指针移动到写指针, 并且将discarding设置为true, 就是丢弃模式

如果可读字节没有超过最大长度, 则返回null, 表示什么都没解析出来, 等着下次解析

我们再看丢弃模式的处理逻辑, 也就是 if (!discarding) 中的else块:

首先这里也分两种情况, 根据 if (eol >= 0) 判断是否找到了分隔符, 我们首先看找到分隔符的解码逻辑:

final int length = discardedBytes + eol - buffer.readerIndex();
final int delimLength = buffer.getByte(eol) == '\r'? 2 : 1;
buffer.readerIndex(eol + delimLength);
discardedBytes = 0;
discarding = false;
if (!failFast) {
    fail(ctx, length);
}

如果找到换行符, 则需要将换行符之前的数据全部丢弃掉

6-3-4

 final int length = discardedBytes + eol - buffer.readerIndex() 

这里获得丢弃的字节总数, 也就是之前丢弃的字节数+现在需要丢弃的字节数

然后计算换行符的长度, 如果是\n则是1, \r\n就是2

 buffer.readerIndex(eol + delimLength) 

这里将读指针移动到换行符之后的位置

然后将discarding设置为false, 表示当前是非丢弃状态

我们再看丢弃模式未找到换行符的情况, 也就是丢弃模式下,  if (eol >= 0) 中的else块:

discardedBytes += buffer.readableBytes();
buffer.readerIndex(buffer.writerIndex());

这里做的事情非常简单, 就是累计丢弃的字节数, 并将读指针移动到写指针, 也就是将数据全部丢弃

最后在丢弃模式下, decode方法返回null, 代表本次没有解析出任何数据

以上就是行解码器的相关逻辑

以上就是Netty分布式行解码器逻辑源码解析的详细内容,更多关于Netty分布式行解码器的资料请关注编程网其它相关文章!

--结束END--

本文标题: Netty分布式行解码器逻辑源码解析

本文链接: https://www.lsjlt.com/news/144246.html(转载时请注明来源链接)

有问题或投稿请发送至: 邮箱/279061341@qq.com    QQ/279061341

本篇文章演示代码以及资料文档资料下载

下载Word文档到电脑,方便收藏和打印~

下载Word文档
猜你喜欢
  • Netty分布式行解码器逻辑源码解析
    目录行解码器LineBasedFrameDecoder首先看其参数我们跟到重载的decode方法中我们看findEndOfLine(buffer)方法前文传送门:Netty分布式固定...
    99+
    2022-11-13
  • Nett分布式分隔符解码器逻辑源码剖析
    目录分隔符解码器我们看其中的一个构造方法我们跟到重载decode方法中我们看初始化该属性的构造方法章节总结前文传送门:Netty分布式行解码器逻辑源码解析 分隔符解码器 基于分隔符解...
    99+
    2022-11-13
  • Netty分布式抽象编码器MessageToByteEncoder逻辑分析
    目录MessageToByteEncoder首先看MessageToByteEncoder的类声明跟到allocateBuffer方法中前文回顾:Netty分布式编码器及写数据事件处...
    99+
    2022-11-13
  • Netty分布式编码器写buffer队列逻辑剖析
    目录写buffer队列我们跟到AbstractUnsafe的write方法中回到write方法中我们跟到setUnwritable(invokeLater)方法中前文传送门:抽象编码...
    99+
    2022-11-13
  • Netty分布式解码器读取数据不完整的逻辑剖析
    目录概述第一节: ByteToMessageDecoder我们看他的定义我们看其channelRead方法我们看cumulator属性我们回到channRead方法中概述 在我们上一...
    99+
    2022-11-13
  • 分布式Netty源码分析
    这篇文章主要介绍了分布式Netty源码分析的相关知识,内容详细易懂,操作简单快捷,具有一定借鉴价值,相信大家阅读完这篇分布式Netty源码分析文章都会有所收获,下面我们一起来看看吧。服务器端demo看下一个简单的Netty服务器端的例子pu...
    99+
    2023-06-29
  • Netty分布式抽象编码器MessageToByteEncoder逻辑的示例分析
    小编给大家分享一下Netty分布式抽象编码器MessageToByteEncoder逻辑的示例分析,相信大部分人都还不怎么了解,因此分享这篇文章给大家参考一下,希望大家阅读完这篇文章后大有收获,下面让我们一起去了解一下吧!MessageTo...
    99+
    2023-06-29
  • Netty分布式NioEventLoop优化selector源码解析
    目录优化selectorselector的创建过程代码剖析这里一步创建了这个优化后的数据结构最后返回优化后的selector优化selector selector的创建过程...
    99+
    2022-11-13
  • Netty分布式ByteBuf的分类方式源码解析
    目录ByteBuf根据不同的分类方式 会有不同的分类结果1.Pooled和Unpooled2.基于直接内存的ByteBuf和基于堆内存的ByteBuf3.safe和unsafe上一小...
    99+
    2022-11-13
  • 分布式Netty源码EventLoopGroup分析
    这篇文章主要介绍“分布式Netty源码EventLoopGroup分析”的相关知识,小编通过实际案例向大家展示操作过程,操作方法简单快捷,实用性强,希望这篇“分布式Netty源码EventLoopGroup分析”文章能帮助大家解决问题。Ev...
    99+
    2023-06-29
  • Netty分布式ByteBuf缓冲区分配器源码解析
    目录缓冲区分配器以其中的分配ByteBuf的方法为例, 对其做简单的介绍跟到directBuffer()方法中我们回到缓冲区分配的方法然后通过validate方法进行参数验...
    99+
    2022-11-13
  • 分布式Netty源码分析概览
    目录服务器端demoEventLoopGroup介绍功能1:先来看看注册Channel功能2:执行一些Runnable任务ChannelPipeline介绍bind过程sync介绍误...
    99+
    2022-11-13
  • Netty分布式解码器读取数据不完整的逻辑是什么
    这篇文章将为大家详细讲解有关Netty分布式解码器读取数据不完整的逻辑是什么,小编觉得挺实用的,因此分享给大家做个参考,希望大家阅读完这篇文章后可以有所收获。概述如果Server在读取客户端的数据的时候, 如果一次读取不完整, 就触发cha...
    99+
    2023-06-29
  • Netty源码分析NioEventLoop处理IO事件相关逻辑
    目录NioEventLoop的run()方法:processSelectedKeys()方法processSelectedKeysOptimized(selectedKeys.fli...
    99+
    2022-11-13
  • 分布式Netty源码分析EventLoopGroup及介绍
    目录EventLoopGroup介绍功能1:先来看看注册Channel功能2:执行一些Runnable任务EventLoop介绍NioEventLoop介绍EpollEventLoo...
    99+
    2022-11-13
  • Netty分布式NioEventLoop任务队列执行源码分析
    目录执行任务队列跟进runAllTasks方法:我们跟进fetchFromScheduledTaskQueue()方法回到runAllTasks(long timeoutNanos)...
    99+
    2022-11-13
  • Netty分布式pipeline管道传播outBound事件源码解析
    目录outbound事件传输流程这里我们同样给出两种写法跟到其write方法中:跟到findContextOutbound中回到write方法:继续跟invokeWrite0我们跟到...
    99+
    2022-11-13
  • Netty分布式源码分析监听读事件
    前文传送门:NioSocketChannel注册到selector 我们回到AbstractUnsafe的register0()方法: private void register0(...
    99+
    2022-11-13
  • Netty分布式ByteBuf使用的底层实现方式源码解析
    目录概述AbstractByteBuf属性和构造方法首先看这个类的属性和构造方法我们看几个最简单的方法我们重点关注第二个校验方法ensureWritable(length)我们跟到扩...
    99+
    2022-11-13
  • Netty分布式pipeline管道异常传播事件源码解析
    目录传播异常事件简单的异常处理的场景我们跟到invokeChannelRead这个方法我还是通过两种写法来进行剖析跟进invokeExceptionCaught方法跟到invokeE...
    99+
    2022-11-13
软考高级职称资格查询
编程网,编程工程师的家园,是目前国内优秀的开源技术社区之一,形成了由开源软件库、代码分享、资讯、协作翻译、讨论区和博客等几大频道内容,为IT开发者提供了一个发现、使用、并交流开源技术的平台。
  • 官方手机版

  • 微信公众号

  • 商务合作