iis服务器助手广告
返回顶部
首页 > 资讯 > 后端开发 > 其他教程 >使用Jedis线程池returnResource异常注意事项
  • 446
分享到

使用Jedis线程池returnResource异常注意事项

2024-04-02 19:04:59 446人浏览 独家记忆
摘要

目录在线上环境发现了一个工作线程异常终止见如下示例代码以及日志输出分析执行顺序如下所示执行Redis的逻辑实际的日志输出为分析:解决方法:补充临时解决方法在线上环境发现了一个工作线程

在线上环境发现了一个工作线程异常终止

看日志先是一些SocketTimeoutException,然后突然有一个ClassCastException

redis.clients.jedis.exceptions.JedisConnectionException: java.net.SocketTimeoutException: Read timed out
...
java.lang.ClassCastException: [B cannot be cast to java.lang.Long
        at redis.clients.jedis.Connection.getIntegerReply(Connection.java:208)
        at redis.clients.jedis.Jedis.sismember(Jedis.java:1307)

经过在本地人工模拟网络异常的情境,最终复现了线上的这一异常。

又经过深入分析(提出假设-->验证假设),最终找出了导致这一问题的原因。

见如下示例代码

JedisPool pool = ...;
Jedis jedis = pool.getResource();
String value = jedis.get("foo");
System.out.println("Make SocketTimeoutException");
System.in.read(); //等待制造SocketTimeoutException
try {
    value = jedis.get("foo");
    System.out.println(value);
} catch (JedisConnectionException e) {
    e.printStackTrace();
}
System.out.println("Recover from SocketTimeoutException");
System.in.read();  //等待恢复
Thread.sleep(5000); // 继续休眠一段时间 等待网络完全恢复
boolean isMember = jedis.sismember("urls", "baidu.com");

以及日志输出

bar
Make SocketTimeoutException
redis.clients.jedis.exceptions.JedisConnectionException: java.net.SocketTimeoutException: Read timed out
Recover from SocketTimeoutException
    at redis.clients.util.RedisInputStream.ensureFill(RedisInputStream.java:210)
    at redis.clients.util.RedisInputStream.readByte(RedisInputStream.java:47)
    at redis.clients.jedis.Protocol.process(Protocol.java:131)
    at redis.clients.jedis.Protocol.read(Protocol.java:196)
    at redis.clients.jedis.Connection.readProtocolWithCheckingBroken(Connection.java:283)
    at redis.clients.jedis.Connection.getBinaryBulkReply(Connection.java:202)
    at redis.clients.jedis.Connection.getBulkReply(Connection.java:191)
    at redis.clients.jedis.Jedis.get(Jedis.java:101)
    at com.tcl.recipevideohunter.JedisTest.main(JedisTest.java:23)
Caused by: java.net.SocketTimeoutException: Read timed out
    at java.net.SocketInputStream.socketRead0(Native Method)
    at java.net.SocketInputStream.read(SocketInputStream.java:152)
    at java.net.SocketInputStream.read(SocketInputStream.java:122)
    at java.net.SocketInputStream.read(SocketInputStream.java:108)
    at redis.clients.util.RedisInputStream.ensureFill(RedisInputStream.java:204)
    ... 8 more
Exception in thread "main" java.lang.ClassCastException: [B cannot be cast to java.lang.Long
    at redis.clients.jedis.Connection.getIntegerReply(Connection.java:208)
    at redis.clients.jedis.Jedis.sismember(Jedis.java:1307)
    at com.tcl.recipevideohunter.JedisTest.main(JedisTest.java:32)

分析

等执行第二遍的get("foo")时,网络超时,并未实际发送 get foo 命令,等执行sismember时,网络已恢复正常,并且是同一个jedis实例,于是将之前的get foo命令(已在输出流缓存中)一并发送。

执行顺序如下所示

127.0.0.1:9379> get foo"bar"127.0.0.1:9379> sismember urls baidu.com(integer) 1127.0.0.1:9379> get foo
"bar"
127.0.0.1:9379> sismember urls baidu.com
(integer) 1

故在上述示例代码中最后的sismember得到的结果是get foo的结果,即一个字符串,而sismember需要的是一个Long型,故导致了ClassCastException。

执行redis的逻辑

为什么线上会出现这一问题呢?原因是其执行redis的逻辑类似这样:

while(true){
        Jedis jedis = null;
    try {
        jedis = pool.getResource();
        //some redis operation here.
    } catch (Exception e) {
       logger.error(e);
    } finally {
        pool.returnResource(jedis);
    }
}

因若是网络异常的话,pool.returnResource(jedis)仍能成功执行,即能将其返回到池中(这时jedis并不为空)。等网络恢复后,并是多线程环境,导致后续其他某个线程获得了同一个Jedis实例(pool.getResource()),

若该线程中的jedis操作返回类型与该jedis实例在网络异常期间第一条未执行成功的jedis操作的返回类型不匹配(如一个是get,一个是sismember),则就会出现ClassCastException异常。

这还算幸运的,若返回的是同一类型的话(如lpop("queue_order_pay_failed"),lpop("queue_order_pay_success")),那我真不敢想象。

如在上述示例代码中的sismember前插入一get("nonexist-key")(redis中不存在该key,即应该返回空).

value = jedis.get("nonexist-key");
System.out.println(value);
boolean isMember = jedis.sismember("urls", "baidu.com");
System.out.println(isMember);

实际的日志输出为

bar
Exception in thread "main" java.lang.NullPointerException
    at redis.clients.jedis.Jedis.sismember(Jedis.java:1307)
    at com.tcl.recipevideohunter.JedisTest.main(JedisTest.java:37)

分析:

get("nonexist-key")得到是之前的get("foo")的结果, 而sismember得到的是get("nonexist-key")的结果,而get("nonexist-key")返回为空,于是这时是报空指针异常了.

解决方法:

不能不管什么情况都一律使用returnResource。更健壮可靠以及优雅的处理方式如下所示:

while(true){
    Jedis jedis = null;
    boolean broken = false;
    try {
        jedis = jedisPool.getResource();
        return jedisAction.action(jedis); //模板方法
    } catch (JedisException e) {
        broken = handleJedisException(e);
        throw e;
    } finally {
        closeResource(jedis, broken);
    }
}


protected boolean handleJedisException(JedisException jedisException) {
    if (jedisException instanceof JedisConnectionException) {
        logger.error("Redis connection " + jedisPool.getAddress() + " lost.", jedisException);
    } else if (jedisException instanceof JedisDataException) {
        if ((jedisException.getMessage() != null) && (jedisException.getMessage().indexOf("READONLY") != -1)) {
            logger.error("Redis connection " + jedisPool.getAddress() + " are read-only slave.", jedisException);
        } else {
            // dataException, isBroken=false
            return false;
        }
    } else {
        logger.error("Jedis exception happen.", jedisException);
    }
    return true;
}

protected void closeResource(Jedis jedis, boolean conectionBroken) {
    try {
        if (conectionBroken) {
            jedisPool.returnBrokenResource(jedis);
        } else {
            jedisPool.returnResource(jedis);
        }
    } catch (Exception e) {
        logger.error("return back jedis failed, will fore close the jedis.", e);
        JedisUtils.destroyJedis(jedis);
    }
}

补充

ubuntu本地模拟访问redis网络超时:

sudo iptables -A INPUT -p tcp --dport 6379 -j DROP

恢复网络:

sudo iptables -F

补充:

若jedis操作逻辑类似下面所示的话,

Jedis jedis = null;
try {
    jedis = jedisSentinelPool.getResource();
    return jedis.get(key);
}catch(JedisConnectionException e) {
    jedisSentinelPool.returnBrokenResource(jedis);
    logger.error("", e);
    throw e;
}catch (Exception e) {
    logger.error("", e);
    throw e;
}
finally {
    jedisSentinelPool.returnResource(jedis);
}

若一旦发生了JedisConnectionException,如网络异常,会先执行returnBrokenResource,这时jedis已被destroy了。然后进入了finally,再一次执行returnResource,这时会报错:

redis.clients.jedis.exceptions.JedisException: Could not return the resource to the pool
    at redis.clients.util.Pool.returnResourceObject(Pool.java:65)
    at redis.clients.jedis.JedisSentinelPool.returnResource(JedisSentinelPool.java:221)

临时解决方法

jedisSentinelPool.returnBrokenResource(jedis);
jedis=null; //这时不会实际执行returnResource中的相关动作了

但不建议这样处理,更严谨的释放资源方法见前文所述。

以上就是使用Jedis线程池returnResource异常注意事项的详细内容,更多关于Jedis线程池returnResource异常的资料请关注编程网其它相关文章!

--结束END--

本文标题: 使用Jedis线程池returnResource异常注意事项

本文链接: https://www.lsjlt.com/news/143807.html(转载时请注明来源链接)

有问题或投稿请发送至: 邮箱/279061341@qq.com    QQ/279061341

本篇文章演示代码以及资料文档资料下载

下载Word文档到电脑,方便收藏和打印~

下载Word文档
猜你喜欢
  • 使用Jedis线程池returnResource异常注意事项
    目录在线上环境发现了一个工作线程异常终止见如下示例代码以及日志输出分析执行顺序如下所示执行redis的逻辑实际的日志输出为分析:解决方法:补充临时解决方法在线上环境发现了一个工作线程...
    99+
    2024-04-02
  • 使用Jedis线程池returnResource异常注意事项是什么
    小编给大家分享一下使用Jedis线程池returnResource异常注意事项是什么,希望大家阅读完这篇文章之后都有所收获,下面让我们一起去探讨吧!在线上环境发现了一个工作线程异常终止,看日志先是一些SocketTimeoutExcepti...
    99+
    2023-06-29
  • Python多线程使用和注意事项
    多线程   基本实现: 第一种,函数方式 # -*- coding:utf-8 -*- import thread import time     def print_time(threadName, delay):     count...
    99+
    2023-01-30
    多线程 注意事项 Python
  • 使用HikariCP连接池常用配置讲解及注意事项
    使用HikariCP连接池常用配置讲解及注意事项 常遇到的几种错误Possibly consider using a shorter maxLifetime valueConnection i...
    99+
    2023-09-15
    mysql 数据库 java spring
  • pt-online-schema-change 使用异常处理及注意事项
    pt-online-schema-change最近使用pt-online-schema-change 做线上大表的在线DDL,发现几个问题。 我使用的语句如下: pt-online-schema-cha...
    99+
    2022-11-30
    pt-online-schema-change 使用 处理
  • Java多线程Thread类的使用及注意事项
    目录Thread类的基本用法线程指标中断线程1.手动设置标志位2.使用Thread中内置的一个标志位来判定线程等待进程状态线程安全问题synchronized用法1.直接修饰普通的方...
    99+
    2024-04-02
  • Python开发注意事项:处理多线程和多进程时的注意事项
    Python开发注意事项:处理多线程和多进程时的注意事项在Python开发过程中,使用多线程和多进程可以充分利用计算机的多核处理能力,提高程序的效率和性能。然而,使用多线程和多进程也会带来一些潜在的问题和挑战,开发者需要注意一些注意事项来确...
    99+
    2023-11-22
    gil Concurrency Locks
  • Golang闭包的线程安全注意事项
    当在并发环境中使用闭包时,引用类型闭包(捕获引用类型变量的闭包)必须线程安全,因为对其的修改会影响原始变量。使引用类型闭包线程安全的两种主要方法是:使用互斥锁,或使用不可变数据结构。 ...
    99+
    2024-04-16
    golang 闭包 作用域
  • 使用c语言常量要注意哪些事项
    使用C语言常量时需要注意以下事项: 常量的值不能被修改。一旦常量被定义后,它的值就不能被修改。 常量的命名应该符合命名规范,...
    99+
    2023-10-23
    c语言
  • windows系统日常使用注意事项有哪些
    这篇文章将为大家详细讲解有关windows系统日常使用注意事项有哪些,小编觉得挺实用的,因此分享给大家做个参考,希望大家阅读完这篇文章后可以有所收获。一、在哪下载软件很多同学下载软件会习惯在百度直接搜索,看到比较像是要找的软件标题直接就点进...
    99+
    2023-06-28
  • win8电脑日常使用注意事项有哪些
    小编给大家分享一下win8电脑日常使用注意事项有哪些,希望大家阅读完这篇文章之后都有所收获,下面让我们一起去探讨吧!硬件维护周期清理计算机机箱使用久了会有很多灰尘,这会影响机器散热,零件过热后会自主降低工作频率来保护自身硬件不会过热烧毁,我...
    99+
    2023-06-28
  • C#开发注意事项:异常处理与日志记录
    C#开发是一种非常强大和灵活的编程语言,广泛应用于各种应用程序的开发中。然而,在进行C#开发时,我们需要注意一些关键的事项,特别是异常处理和日志记录。本文将详细介绍C#开发中的异常处理和日志记录的重要性,并提供一些实用的指导原则和最佳实践。...
    99+
    2023-11-23
    异常处理 日志记录
  • ThreadLocal常用方法、使用场景及注意事项说明
    目录1. ThreadLocal详解2. ThreadLocal的使用场景3.常用方法源码解析3.1 initialValue方法3.2 set(T value)方法3.3 get方...
    99+
    2024-04-02
  • C++开发注意事项:避免C++异常处理的常见错误
    C++开发注意事项:避免C++异常处理的常见错误在C++开发中,异常处理是一个重要的话题。良好的异常处理能够增强程序的健壮性和可靠性,但是在实践中,很多开发者常常犯一些常见的错误。本文将介绍在C++异常处理过程中常见的错误,并探讨如何避免这...
    99+
    2023-11-22
    垃圾回收 内存管理 异常安全
  • Springboot中@RequestBody注解使用的注意事项
    这篇文章将为大家详细讲解有关Springboot中@RequestBody注解使用的注意事项,小编觉得挺实用的,因此分享给大家做个参考,希望大家阅读完这篇文章后可以有所收获。@RequestBody注解踩坑@RequestBody json...
    99+
    2023-06-29
  • PyGraphviz安装使用及注意事项
    目录1. 工具说明2. linux安装3. windows安装3.1 安装 python3.2 安装 Graphviz3.3 安装 PyGraphviz3.4 PyGraphviz ...
    99+
    2023-02-22
    PyGraphviz 安装使用 PyGraphviz 安装 python PyGraphviz PyGraphviz 使用
  • ajaxStart()使用注意事项有哪些
    本篇内容主要讲解“ajaxStart()使用注意事项有哪些”,感兴趣的朋友不妨来看看。本文介绍的方法操作简单快捷,实用性强。下面就让小编来带大家学习“ajaxStart()使用注意事项有哪些”吧!   ....
    99+
    2024-04-02
  • 使用javaweb要注意哪些事项
    1. 确保正确配置和部署Java开发环境,包括安装JDK、配置环境变量等。2. 选择适合的Java Web框架,如Spring MV...
    99+
    2023-09-21
    javaweb
  • 使用jpa要注意哪些事项
    使用JPA时需要注意以下事项:1. 实体类的注解:使用@Entity注解标记实体类,使用@Id标记实体类中的主键字段,使用@Colu...
    99+
    2023-09-12
    jpa
  • 使用CDN的一些注意事项
    使用CDN的注意事项有: 选择CDN的时候,为了保障网站的安全性,应该选择安全可靠的提供商。不要为搜索引擎设置指定IP,不然CDN发挥不了作用,会使CDN加速系统就无法给出最佳的加速线路。做域名CNAME解析时,地址后面要加点,不然CDN网...
    99+
    2024-04-02
软考高级职称资格查询
编程网,编程工程师的家园,是目前国内优秀的开源技术社区之一,形成了由开源软件库、代码分享、资讯、协作翻译、讨论区和博客等几大频道内容,为IT开发者提供了一个发现、使用、并交流开源技术的平台。
  • 官方手机版

  • 微信公众号

  • 商务合作