iis服务器助手广告广告
返回顶部
首页 > 资讯 > 后端开发 > 其他教程 >redis bitmap数据结构之java对等操作详解
  • 231
分享到

redis bitmap数据结构之java对等操作详解

redis bitmap数据结构java对等操作redis bitmap 2022-11-13 18:11:22 231人浏览 薄情痞子
摘要

目录1. Redis基本的bitmap操作命令2. java中的原生bitmap3. java和redis的bitmap互操作  在之前的文章中,我们有说过bitmap,bitmap

  在之前的文章中,我们有说过bitmap,bitmap在很多场景可以应用,比如黑白名单,快速判定,登录情况等等。总之,bitmap是以其高性能出名。其基本原理是一位存储一个标识,其他衍生知道咱就不说了,而redis就是以这种原生格式存储的。

  实际上,redis是基于string的数据结构实现了bitmap的功能。

1. redis基本的bitmap操作命令

  最基本的,redis的bitmap有设置和读取两个值,即 setbit/getbit, 非常容易理解,即设置某个标识为1,那么取值判定的时候,就可以得到true.

127.0.0.1:6379> setbit bm1 222 1
(integer) 0
127.0.0.1:6379> getbit bm1 222
(integer) 1

  这很容易理解,也是最基本的。当然,它还提供其他的一些操作:BITCOUNT 做数据量统计, BITOP 做bitmap的交并差运算... 我们也不必过多讨论它。

2. java中的原生bitmap

  可以说redis的bitmap实现相当之简单,所以java也就顺便实现了一个bitmap的版本:BitSet .

 @Test
    public void testJavaBitmap() {
        BitSet bitmap = new BitSet();
        bitmap.set(88);
        // exist = true
        boolean exist = bitmap.get(88);
        BitSet bitmap2 = new BitSet();
        bitmap2.set(99);
        // bitmap中将包含 [88, 99]
        bitmap.or(bitmap2);
    }

  java中的bitmap实现,也是按位存储,但是是基于long的存储。

 
    private final static int ADDRESS_BITS_PER_Word = 6;
    
    
    public void set(int bitIndex) {
        if (bitIndex < 0)
            throw new IndexOutOfBoundsException("bitIndex < 0: " + bitIndex);

        int wordIndex = wordIndex(bitIndex);
        expandTo(wordIndex);

        words[wordIndex] |= (1L << bitIndex); // Restores invariants

        checkInvariants();
    }
    
    private static int wordIndex(int bitIndex) {
        return bitIndex >> ADDRESS_BITS_PER_WORD;
    }

  所以,我们可以得出一个浅显的结论,bitmap很简单,一点都不神秘。但是,大道至简,它高性能,它自然还是有好处的,咱们该用还得用。显然,java版本的bitmap虽然很很好用,但是它只是应用级别的,只能在进程内使用,有太多的其他问题没考虑,所以咱们还得要依赖于redis的bitmap.

  问题:如果我有很多的数字标识想要写入redis中,然后再进行读取判定,该怎么办呢?

  很简单的,我们可以一个个地调用 setbit 命令,依次写入redis中。这自然能解决问题,但是明显会带来很多的网络io。

  其次,我们可以使用pipeline调用setbit进行批量写入。这当然是一种优化方案,只是仍然不是最优。

  那有没有什么更好的办法呢?

3. java和redis的bitmap互操作

  对于批量的操作,redis是基于string实现,而java是基于bitset实现。其功能都基本差不多,判定、写入、交并差运算。那么,除了一个个按照各自语法进行添加外,有没有可能进行数据结构上的对等呢?

  这个思路是很自然的,因为我们已经完全理解了各自的实现原理,为什么不呢?直接将BitSet转换为byte[]写入redis,直接将redis的bitmap当作string读出来不就可以了吗?

  事实真是如此吗?实际上有点差别,原因是一个是大端存储,一个是小端存储。

  比如:比如对于存储byte值: 00000010 , redis中会解释为偏移为6的值为1, 而在java中则会解析为数字2存在于bitmap中。也就是说两个的判定结果是不一样的,一个是6,一个是2。如果把java中的值给调换一下,变成 01000000,那么就和redis是一样的了。

  而从redis中转变到java中,则需要将每个byte位做一逆向操作判定,具体实现如下:

@Test
    public void testSetBitmapData2Redis() {
        //创建一个连接
        Jedis jedis = new Jedis("localhost", 6379);
        // 正向设置redis bitmap
        String testBitmapKey = "mybitmap1";
        jedis.set(testBitmapKey.getBytes(),
                genRedisBitmap(2, 55, 133, 65537, 10_0000));
        Assert.assertEquals("bitmap取值不正确", true,
                jedis.getbit(testBitmapKey, 2L));
        Assert.assertEquals("bitmap取值不正确", true,
                jedis.getbit(testBitmapKey, 133L));
        Assert.assertEquals("bitmap取值不正确", true,
                jedis.getbit(testBitmapKey, 65537L));
        Assert.assertEquals("bitmap取值不正确", true,
                jedis.getbit(testBitmapKey, 10_0000L));
        Assert.assertEquals("bitmap取值不正确", false,
                jedis.getbit(testBitmapKey, 3L));
        //在redis中获取name值
        byte[] redisBitmapData = jedis.get("mybitmap1".getBytes());
        BitSet bitSet = convertRedisBitmapToJava(redisBitmapData);
        Assert.assertTrue("redisBitmap反解不正确", bitSet.get(2));
        Assert.assertTrue("redisBitmap反解不正确", bitSet.get(133));
        Assert.assertTrue("redisBitmap反解不正确", bitSet.get(65537));
        Assert.assertTrue("redisBitmap反解不正确", bitSet.get(10_0000));
        Assert.assertFalse("redisBitmap反解不正确", bitSet.get(332));
        jedis.close();
    }

    // 将redis的bitmap转换为java 的bitset
    private BitSet convertRedisBitmapToJava(byte[] redisBitmapData) {
        int len = redisBitmapData.length;
        BitSet bitSet = new BitSet();
        // 每个 byte 8位, 所以整个bitmap 的长度为 len * 8
        for (int i = 0; i < len * 8; i++) {
            byte currentSegment = redisBitmapData[i / 8];
            if(currentSegment == 0) {
                continue;
            }
            if((currentSegment & (1 << (7 - (i % 8) ) ) ) != 0 ) {
                bitSet.set(i);
            }
        }
        return bitSet;
    }

    // 生成redis的bitmap数据
    private byte[] genRedisBitmap(int... items) {
        BitSet bitSet = new BitSet();
        // 2 55 133
        for (int k : items) {
            bitSet.set(k);
        }
        byte[] targetBitmap = bitSet.toByteArray();
        convertJavaToRedisBitmap(targetBitmap);
        return targetBitmap;
    }

    // 将java中的字节数组转换为redis的bitmap数据形式
    private void convertJavaToRedisBitmap(byte[] bytes) {
        int len = bytes.length;
        for (int i = 0; i < len; i++) {
            byte b1 = bytes[i];
            if(b1 == 0) {
                continue;
            }
            byte transByte = 0;
            for (byte j = 0; j < 8; j++) {
                transByte |= (b1 & (1 << j)) >> j << (7 -j);
            }
            bytes[i] = transByte;
        }
    }

  经验证,将8位的byte进行位置反转,能够完美匹配两种数据结构。

  如此一来,就可以轻松将整个bitmap进行初始化设置到redis中,从而在redis的bitmap中,使用 getbit 进行高效判定了。

不要害怕今日的苦,你要相信明天,更苦!

到此这篇关于redis bitmap数据结构之java对等操作的文章就介绍到这了,更多相关redis bitmap数据结构内容请搜索编程网以前的文章或继续浏览下面的相关文章希望大家以后多多支持编程网!

--结束END--

本文标题: redis bitmap数据结构之java对等操作详解

本文链接: https://www.lsjlt.com/news/169447.html(转载时请注明来源链接)

有问题或投稿请发送至: 邮箱/279061341@qq.com    QQ/279061341

本篇文章演示代码以及资料文档资料下载

下载Word文档到电脑,方便收藏和打印~

下载Word文档
猜你喜欢
  • redis bitmap数据结构之java对等操作详解
    目录1. redis基本的bitmap操作命令2. java中的原生bitmap3. java和redis的bitmap互操作  在之前的文章中,我们有说过bitmap,bitmap...
    99+
    2022-11-13
    redis bitmap数据结构 java对等操作 redis bitmap
  • Java数据结构之对象比较详解
    目录1. PriorityQueue中插入对象2. 元素的比较2.1 基本类型的比较2.2 对象比较的问题3. 对象的比较3.1 覆写基类的equals3.2 基于Comparble...
    99+
    2024-04-02
  • Redis数据结构之链表详解
    目录1 链表和链表节点的结构2 链表相关的API1 链表和链表节点的结构 1.1 节点结构 节点的结构大概长下边这个样子: 那么,把这些节点就连起来就成了这个样子: 1.2 链表...
    99+
    2024-04-02
  • Java数据结构之线段树中的懒操作详解
    目录一、问题提出二、区间更新三、区间查询四、实战1.问题描述2.输入3.代码4.测试一、问题提出 对于线段树,若要求对区间中的所有点都进行更新,可以引入懒操作。 懒操作包括区间更新和...
    99+
    2024-04-02
  • JavaScript数据结构之链表各种操作详解
    目录1 数组与链表的优缺点2 什么是链表3 封装链表结构4 向链表尾部添加一个新的项5 向链表某个位置插入一个新的项6 获取对应位置的元素7 获取元素在链表中的索引8 修改某个位置的...
    99+
    2022-11-13
    JavaScript链表 JavaScript数据结构 JS链表
  • C语言数据结构之单链表操作详解
    目录1、插入操作2、删除操作3、查找操作4、修改操作5、完整代码1、插入操作 (1)创建一个新的要插入的结点 (2)将新结点的 next 指针指向插入位置后的结点 (3)将插入位置前...
    99+
    2024-04-02
  • java数据结构之栈的详解
    目录一、栈1.栈的应用1.1括号匹配1.2后缀表达式1.3用栈实现队列1.4最小栈1.5栈的压入和弹出序列总结一、栈 栈的特性就是先进后出,常用方法是入栈(push()),出栈(po...
    99+
    2024-04-02
  • Java数据结构之链表详解
    目录一、链表的介绍二、单链表的实现三、双向链表的实现四、循环链表的实现五,链表相关的面试题一、链表的介绍 什么是链表 链表是一种物理存储单元上非连续、非顺序的存储结构,数据元素的逻辑...
    99+
    2024-04-02
  • Java数据结构之栈的线性结构详解
    目录一:栈二:栈的实现三:栈的测试四:栈的应用(回文序列的判断)总结一:栈 栈是限制插入和删除只能在一个位置上进行的表,此位置就是表的末端,叫作栈顶。 栈的基本操作分为push(入...
    99+
    2024-04-02
  • Java数据结构之散列表详解
    目录介绍1 散列表概述1.1 散列表概述1.2 散列冲突(hash collision)2 散列函数的选择2.1 散列函数的要求2.2 散列函数构造方法3 散列冲突的解决3.1 分离...
    99+
    2024-04-02
  • Java数据结构之线段树详解
    目录介绍代码实现线段树构建区间查询更新总结介绍 线段树(又名区间树)也是一种二叉树,每个节点的值等于左右孩子节点值的和,线段树示例图如下 以求和为例,根节点表示区间0-5的和,左孩...
    99+
    2024-04-02
  • Redis底层数据结构之dict、ziplist、quicklist详解
    目录1 Redis dict1.1 扩缩容的条件1.2 渐进式rehash操作2 Redis ziplist2.1 ziplist结构 2.2 entry结构3 Redis...
    99+
    2024-04-02
  • Java数据结构之单链表详解
    目录一、图示二、链表的概念及结构 三、单链表的实现四、完整代码的展示 一、图示 二、链表的概念及结构 链表是一种物理存储结构上非连续存储结构,数据元素的逻辑顺序是通过链表中的...
    99+
    2024-04-02
  • Java 数据结构之队列(Queue)详解
    目录 1、在Java中有哪些常见的队列? 2、Queue 接口分析 3、Deque 接口分析 4、PriorityQueue 的实现原理详解 5、使用Java数组实现队列的简单示例 1、在Java中有哪些常见的队列?         在...
    99+
    2023-10-12
    java 队列 Queue 接口 Deque 接口
  • 数据结构-Java逆天操作
    本文章会对Java线性表的相关知识进行讲解,也会以Java代码示例来进行解释 对线性表的讲解分析 定义 线性表是一种数据结构,它是由一系列具有相同类型的元素组成的有序集合。线性表中的元素按照线性的顺序排列,每个元素只有一个前驱元素和一个后...
    99+
    2023-08-16
    数据结构 java 开发语言
  • Redis底层数据结构详解
    Redis作为Key-Value存储系统,数据结构如下: Redis没有表的概念,Redis实例所对应的db以编号区分,db本身就是key的命名空间。 比如:user:1000作为...
    99+
    2024-04-02
  • Jedis零基础入门及操作Redis中的数据结构详解
    目录Jedis简介及其入门Jedis简介Jedis的操作入门Jedis操作Redis中的数据结构字符串类型 string哈希类型 map列表类型 list集合类型 set有序集合类型...
    99+
    2024-04-02
  • Java数据结构之LinkedList的用法详解
    链表(Linked list)是一种常见的基础数据结构,是一种线性表,但是并不会按线性的顺序存储数据,而是在每一个节点里存到下一个节点的地址。链表可分为单向链表和双向链表。 一个单向...
    99+
    2023-05-19
    Java数据结构LinkedList使用 Java数据结构LinkedList Java LinkedList
  • JS数据结构之队列结构详解
    目录一.认识队列二.队列的应用三.队列类的创建四.队列的常见操作五.击鼓传花六.优先级队列七.优先级队列的实现一.认识队列 受限的线性结构: 我们已经学习了一种受限的线性结构:栈结构...
    99+
    2022-11-13
    JS队列结构 JS队列 JS 数据结构
  • gosyncWaitgroup数据结构实现基本操作详解
    目录WaitGroup 示例WaitGroup 基本原理背景知识信号量WaitGroup 中的信号量WaitGroup 数据结构noCopystatesemaWaitGroup 的三...
    99+
    2023-01-03
    go sync Waitgroup数据结构 go sync Waitgroup
软考高级职称资格查询
编程网,编程工程师的家园,是目前国内优秀的开源技术社区之一,形成了由开源软件库、代码分享、资讯、协作翻译、讨论区和博客等几大频道内容,为IT开发者提供了一个发现、使用、并交流开源技术的平台。
  • 官方手机版

  • 微信公众号

  • 商务合作