广告
返回顶部
首页 > 资讯 > 后端开发 > Python >Java布隆过滤器的原理和实现分析
  • 480
分享到

Java布隆过滤器的原理和实现分析

Java布隆过滤器Java布隆过滤器原理Java布隆过滤器实现 2022-11-13 18:11:23 480人浏览 独家记忆

Python 官方文档:入门教程 => 点击学习

摘要

目录前言1. 预备知识1.1 哈希函数2. 布隆过滤器2.1 概念2.2 实现原理2.3 步骤2.4 实现前言 数组、链表、树等数据结构会存储元素的内容,一旦数据量过大,消耗的内存也

前言

数组链表、树等数据结构会存储元素的内容,一旦数据量过大,消耗的内存也会呈现线性增长

所以布隆过滤器是为了解决数据量大的一种数据结构

讲述布隆过滤器的时候需要了解一些预备的知识点:比如哈希函数

1. 预备知识

1.1 哈希函数

哈希函数指将哈希表中元素的关键键值映射为元素存储位置的函数

一般的线性表,树中,记录在结构中的相对位置是随机的,即和记录的关键字之间不存在确定的关系,因此,在结构中查找记录时需进行一系列和关键字的比较。这一类查找方法建立在“比较“的基础上,查找的效率依赖于查找过程中所进行的比较次数。 理想的情况是能直接找到需要的记录,因此必须在记录的存储位置和它的关键字之间建立一个确定的对应关系f,使每个关键字和结构中一个唯一的存储位置相对应

具体其构造器的方法有:

直接定址法、数字分析法、平方取中法、折叠法、除留余数法等

解决其冲突的方法有:

拉链法、多哈希法、开放地址法、建域法等

2. 布隆过滤器

2.1 概念

它实际上是一个很长的二进制向量和一系列随机映射函数。(位数组和哈希函数)

布隆过滤器可以用于检索一个元素是否在一个集合中。

它的优点是空间效率和查询时间都比一般的算法要好的多(更加高效,存储空间小)

缺点是有一定的误识别率和删除困难

2.2 实现原理

之所以要用布隆过滤器,是因为HashMap 的实现也有缺点,例如存储容量占比高,考虑到负载因子的存在,通常空间是不能被用满的,而且数据大了之后不可能一次性

比如存储码农研究僧这个值,通过三个哈希函数,算得三个哈希值,存放在3个位置中(位数组)

之后判定查询码农博士僧的时候,发现这三个值只要有1个没有为1,就是没存储到,也就是没在集合中

但是如果存储的值很多,再去查找的时候,可能会出现一定的误判率,导致本身没在集合中,但位数组却都是1的情况

具体如何选择上面所说的位数组长度和哈希函数的个数呢

布隆器如果过小,导致很多位置都很快是1,误判率就很很高,如果布隆器过长,误判率会越小

哈希函数的个数如果过少,其速度慢,误判率也高,如果哈希函数的个数过多,其位1的速度加快,导致布隆过滤器的效率越低

2.3 步骤

添加元素的具体的步骤是

将添加的元素给k个哈希函数算出对应位数组上的k个位置,将这k个位置设为1

查询元素的具体步骤是

将要查询的元素给k个哈希函数算出对应于位数组上的k个位置,如果k个位置有一个为0,则肯定不在集合中。如果k个位置全部为1,则可能在集合中

在计数布隆过滤器中,进行删除的前提是必须保证,值一定存在。因此单通过布隆过滤器无法保证值一定存在。如果通过其他的方法确认值存在后进行删除,则不能保证该值在后续布隆过滤器查询时一定返回不存在,因为该值相对应的位置并不一定为零。但确实可以一定概率上优化查询的效率。因此不能说计数布隆过滤器支持删除,应该说计数布隆过滤器提供了实现删除的可能

2.4 实现

public class MyBloomFilter {
 
    
    private static final int DEFAULT_SIZE = 256 << 22;
 
    
    private static final int[] seeds = {3, 5, 7, 11, 13, 31, 37, 61};
 
    
    private static HashFunction[] functions = new HashFunction[seeds.length];
 
    
    private static BitSet bitset = new BitSet(DEFAULT_SIZE);
 
    
    public static void add(String value) {
        if (value != null) {
            for (HashFunction f : functions) {
                //计算 hash 值并修改 bitmap 中相应位置为 true
                bitset.set(f.hash(value), true);
            }
        }
    }
 
    
    public static boolean contains(String value) {
        if (value == null) {
            return false;
        }
        boolean ret = true;
        for (HashFunction f : functions) {
            ret = bitset.get(f.hash(value));
            //一个 hash 函数返回 false 则跳出循环
            if (!ret) {
                break;
            }
        }
        return ret;
    }
 
    
    public static void main(String[] args) {
 
        for (int i = 0; i < seeds.length; i++) {
            functions[i] = new HashFunction(DEFAULT_SIZE, seeds[i]);
        }
 
        // 添加1亿数据
        for (int i = 0; i < 100000000; i++) {
            add(String.valueOf(i));
        }
        String id = "123456789";
        add(id);
 
        System.out.println(contains(id));   // true
        System.out.println("" + contains("234567890"));  //false
    }
}
 
class HashFunction {
 
    private int size;
    private int seed;
 
    public HashFunction(int size, int seed) {
        this.size = size;
        this.seed = seed;
    }
 
    public int hash(String value) {
        int result = 0;
        int len = value.length();
        for (int i = 0; i < len; i++) {
            result = seed * result + value.charAt(i);
        }
        int r = (size - 1) & result;
        return (size - 1) & result;
    }
}

到此这篇关于Java布隆过滤器的原理和实现分析的文章就介绍到这了,更多相关Java布隆过滤器内容请搜索编程网以前的文章或继续浏览下面的相关文章希望大家以后多多支持编程网!

--结束END--

本文标题: Java布隆过滤器的原理和实现分析

本文链接: https://www.lsjlt.com/news/169360.html(转载时请注明来源链接)

有问题或投稿请发送至: 邮箱/279061341@qq.com    QQ/279061341

本篇文章演示代码以及资料文档资料下载

下载Word文档到电脑,方便收藏和打印~

下载Word文档
猜你喜欢
  • Java布隆过滤器的原理和实现分析
    目录前言1. 预备知识1.1 哈希函数2. 布隆过滤器2.1 概念2.2 实现原理2.3 步骤2.4 实现前言 数组、链表、树等数据结构会存储元素的内容,一旦数据量过大,消耗的内存也...
    99+
    2022-11-13
    Java布隆过滤器 Java布隆过滤器原理 Java布隆过滤器实现
  • Java中的布隆过滤器原理实现和应用
    目录介绍实现初始化数据代码实现测试存在的数据不存在的数据介绍 本文全部代码地址 布隆过滤器是一种高效的数据结构,用于判断一个元素是否存在于一个集合中.它的主要优点是速度快,空间占用少...
    99+
    2023-05-17
    Java布隆过滤器使用 Java布隆过滤器实现
  • Redis BloomFilter布隆过滤器原理与实现
    目录Bloom Filter 概念Bloom Filter 原理缓存穿透Bloom Filter的缺点常见问题go语言实现Bloom Filter 概念 布隆过滤器(英语:Bloom...
    99+
    2022-11-11
  • Java怎么实现布隆过滤器
    这篇“Java怎么实现布隆过滤器”文章的知识点大部分人都不太理解,所以小编给大家总结了以下内容,内容详细,步骤清晰,具有一定的借鉴价值,希望大家阅读完这篇文章能有所收获,下面我们一起来看看这篇“Java怎么实现布隆过滤器”文章吧。什么是布隆...
    99+
    2023-07-05
  • Java的布隆过滤器如何实现
    今天小编给大家分享一下Java的布隆过滤器如何实现的相关知识点,内容详细,逻辑清晰,相信大部分人都还太了解这方面的知识,所以分享这篇文章给大家参考一下,希望大家阅读完这篇文章后有所收获,下面我们一起来了解一下吧。BitMap现代计算机用二进...
    99+
    2023-06-29
  • 如何理解布隆过滤器算法的实现原理
    这篇文章主要讲解了“如何理解布隆过滤器算法的实现原理”,文中的讲解内容简单清晰,易于学习与理解,下面请大家跟着小编的思路慢慢深入,一起来研究和学习“如何理解布隆过滤器算法的实现原理”吧! 布隆过滤...
    99+
    2022-10-19
  • Redis 中布隆过滤器的实现
    Redis 中布隆过滤器的实现?相信很多没有经验的人对此束手无策,为此本文总结了问题出现的原因和解决方法,通过这篇文章希望你能解决这个问题。什么是『布隆过滤器』布隆过滤器是一个神奇的数据结构,可以用来判断一...
    99+
    2022-10-18
  • 浅析python实现布隆过滤器及Redis中的缓存穿透原理
    目录布隆过滤器的原理在 Python 中使用布隆过滤器1、标准布隆过滤器。2、计数布隆过滤器。3、标准扩容布隆过滤器。4、计数扩容布隆过滤器。Redis 中使用布隆过滤器最后的话在开...
    99+
    2022-11-12
  • Redis中的布隆过滤器怎么实现
    这篇文章主要介绍“Redis中的布隆过滤器怎么实现”,在日常操作中,相信很多人在Redis中的布隆过滤器怎么实现问题上存在疑惑,小编查阅了各式资料,整理出简单好用的操作方法,希望对大家解答”Redis中的布...
    99+
    2022-10-19
  • 布隆过滤器的Python实现(标准、计
    github:bloompy 布隆过滤器的Python3实现,包括标准、计数、标准扩容、计数扩容。更新自pybloom。 安装 pip install bloompy 使用 通过bloompy你可以使用四种布隆过滤器 标准布隆过滤器 ...
    99+
    2023-01-31
    过滤器 标准 Python
  • SpringBoot+Redis实现布隆过滤器的示例代码
    目录简述Redis 安装 Bloom Filter基本指令结合 SpingBoot方式一方式二简述 关于布隆过滤器的详细介绍,我在这里就不再赘述一遍了 我们首先知道:BloomFil...
    99+
    2022-11-13
  • 如何快速理解Scrapy分布式爬虫、队列和布隆过滤器
    本篇内容介绍了“如何快速理解Scrapy分布式爬虫、队列和布隆过滤器”的有关知识,在实际案例的操作过程中,不少人都会遇到这样的困境,接下来就让小编带领大家学习一下如何处理这些情况吧!希望大家仔细阅读,能够学有所成!快速上手Step 0:首先...
    99+
    2023-06-16
  • C#实现从位图到布隆过滤器的方法
    目录前言布隆过滤器简介数据的存储Hash 冲突的解决方案为什么布隆过滤器不支持删除用 C# 实现 Bitmap位运算利用位运算创建 Bitmap用 C# 实现 布隆过滤器Murmur...
    99+
    2022-11-13
  • Java利用布隆过滤器实现快速检查元素是否存在
    目录Guava BloomFilter基本概念应用场景优缺点实现原理示例结束语Guava BloomFilter 布隆过滤器是一个很长的二进制向量和一系列随机映射函数。布隆过滤器可以...
    99+
    2022-11-13
    Java布隆过滤器检查元素是否存在 Java布隆过滤器 Java 检查元素是否存在
  • C++详细讲解模拟实现位图和布隆过滤器的方法
    目录位图引论概念解决引论位图的模拟实现铺垫结构构造函数存储set,reset,testflip,size,countany,none,all重载流运算符测试位图简单应用位图代码汇总布...
    99+
    2022-11-13
  • Java拦截器和过滤器的区别分析
    目录一、过滤器(filter)二、拦截器(interceptor)三、拦截器与过滤器的区别 四、详细说明 一、过滤器(filter) 过滤器处于客户端与Web资源(Servlet、J...
    99+
    2022-11-12
  • redis分布式锁的实现原理实例分析
    这篇文章主要介绍了redis分布式锁的实现原理实例分析的相关知识,内容详细易懂,操作简单快捷,具有一定借鉴价值,相信大家阅读完这篇redis分布式锁的实现原理实例分析文章都会有所收获,下面我们一起来看看吧。首先,为了确保分布式锁可用,我们至...
    99+
    2023-06-29
  • 基于java中servlet过滤器和监听器的示例分析
    小编给大家分享一下基于java中servlet过滤器和监听器的示例分析,希望大家阅读完这篇文章之后都有所收获,下面让我们一起去探讨吧!1 过滤器1.过滤器是什么?servlet规范当中定义的一种特殊的组件,用于拦截容器的调用.注:容器收到请...
    99+
    2023-05-31
    java servlet
  • Java拦截器,过滤器,监听器的简单原理和区别
    一、简单原理 拦截器(Interceptor):在Spring MVC等框架中,拦截器主要用于在处理Controller方法前后添加特定的处理逻辑。 过滤器(Filter):过滤器是基于Java Servlet的一种组件,它主要...
    99+
    2023-10-29
    监听器 过滤器 区别
  • Redisson分布式限流的实现原理解析
    目录正文RRateLimiter使用RRateLimiter的实现RRateLimiter使用时注意事项RRateLimiter是非公平限流器Rate不要设置太大限流的上限取决于Redis单实例的性能分布式限流的本质正文...
    99+
    2023-02-12
    Redisson分布式限流 Redisson 分布式
软考高级职称资格查询
编程网,编程工程师的家园,是目前国内优秀的开源技术社区之一,形成了由开源软件库、代码分享、资讯、协作翻译、讨论区和博客等几大频道内容,为IT开发者提供了一个发现、使用、并交流开源技术的平台。
  • 官方手机版

  • 微信公众号

  • 商务合作