iis服务器助手广告广告
返回顶部
首页 > 资讯 > 后端开发 > Python >Java 多线程并发编程提高数据处理效率的详细过程
  • 332
分享到

Java 多线程并发编程提高数据处理效率的详细过程

Java 多线程提高数据处理效率Java 多线程并发编程 2023-05-14 08:05:34 332人浏览 泡泡鱼

Python 官方文档:入门教程 => 点击学习

摘要

🎉工作场景中遇到这样一个需求:根据主机的 IP 地址联动更新其他模型的相关信息。需求很简单,只涉及一般的数据库联动查询以及更新操作,然而在编码实现过程中发现,由于主机的数量很多,导致

🎉工作场景中遇到这样一个需求:根据主机的 IP 地址联动更新其他模型的相关信息。需求很简单,只涉及一般的数据库联动查询以及更新操作,然而在编码实现过程中发现,由于主机的数量很多,导致循环遍历查询、更新时花费很长的时间,调用一次接口大概需要 30-40 min 时间才能完成操作。

💡因此,为了有效缩短接口方法的执行时间,便考虑使用多线程并发编程方法,利用多核处理器并行执行的能力,通过异步处理数据的方式,便可以大大缩短执行时间,提高执行效率。

📍这里使用可重用固定线程数的线程池 FixedThreadPool,并使用 CountDownLatch 并发工具类提供的并发流程控制工具作为配合使用,保证多线程并发编程过程中的正常运行:

  • 首先,通过 Runtime.getRuntime().availableProcessors() 方法获取运行机器的 CPU 线程数,用于后续设置固定线程池的线程数量。
  • 其次,判断任务的特性,如果为计算密集型任务则设置线程数为 CPU 线程数+1,如果为 io 密集型任务则设置线程数为 2 * CPU 线程数,由于在方法中需要与数据库进行频繁的交互,因此属于 IO 密集型任务。
  • 之后,对数据进行分组切割,每个线程处理一个分组的数据,分组的组数与线程数保持一致,并且还要创建计数器对象 CountDownLatch,调用构造函数,初始化参数值为线程数个数,保证主线程等待所有子线程运行结束后,再进行后续的操作。
  • 然后,调用 executorService.execute() 方法,重写 run 方法编写业务逻辑与数据处理代码,执行完当前线程后记得将计数器减1操作。
  • 最后,当所有子线程执行完成后,关闭线程池。

✨在省略工作场景中的业务逻辑代码后,通用的处理方法示例如下所示:

public ResponseData updateHostDept() {
		// ...
		List<Map> hostMapList = monGoTemplate.find(query, Map.class, "host");
        // split the hostMapList for the following multi-threads task
        // return the number of logical CPUs
        int processorsNum = Runtime.getRuntime().availableProcessors();
        // set the threadNum as 2*(the number of logical CPUs) for handling IO Tasks,
        // if Computing Tasks set the threadNum as (the number of logical  CPUs) + 1
        int threadNum = processorsNum * 2;  
        // the number of each group data 
        int eachGroupNum = hostMapList.size() / threadNum; 
        List<List<Map>> groupList = new ArrayList<>();
        for (int i = 0; i < threadNum; i++) {
            int start = i * eachGroupNum;
            if (i == threadNum - 1) {
                int end = mapList.size();
                groupList.add(hostMapList.subList(start, end));
            } else {
                int end = (i+1) * eachGroupNum;
                groupList.add(hostMapList.subList(start, end));
            }
        }
        // update data by using multi-threads asynchronously
        ExecutorService executorService = Executors.newFixedThreadPool(threadNum/2);
        CountDownLatch countDownLatch = new CountDownLatch(threadNum);
        for (List<Map> group : groupList) {
            executorService.execute(()->{
                try {
                    for (Map map : group) {
                    	// update the data in mongoDB
                    }
                } catch (Exception e) {
                    e.printStackTrace();
                } finally {
                	// let counter minus one 
                    countDownLatch.countDown();  
                }
            });
        }
        try {
        	// main thread donnot execute until all child threads finish
            countDownLatch.await();  
        } catch (Exception e) {
            e.printStackTrace();
        }
        // remember to shutdown the threadPool
        executorService.shutdown();  
        return ResponseData.success();
}

🎉那么在使用多线程异步更新的策略后,从当初调用接口所需的大概时间为 30-40 min 下降到了 8-10 min,大大提高了执行效率。

💡需要注意的是,这里使用的 newFixedThreadPool 创建线程池,它有一个缺陷就是,它的阻塞队列默认是一个无界队列,默认值为 Integer.MAX_VALUE 极有可能会造成 OOM 问题。因此,一般可以使用 ThreadPoolExecutor 来创建线程池,自己可以指定等待队列中的线程个数,避免产生 OOM 问题。

public ResponseData updateHostDept() {
		// ...
		List<Map> hostMapList = mongoTemplate.find(query, Map.class, "host");
        // split the hostMapList for the following multi-threads task
        // return the number of logical CPUs
        int processorsNum = Runtime.getRuntime().availableProcessors();
        // set the threadNum as 2*(the number of logical CPUs) for handling IO Tasks,
        // if Computing Tasks set the threadNum as (the number of logical  CPUs) + 1
        int threadNum = processorsNum * 2;  
        // the number of each group data 
        int eachGroupNum = hostMapList.size() / threadNum; 
        List<List<Map>> groupList = new ArrayList<>();
        for (int i = 0; i < threadNum; i++) {
            int start = i * eachGroupNum;
            if (i == threadNum - 1) {
                int end = mapList.size();
                groupList.add(hostMapList.subList(start, end));
            } else {
                int end = (i+1) * eachGroupNum;
                groupList.add(hostMapList.subList(start, end));
            }
        }
        // update data by using multi-threads asynchronously
        ThreadPoolExecutor executor = new ThreadPoolExecutor(5, 8, 30L, TimeUnit.SECONDS, 
                new ArrayBlockingQueue<>(100));
        CountDownLatch countDownLatch = new CountDownLatch(threadNum);
        for (List<Map> group : groupList) {
            executor.execute(()->{
                try {
                    for (Map map : group) {
                    	// update the data in mongodb
                    }
                } catch (Exception e) {
                    e.printStackTrace();
                } finally {
                	// let counter minus one 
                    countDownLatch.countDown();  
                }
            });
        }
        try {
        	// main thread donnot execute until all child threads finish
            countDownLatch.await();  
        } catch (Exception e) {
            e.printStackTrace();
        }
        // remember to shutdown the threadPool
        executor.shutdown();  
        return ResponseData.success();
}

在上述的代码中,核心线程数和最大线程数分别为 5 和 8,并没有设置的很大的值,因为如果如果设置的很大,线程间频繁的上下文切换也会增加时间消耗,反而不能最大程度上发挥多线程的优势。至于如何选择合适的参数,需要根据机器的参数以及任务的类型综合考虑决定。

🎉最后补充一点,如果想要通过非编码的方式获取机器的 CPU 线程个数也很简单,windows 系统通过任务管理器,选择 “性能”,便可以查看 CPU 线程个数的情况,如下图所示:

🎉从上图可以看到,我的机器中内核是八个 CPU,但是通过超线程技术一个物理的 CPU 核心可以模拟成两个逻辑 CPU 线程,因此我的机器是支持8核16线程的。

到此这篇关于Java 多线程并发编程提高数据处理效率的文章就介绍到这了,更多相关Java 多线程提高数据处理效率内容请搜索编程网以前的文章或继续浏览下面的相关文章希望大家以后多多支持编程网!

--结束END--

本文标题: Java 多线程并发编程提高数据处理效率的详细过程

本文链接: https://www.lsjlt.com/news/203062.html(转载时请注明来源链接)

有问题或投稿请发送至: 邮箱/279061341@qq.com    QQ/279061341

本篇文章演示代码以及资料文档资料下载

下载Word文档到电脑,方便收藏和打印~

下载Word文档
猜你喜欢
  • Java 多线程并发编程提高数据处理效率的详细过程
    🎉工作场景中遇到这样一个需求:根据主机的 IP 地址联动更新其他模型的相关信息。需求很简单,只涉及一般的数据库联动查询以及更新操作,然而在编码实现过程中发现,由于主机的数量很多,导致...
    99+
    2023-05-14
    Java 多线程提高数据处理效率 Java 多线程并发编程
  • Java多线程并发编程提高数据处理效率是多少
    本文小编为大家详细介绍“Java多线程并发编程提高数据处理效率是多少”,内容详细,步骤清晰,细节处理妥当,希望这篇“Java多线程并发编程提高数据处理效率是多少”文章能帮助大家解决疑惑,下面跟着小编的思路慢慢深入,一起来学习新知识吧。工作场...
    99+
    2023-07-05
  • Java 并发(多线程)超详细
    Java 并发 此文章已收录至项目 Developer-Knowledge-Base 信息来源 https://www.cnblogs.com/snow-flower/p/6114765.html j...
    99+
    2023-09-06
    java 开发语言
  • java 多线程处理大量并发数据
    Java中多线程是一种处理数据的常见方式,它可以同时执行多个线程以提高程序的性能和效率。下面是一个使用多线程处理数据的示例代码: public class DataProcessor { pub...
    99+
    2023-09-07
    java 开发语言
  • java的多线程高并发详解
    目录1.JMM数据原子操作2.来看volatile关键字3.并发编程三大特性4.双锁判断机制创建单例模式5.synchronized关键字6.AtomicIntger原子操作7.锁优...
    99+
    2024-04-02
  • 理解Java多线程之并发编程
    目录1 多线程的使用场景2 多线程的缺点2.1 上下文切换的开销(1)上下文切换的开销(2)如何减少上下文切换2.2 多线程中的数据一致性问题(1)线程中访问外部数据的过程(2)线程...
    99+
    2023-02-02
    Java并发编程 java并发编程实战 java并发编程的艺术
  • 开发工程师如何提高Java编程效率
    这篇文章主要为大家分析了开发工程师如何提高Java编程效率的相关知识点,内容详细易懂,操作细节合理,具有一定参考价值。如果感兴趣的话,不妨跟着跟随小编一起来看看,下面跟着小编一起深入学习“开发工程师如何提高Java编程效率”的知识吧。在学习...
    99+
    2023-06-02
  • Python 并发编程:实现高效率的任务处理。
    Python 并发编程:实现高效率的任务处理 随着计算机硬件性能的提高,我们可以同时执行更多的任务,从而提高应用程序的性能。Python 并发编程是一种利用多线程、多进程、协程等技术实现高效率任务处理的方法。本文将介绍 Python 并发编...
    99+
    2023-08-09
    并发 apache django
  • 并发编程在自然语言处理中的应用:Java如何提高处理效率?
    随着自然语言处理技术的发展,越来越多的人工智能应用需要处理海量的文本数据。在处理这些数据时,效率是一个非常重要的问题。而并发编程技术可以帮助我们提高处理效率。 Java是一种非常流行的编程语言,也是自然语言处理领域中广泛使用的语言之一。在...
    99+
    2023-08-31
    自然语言处理 关键字 并发
  • Java中的并发编程:如何使用ConcurrentHashMap来提高程序的效率?
    在Java编程中,随着计算机硬件的不断提升,多核CPU已经成为了主流。因此,在编写Java程序时,我们需要考虑如何利用多线程来提高程序的效率。在多线程编程中,线程安全是一个非常重要的概念。如果多个线程同时对同一个数据进行读写操作,就可能会...
    99+
    2023-09-19
    并发 数组 容器
  • Python attrs提高面向对象编程效率详细
    目录1、attrs的使用2、验证器3、转换器前言: Python是面向对象的语言,一般情况下使用面向对象编程会使得开发效率更高,软件质量更好,并且代码更易于扩展,可读性和可维护性也更...
    99+
    2024-04-02
  • PHP开发中的多线程编程和并发处理
    php的多线程编程和并发处理提供了以下技术:创建线程(pthread_create())并等待其完成(pthread_join())。通过互斥锁(pthread_mutex_lock()...
    99+
    2024-05-09
    php 并发处理 并发请求
  • Git和PHP并发编程:如何提高开发效率?
    Git和PHP并发编程:如何提高开发效率? 在现代软件开发中,版本控制和并发编程是两个非常重要的主题。Git和PHP是两个非常流行的工具和语言,它们的结合可以大大提高开发效率。在本文中,我们将探讨如何使用Git和PHP进行并发编程,以及如何...
    99+
    2023-06-03
    并发 git 开发技术
  • 编程开发中多线程一定比单线程执行效率高吗
    这篇文章主要讲解了“编程开发中多线程一定比单线程执行效率高吗”,文中的讲解内容简单清晰,易于学习与理解,下面请大家跟着小编的思路慢慢深入,一起来研究和学习“编程开发中多线程一定比单线程执行效率高吗”吧! 一、什么是串行什么是并行串...
    99+
    2023-06-16
  • Java中多线程下载图片并压缩能提高效率吗
    目录前言实现思路实测前言 需求 导出Excel:本身以为是一个简单得导出,但是每行得记录文件中有一列为图片url,需要下载所有记录行对应得图片,然后压缩整个文件夹。 这里只做4....
    99+
    2024-04-02
  • 优化Python并发编程接口,如何提高程序效率?
    Python是一门高级编程语言,它被广泛应用于数据科学、机器学习、人工智能等领域。在这些领域中,程序的运行效率是一个非常重要的因素。为了提高程序效率,Python提供了多种并发编程接口。本文将介绍如何优化Python并发编程接口,以提高程序...
    99+
    2023-05-26
  • Python中的numpy库能否提高并发编程的效率?
    Python作为一种高级编程语言,广泛应用于人工智能、科学计算、数据分析等领域。而在这些领域中,数据处理是一项非常重要的工作。随着数据量的不断增大,数据处理的效率成为了一个非常关键的问题。在这种情况下,numpy库就显得尤为重要了。 nu...
    99+
    2023-11-07
    并发 关键字 numpy
  • Java多线程之并发编程的核心AQS详解
    目录一、AQS简介1.1、AOS概念 1.2、AQS的核心思想1.3、AQS是自旋锁1.4、AQS支持两种资源分享的方式 二、AQS原理2.1、同步状态的管理2....
    99+
    2024-04-02
  • NumPy数组操作如何提升Java并发编程效率?
    Java并发编程是现代软件开发中的重要组成部分,但是在处理大量数据时,Java的效率并不是最优的。为了提高Java并发编程的效率,我们可以考虑使用NumPy数组操作。 NumPy是一个开源的Python库,用于处理大型多维数组和矩阵,它提供...
    99+
    2023-10-22
    numy 二维码 并发
  • 《PHP容器并发编程实践:如何实现高效的多线程并发?》
    PHP容器并发编程实践:如何实现高效的多线程并发? 在如今的互联网时代,高并发已经成为了一个家喻户晓的话题。而对于PHP开发者来说,如何实现高效的多线程并发则成为了一个必须掌握的技能。本文将介绍PHP容器并发编程的实践方法,帮助开发者实现高...
    99+
    2023-10-02
    并发 教程 容器
软考高级职称资格查询
编程网,编程工程师的家园,是目前国内优秀的开源技术社区之一,形成了由开源软件库、代码分享、资讯、协作翻译、讨论区和博客等几大频道内容,为IT开发者提供了一个发现、使用、并交流开源技术的平台。
  • 官方手机版

  • 微信公众号

  • 商务合作