iis服务器助手广告广告
返回顶部
首页 > 资讯 > 精选 >PostgreSQL并行计算算法及参数强制并行度怎么设置
  • 183
分享到

PostgreSQL并行计算算法及参数强制并行度怎么设置

2023-06-29 21:06:10 183人浏览 泡泡鱼
摘要

这篇文章主要讲解了“postgresql并行计算算法及参数强制并行度怎么设置”,文中的讲解内容简单清晰,易于学习与理解,下面请大家跟着小编的思路慢慢深入,一起来研究和学习“Postgresql并行计算算法及参数强制并行度怎么设置”吧!一、优

这篇文章主要讲解了“postgresql并行计算算法及参数强制并行度怎么设置”,文中的讲解内容简单清晰,易于学习与理解,下面请大家跟着小编的思路慢慢深入,一起来研究和学习“Postgresql并行计算算法及参数强制并行度怎么设置”吧!

一、优化器并行计算的并行度计算方法

总worker进程数

postgres=# show  ;       max_worker_processes     ----------------------     128    (1 row)

所有会话,在同一时刻的QUERY,并行计算最大允许开启的WORKER数。

max_parallel_workers

单条QUERY中,每个node最多允许开启的并行计算WORKER数

postgres=# show max_parallel_workers_per_gather ;     max_parallel_workers_per_gather     ---------------------------------     0    (1 row)

单个query, node的并行度

Min(parallel_workers(表级设置,没有设置则,根据表大小计算得到), max_parallel_workers_per_gather)

表级并行度参数,默认不设置,从表大小计算。

postgres=# alter table pa set (parallel_workers =32);    ALTER TABLE

真实并行度算法

min (max_worker_processes - 已运行workers ,          max_parallel_workers - 其他会话当前真实启用的并行度 ,           Min(parallel_workers(表级设置,没有设置则,根据表大小计算得到), max_parallel_workers_per_gather)     )

二、优化器是否选择并行计算

优化器是否使用并行计算,取决于CBO,选择成本最低的方法,并行计算成本估算,成本因子参数如下:

postgres=# show parallel_tuple_cost ;     parallel_tuple_cost     ---------------------     0    (1 row)    postgres=# show parallel_setup_cost ;     parallel_setup_cost     ---------------------     0    (1 row)

如果非并行计算的执行计划成本低于并行计算的成本,则不使用并行计算。

三、优化器是否忽略并行计算

如果表扫描或索引扫描的表或索引低于设置的阈值,这个表扫描或索引扫描则不启用并行计算。

postgres=# show min_parallel_table_scan_size ;     min_parallel_table_scan_size     ------------------------------     0    (1 row)    postgres=# show min_parallel_index_scan_size ;     min_parallel_index_scan_size     ------------------------------     0    (1 row)

四、优化器强制选择并行计算参数

#force_parallel_mode = on

五、并行计算相关参数

创建索引,CREATE TABLE AS,SELECT INTO 的并行度

postgres=# show max_parallel_maintenance_workers ;     max_parallel_maintenance_workers     ----------------------------------     24    (1 row)

并行分区表JOIN

#enable_partitionwise_join = on

并行分区表分区聚合

#enable_partitionwise_aggregate = on

并行HASH计算

#enable_parallel_hash = on

LEADER主动获取并行WORKER的返回结果

parallel_leader_participation = on

并行APPEND(分区表),UNION ALL查询

#enable_parallel_append = on

六、强行并行

强制并行度24

1、总的可开启的WORKER足够大  postgres=# show max_worker_processes ;   max_worker_processes   ----------------------   128  (1 row)    2、所有会话同时执行并行计算的并行度足够大  postgres=# set max_parallel_workers=64;  SET  3、单个QUERY中并行计算NODE开启的WORKER=24  postgres=# set max_parallel_workers_per_gather =24;  4、所有表和索引扫描允许并行  postgres=# set min_parallel_table_scan_size =0;  postgres=# set min_parallel_index_scan_size =0;  5、并行计算优化器成本设置为0  postgres=# set parallel_tuple_cost =0;  postgres=# set parallel_setup_cost =0;  6、设置表级并行度为24  postgres=# alter table pa set (parallel_workers =24);  ALTER TABLE  7、效果,强制24并行。  postgres=# explain (analyze) select count(*) from pa;                                                               QUERY PLAN                                                                -------------------------------------------------------------------------------------------------------------------------------------   Finalize Aggregate  (cost=1615.89..1615.89 rows=1 width=8) (actual time=81.711..81.711 rows=1 loops=1)     ->  Gather  (cost=1615.83..1615.83 rows=24 width=8) (actual time=81.572..90.278 rows=25 loops=1)           Workers Planned: 24           Workers Launched: 24           ->  Partial Aggregate  (cost=1615.83..1615.83 rows=1 width=8) (actual time=58.411..58.411 rows=1 loops=25)                 ->  Parallel Seq Scan on pa  (cost=0.00..712.71 rows=416667 width=0) (actual time=0.012..35.428 rows=400000 loops=25)   Planning Time: 0.449 ms   Execution Time: 90.335 ms  (8 rows)

七、函数并行

并行函数

create or replace function ftest(int) returns boolean as $$      select $1<1000;    $$ language sql strict    parallel safe;        -- parallel safe 语法

并行聚合函数

combinefunc

感谢各位的阅读,以上就是“PostgreSQL并行计算算法及参数强制并行度怎么设置”的内容了,经过本文的学习后,相信大家对PostgreSQL并行计算算法及参数强制并行度怎么设置这一问题有了更深刻的体会,具体使用情况还需要大家实践验证。这里是编程网,小编将为大家推送更多相关知识点的文章,欢迎关注!

--结束END--

本文标题: PostgreSQL并行计算算法及参数强制并行度怎么设置

本文链接: https://www.lsjlt.com/news/326430.html(转载时请注明来源链接)

有问题或投稿请发送至: 邮箱/279061341@qq.com    QQ/279061341

本篇文章演示代码以及资料文档资料下载

下载Word文档到电脑,方便收藏和打印~

下载Word文档
猜你喜欢
  • PostgreSQL并行计算算法及参数强制并行度怎么设置
    这篇文章主要讲解了“PostgreSQL并行计算算法及参数强制并行度怎么设置”,文中的讲解内容简单清晰,易于学习与理解,下面请大家跟着小编的思路慢慢深入,一起来研究和学习“PostgreSQL并行计算算法及参数强制并行度怎么设置”吧!一、优...
    99+
    2023-06-29
  • PostgreSQL并行计算算法及参数强制并行度设置方法
    目录一、优化器并行计算的并行度计算方法二、优化器是否选择并行计算三、优化器是否忽略并行计算四、优化器强制选择并行计算参数五、并行计算相关参数六、强行并行七、函数并行一、优化器并行计算...
    99+
    2024-04-02
  • 如何使用golang函数并发控制进行并行计算
    在 go 中可以使用 goroutine 和函数并发控制实现并行计算,具体步骤如下:创建 goroutine,使用 go 关键字创建轻量级并发执行单元。使用 sync.waitgroup...
    99+
    2024-04-24
    并发控制 并行计算 golang
  • Delphi中怎么进行并发编程和并行计算
    在Delphi中进行并发编程和并行计算可以使用多线程的方式来实现。下面是一个简单的示例代码: unit MainUnit; int...
    99+
    2024-03-13
    Delphi
  • 计算机程序设计并行计算概念及定义全面详解
    目录1 摘要2 概述2.1 什么是并行计算?2.2 为什么要并行计算?2.3 谁都在使用并行计算?科学界和工程界:工业界和商业界:全球应用:3 概念和术语3.1 冯诺依曼体系结构3....
    99+
    2024-04-02
  • DotNet中怎么实现并行计算
    这期内容当中小编将会给大家带来有关DotNet中怎么实现并行计算,文章内容丰富且以专业的角度为大家分析和叙述,阅读完这篇文章希望大家可以有所收获。误区三 . 并行计算是运行时的事 的确,DotNet会在运行时决定是否使用并行库处理代码,但是...
    99+
    2023-06-17
  • Python怎么实现任务调度并行算法
    本篇内容介绍了“Python怎么实现任务调度并行算法”的有关知识,在实际案例的操作过程中,不少人都会遇到这样的困境,接下来就让小编带领大家学习一下如何处理这些情况吧!希望大家仔细阅读,能够学有所成!本来自己想先使用Java来写一个版本,然后...
    99+
    2023-06-04
  • 序列算法怎么利用Java进行合并
    这期内容当中小编将会给大家带来有关序列算法怎么利用Java进行合并,文章内容丰富且以专业的角度为大家分析和叙述,阅读完这篇文章希望大家可以有所收获。问题描述输入:序列A<a0,a1,a2,...aq,aq+1,aq+2,...,ar&...
    99+
    2023-05-31
    java ava
  • Visual Studio 中怎么利用Parallel类实现并行计算
    Visual Studio 中怎么利用Parallel类实现并行计算,很多新手对此不是很清楚,为了帮助大家解决这个难题,下面小编将为大家详细讲解,有这方面需求的人可以来学习下,希望你能有所收获。Parallel类Parallel类就是TPL...
    99+
    2023-06-17
  • Mahout怎么实现分布式计算和并行处理
    Mahout是一个分布式机器学习库,它可以在分布式环境中实现计算和并行处理。Mahout基于Apache Hadoop构建,利用Ha...
    99+
    2024-04-02
  • 大数据文本并行计算实现方式是什么
    本篇文章为大家展示了大数据文本并行计算实现方式是什么,内容简明扼要并且容易理解,绝对能使你眼前一亮,通过这篇文章的详细介绍希望你能有所收获。对于大数据文件的处理,可以充分利用现代计算机的多核CPU,实施多线程并行计算,从而达到提速的目的。然...
    99+
    2023-06-03
  • 编程语言中任务调度的并行算法是什么
    编程语言中任务调度的并行算法是什么,针对这个问题,这篇文章详细介绍了相对应的分析和解答,希望可以帮助更多想解决这个问题的小伙伴找到更简单易行的方法。如果给定一批任务,比如有500个任务,需要在尽可能快的时间内做完。如果串行是肯定不行的。我们...
    99+
    2023-06-02
  • 怎么计算并测量ABAP及Java代码的环复杂度
    这篇文章主要介绍“怎么计算并测量ABAP及Java代码的环复杂度”,在日常操作中,相信很多人在怎么计算并测量ABAP及Java代码的环复杂度问题上存在疑惑,小编查阅了各式资料,整理出简单好用的操作方法,希望对大家解答”怎么计算并测量ABAP...
    99+
    2023-06-04
  • Beam怎么实现数据的并行处理和分布式计算
    Beam是一个用于实现数据处理管道的统一编程模型,它可以在不同的运行环境中进行数据的并行处理和分布式计算。下面是Beam实现数据的并...
    99+
    2024-03-15
    Beam
  • Cassandra数据的分布式计算和并行处理怎么实现
    Cassandra是一个分布式数据库系统,它支持并行处理和分布式计算。要实现Cassandra数据的分布式计算和并行处理,可以采用以...
    99+
    2024-05-11
    Cassandra
  • R语言中怎么使用parallel包实现并行计算
    要在R语言中使用parallel包实现并行计算,首先要安装并加载parallel包。可以使用以下代码来安装和加载parallel包:...
    99+
    2024-04-03
    R语言 parallel
  • Oracle expdp导出时的并行度设置方法是什么
    本篇内容介绍了“Oracle expdp导出时的并行度设置方法是什么”的有关知识,在实际案例的操作过程中,不少人都会遇到这样的困境,接下来就让小编带领大家学习一下如何处理这些情况吧!希望大家仔细阅读,能够学...
    99+
    2024-04-02
  • C#开发中如何处理大数据处理和并行计算问题解决方法
    C#开发中如何处理大数据处理和并行计算问题解决方法,需要具体代码示例在当前信息时代,数据量的增长呈指数级增长。对于开发人员来说,处理大数据和并行计算已经成为一项重要的任务。在C#开发中,我们可以借助一些技术和工具来解决这些问题。本文将介绍一...
    99+
    2023-10-22
    大数据处理 并行计算 C#开发
  • Matlab计算变异函数并绘制经验半方差图的方法是什么
    这篇“Matlab计算变异函数并绘制经验半方差图的方法是什么”文章的知识点大部分人都不太理解,所以小编给大家总结了以下内容,内容详细,步骤清晰,具有一定的借鉴价值,希望大家阅读完这篇文章能有所收获,下面我们一起来看看这篇“Matlab计算变...
    99+
    2023-07-05
软考高级职称资格查询
编程网,编程工程师的家园,是目前国内优秀的开源技术社区之一,形成了由开源软件库、代码分享、资讯、协作翻译、讨论区和博客等几大频道内容,为IT开发者提供了一个发现、使用、并交流开源技术的平台。
  • 官方手机版

  • 微信公众号

  • 商务合作