返回顶部
首页 > 资讯 > 精选 >Hbase常用参数是什么
  • 314
分享到

Hbase常用参数是什么

2023-06-03 02:06:46 314人浏览 独家记忆
摘要

这篇文章给大家分享的是有关HBase常用参数是什么的内容。小编觉得挺实用的,因此分享给大家做个参考,一起跟随小编过来看看吧。参数列表:hbase.client.write.buffer        

这篇文章给大家分享的是有关HBase常用参数是什么的内容。小编觉得挺实用的,因此分享给大家做个参考,一起跟随小编过来看看吧。

参数列表:

hbase.client.write.buffer          写入是BUFFER大小,默认2M,一般2-5M左右,插入时先插入缓存即表示完成,明显速度比不使用缓存要快
hbase.client.scanner.caching   通过ResultScanner获取结果的时候,默认next()方法一次一条,通过设置cache,一次可以多条,默认值100,这个值越大,需要内存越多
hbase.master.handler.count    Master rpc数量
hbase.regionserver.handler.count  regionserver RPC数量
hbase.regionserver.global.memstore.upperLimit,  默认0.4表示memstore最多使用JAVA HEAP的40%
hbase.regionserver.global.memstore.lowerLimit,  默认0.38 表示使用到了38%就要进行刷盘了
hbase.hregion.memstore.flush.size                        默认128M,当memstore 使用达到128M,就刷新为Hfile,并关闭次memstore
hbase.hregion.max.filesize                                     HFILE最大值,超过了就要split
hbase.hstore.compactionThreshold                       默认3, 一个region下有3个HFILE就会合并
hbase.hstore.blockingStoreFiles                             默认10, 如果达到这个数字,就会阻塞插入和更新,等待合并完成, 但是这个参数不是强制性的,看下面的blockwait time
hbase.hstore.blockingWaitTime                               默认90秒,如果超过这个时间合并还没有完成,重启启用更新插入
hbase.hregion.majorcompaction                            默认7天,有公式来支撑,大致是比较当前时间和HFILE时间做比较,看是否有超过7天
hfile.block.cache.size                                               读缓存,默认java heap的40% 
IncreasingToUpperBoundRegionSplitPolicy      split policy, 默认值, 如果要关闭自动SPLIT,建议使用第三种策略,然后增大HFILE最大大小,这样自动SPLIT基本就关闭了
KeyPrefixRegionSplitPolicy
ConstantSizeRegionSplitPolicy


以上这些参数通常都要根据业务情况进行微调,不需要太大调整,要完整的说怎么使用,不太可能,业务不同,规则不同。

比如BLOCK CACHE,读缓存,按照数据库的规则来说,譬如MySQL, oracle,我们希望这个值的命中率为99%, 但是对HBASE来说99%基本不可能,有些大的表可能就偶尔做一次SCAN,数据进入内存之后,把其他经常需要缓存的数据刷出去了,这种情况,建议关闭这种表的BLOCK CACHE, 那如果有些表经常要读,可能我们希望会设置IN MEMORY。 

再比如memstore为128M,是否这个值能否修改为256? 或者64 ? 我觉得是看刷新频率,如果你几秒钟就128M了,我觉得是否这个值应该加大,另外minor合并默认为3,是否小了? 修改为5,或者8或者更大是否合适呢?  

感谢各位的阅读!关于“Hbase常用参数是什么”这篇文章就分享到这里了,希望以上内容可以对大家有一定的帮助,让大家可以学到更多知识,如果觉得文章不错,可以把它分享出去让更多的人看到吧!

--结束END--

本文标题: Hbase常用参数是什么

本文链接: https://www.lsjlt.com/news/232390.html(转载时请注明来源链接)

有问题或投稿请发送至: 邮箱/279061341@qq.com    QQ/279061341

猜你喜欢
  • Hbase常用参数是什么
    这篇文章给大家分享的是有关Hbase常用参数是什么的内容。小编觉得挺实用的,因此分享给大家做个参考,一起跟随小编过来看看吧。参数列表:hbase.client.write.buffer        ...
    99+
    2023-06-03
  • Ghost常用参数是什么
    本篇内容介绍了“Ghost常用参数是什么”的有关知识,在实际案例的操作过程中,不少人都会遇到这样的困境,接下来就让小编带领大家学习一下如何处理这些情况吧!希望大家仔细阅读,能够学有所成!用过DOS的人对参数并不陌生,DOS下的很多程序都有参...
    99+
    2023-06-09
  • python中什么是异常参数
    本篇文章为大家展示了python中什么是异常参数,内容简明扼要并且容易理解,绝对能使你眼前一亮,通过这篇文章的详细介绍希望你能有所收获。python是什么意思Python是一种跨平台的、具有解释性、编译性、互动性和面向对象的脚本语言,其最初...
    99+
    2023-06-14
  • JVM常用参数调优方法是什么
    本篇内容介绍了“JVM常用参数调优方法是什么”的有关知识,在实际案例的操作过程中,不少人都会遇到这样的困境,接下来就让小编带领大家学习一下如何处理这些情况吧!希望大家仔细阅读,能够学有所成!对于调优这个事情来说,一般就是三个过程:性能监控:...
    99+
    2023-06-02
  • linux常用内核参数指的是什么
    本篇文章给大家分享的是有关linux常用内核参数指的是什么,小编觉得挺实用的,因此分享给大家学习,希望大家阅读完这篇文章后可以有所收获,话不多说,跟着小编一起来看看吧。 常用参数如下:1)    &n...
    99+
    2023-06-06
  • 什么是HBase
    这篇文章主要介绍了什么是HBase,具有一定借鉴价值,感兴趣的朋友可以参考下,希望大家阅读完这篇文章之后大有收获,下面让小编带着大家一起了解一下。一、什么是HBase  HBase 是一个高可靠、高性能、面向列、可伸缩的分布式存储系统,利用...
    99+
    2023-06-02
  • HBase表的数据模型是什么
    本篇内容主要讲解“HBase表的数据模型是什么”,感兴趣的朋友不妨来看看。本文介绍的方法操作简单快捷,实用性强。下面就让小编来带大家学习“HBase表的数据模型是什么”吧!HBase是运行在Hadoop集群上的一个数据库,与传统的数据库有严...
    99+
    2023-06-30
  • HBase中的ZooKeeper是什么作用
    ZooKeeper在HBase中扮演着多种重要角色,主要包括以下几点作用: 协调管理:ZooKeeper负责协调HBase集群中各...
    99+
    2024-03-14
    HBase
  • HBase中ZooKeeper的作用是什么
    在HBase中,ZooKeeper起着重要的作用,主要有以下几个方面: 协调服务:ZooKeeper用于管理HBase集群中各个节...
    99+
    2024-03-12
    Hbase ZooKeeper
  • hbase指的是一种什么数据库
    这篇文章主要介绍hbase指的是一种什么数据库,文中介绍的非常详细,具有一定的参考价值,感兴趣的小伙伴们一定要看完!HBase是一个分布式的、面向列的开源数据库,该技术来源于Fay Chang所撰写的Goo...
    99+
    2024-04-02
  • hbase修改数据的方法是什么
    HBase提供了两种主要的方法来修改数据: 使用Put操作:Put操作用于新增或更新一行数据。可以通过创建一个Put实例来指定要...
    99+
    2023-10-28
    hbase
  • hbase读取数据的流程是什么
    HBase读取数据的流程如下: 客户端向HBase集群发送读取请求,请求包括表名、行键和列族等信息。 HMaster接收到请求后,...
    99+
    2024-03-05
    hbase
  • hbase更新数据的方法是什么
    HBase更新数据的方法通常是通过Put对象来实现。Put对象可以用于在HBase表中插入新数据或更新已有数据。具体步骤如下: 创...
    99+
    2024-04-02
  • mysql命令的常用参数包括什么
    mysql 命令提供了各种用于定制其功能和行为的参数,包括:用户认证:-u 指定用户名,-p 提示输入密码,--password 直接指定密码。连接:-h 指定主机地址,-p 指定端口号...
    99+
    2024-04-14
    mysql
  • Linux常用内核网络参数及修改方法是什么
    本篇文章为大家展示了Linux常用内核网络参数及修改方法是什么,内容简明扼要并且容易理解,绝对能使你眼前一亮,通过这篇文章的详细介绍希望你能有所收获。Linux常用内核参数参数描述net.core.rmem_default默认的TCP数据接...
    99+
    2023-06-28
  • HBase的数据迁移的过程是什么
    HBase的数据迁移过程通常包括以下几个步骤: 准备目标环境:首先需要准备好目标HBase集群,包括配置好HBase服务、准备好...
    99+
    2024-03-11
    Hbase
  • HBase中数据存储的形式是什么
    在HBase中,数据是以表格形式存储的,每个表由行(row)组成,每行又包含多个列族(column family),而列族包含多个列...
    99+
    2024-04-09
    HBase
  • golang rest参数的作用是什么
    在Go语言中,rest参数的作用是接收可变数量的参数。它是一种特殊的函数参数,可以接收任意数量的同类型参数。 rest参数使用三个点...
    99+
    2023-10-22
    golang
  • linux mencoder参数的作用是什么
    mencoder 是一个开源的视频编码和解码工具,常用于处理视频文件的转码和压缩。mencoder 的参数用于指定视频文件的输入和输...
    99+
    2023-10-18
    linux
  • golang rest参数的用法是什么
    在Golang中,可以使用"…"语法来定义一个函数的可变参数,也称为rest参数。它允许函数接受任意数量的参数。...
    99+
    2024-02-29
    golang
软考高级职称资格查询
编程网,编程工程师的家园,是目前国内优秀的开源技术社区之一,形成了由开源软件库、代码分享、资讯、协作翻译、讨论区和博客等几大频道内容,为IT开发者提供了一个发现、使用、并交流开源技术的平台。
  • 官方手机版

  • 微信公众号

  • 商务合作