返回顶部
首页 > 资讯 > 后端开发 > Python >HBase如何增量备份的python脚本
  • 307
分享到

HBase如何增量备份的python脚本

2024-04-02 19:04:59 307人浏览 独家记忆

Python 官方文档:入门教程 => 点击学习

摘要

这篇文章将为大家详细讲解有关HBase如何增量备份的python脚本,小编觉得挺实用的,因此分享给大家做个参考,希望大家阅读完这篇文章后可以有所收获。  HBase自带的export/import机制可以实

这篇文章将为大家详细讲解有关HBase如何增量备份的python脚本,小编觉得挺实用的,因此分享给大家做个参考,希望大家阅读完这篇文章后可以有所收获。

  HBase自带的export/import机制可以实现BackupRestore功能。而且可以实现增量备份。

  HBase怎样增量备份的Python脚本

  在这个脚本中,每天做增量备份,每个月15日做全备份。

importtime
  importdatetime
  fromdatetimeimportdate
  importsys
  importos
  tablename=sys.argv[1]
  backupDst=sys.argv[2]
  today=date.today()
  iftoday.day==15://everymonth,wedoafullbackup
  backupSubFolder=backupDst+today.isofORMat()+"-full"
  cmd="hbaseorg.apache.hadoop.hbase.mapReduce.Export%s%s"%(tablename,backupSubFolder)
  else:
  yesterday=datetime.date.today()-datetime.timedelta(days=1)
  todayTimeStamp=time.mktime(today.timetuple())
  yesTimeStamp=time.mktime(yesterday.timetuple())
  backupSubFolder=backupDst+today.isoformat()
  cmd="hbaseorg.apache.hadoop.hbase.mapreduce.Export%s%s%s"%(tablename,backupSubFolder,str(int(todayTimeStamp)*1000)
  printcmd
  os.system(cmd)

  HBase怎样增量备份的python脚本

  而Restore机制就更加简单

  hbaseorg.apache.hadoop.hbase.mapreduce.Importtablenamerestorefolder

  要注意的是,做Restore时候,原始的表必须是创建好的。所以如果表本身被损坏,需要重新创建一个新的空表,再做Restore。

  还有,必须在Hadoop-env.sh中配置好hbase和ZooKeeper的路径,加上这样的语句

exportHADOOP_CLASSPATH="/usr/lib/hadoop-hbase/hbaseXXX.jar:/usr/lib/hadoop-hbase/lib/zookeeperXXX.jar:/etc/hadoop-hbase/conf"

  把这个加到crontab里面,就可以实现每天定时备份了。

关于“HBase如何增量备份的python脚本”这篇文章就分享到这里了,希望以上内容可以对大家有一定的帮助,使各位可以学到更多知识,如果觉得文章不错,请把它分享出去让更多的人看到。

--结束END--

本文标题: HBase如何增量备份的python脚本

本文链接: https://www.lsjlt.com/news/55167.html(转载时请注明来源链接)

有问题或投稿请发送至: 邮箱/279061341@qq.com    QQ/279061341

猜你喜欢
  • HBase如何增量备份的python脚本
    这篇文章将为大家详细讲解有关HBase如何增量备份的python脚本,小编觉得挺实用的,因此分享给大家做个参考,希望大家阅读完这篇文章后可以有所收获。  HBase自带的export/import机制可以实...
    99+
    2024-04-02
  • hbase如何实现全备增量备份脚本
    小编给大家分享一下hbase如何实现全备增量备份脚本,相信大部分人都还不怎么了解,因此分享这篇文章给大家参考一下,希望大家阅读完这篇文章后大有收获,下面让我们一起去了解一下吧![hadoop@robot-pbs-hadoop-master ...
    99+
    2023-06-03
  • innobackup增量备份脚本
    参考涂抹mysql里的脚本,做了下改进 [mysql@mysql01 scripts]$ cat mysql_full_backup_by_xtra.sh #!/bin/sh # Created by w...
    99+
    2024-04-02
  • mysql全库备份/增量备份脚本
    http://hongge.blog.51cto.com/ 生产环境中Mysql数据库的备份是周期性重复的操作,所以通常是要编写脚本实现,通过crond计划任务周期性执行备份脚本 mysqldump备份...
    99+
    2024-04-02
  • mongodb如何实现增量/全量备份脚本
    这篇文章主要介绍了mongodb如何实现增量/全量备份脚本,具有一定借鉴价值,感兴趣的朋友可以参考下,希望大家阅读完这篇文章之后大有收获,下面让小编带着大家一起了解一下。功能定期对mongodb数据库数据进...
    99+
    2024-04-02
  • windows 全量+增量备份脚本bat
    @set ORACLE_HOME=D:\app\Administrator\product\11.2.0\dbhome_1 @rem echo %ORACLE_HOME% @set ORACLE_SI...
    99+
    2024-04-02
  • mongodb增量备份脚本的实现
    mongodb增量备份脚本的实现?针对这个问题,这篇文章详细介绍了相对应的分析和解答,希望可以帮助更多想解决这个问题的小伙伴找到更简单易行的方法。mongodb集群架构时,从库是通过异步复制主库的Oplog...
    99+
    2024-04-02
  • MySQL增量备份的脚本代码
    这篇文章主要讲解了“MySQL增量备份的脚本代码”,文中的讲解内容简单清晰,易于学习与理解,下面请大家跟着小编的思路慢慢深入,一起来研究和学习“MySQL增量备份的脚本代码”吧!#!/bin/sh #aut...
    99+
    2024-04-02
  • mysqldump如何实现全量和增量备份脚本
    这篇文章将为大家详细讲解有关mysqldump如何实现全量和增量备份脚本,小编觉得挺实用的,因此分享给大家做个参考,希望大家阅读完这篇文章后可以有所收获。 #!/bin/bash ...
    99+
    2024-04-02
  • MySQL数据库如何用脚本备份全库和增量备份
    MySQL数据库如何用脚本备份全库和增量备份?针对这个问题,今天小编总结这篇有关数据库备份的文章,可供感兴趣的小伙伴们参考借鉴,希望对大家有所帮助。1、全库备份脚本如下:#!/bin/bash ######...
    99+
    2024-04-02
  • 0级增量备份脚本(示例)
    create script bak_0{ crosscheck backup; crosscheck archivelog all; allocate...
    99+
    2024-04-02
  • 1级增量备份脚本(示例)
    create script bak_1{ allocate channel c1 type disk; allocate chann...
    99+
    2024-04-02
  • ORACLE-RMAN:备份脚本(全库,增量)
    1.全库备份:# script:BackupFull.sh# creater:yangyuefei# date:2014/5/14# desc:backup full database datafile i...
    99+
    2024-04-02
  • 数据库备份周日全量+日增量备份脚本
    相信很多做运维的小伙伴都会用到mysql数据库,以下提供一个脚本与诸君分享。#!/bin/bashSCRIPT_DIR=$(dirname $0)BACKUP_DIR="/data1/mysqlb...
    99+
    2024-04-02
  • MySQL自动化(全量+增量)备份脚本
    一、MySQL的日常备份方案:全备+增量备份:1、周日凌晨三点进行全备;2、周一到周日增量备份。不是往常的周日全备份,周一到周六增量备份,这样如果周日数据库在完全备份前出问题,恢复完成后,会少周日一天的数据...
    99+
    2024-04-02
  • MySQL数据库全库备份及增量备份脚本
    脚本网盘链接下载。 1、全库备份脚本如下: #!/bin/bash ############### 定义默认值 ################# user='root' passwd='123.com...
    99+
    2024-04-02
  • Mysql 全量增量备份教程及脚本(一)
    Mysql 全量增量备份脚本记录 使用XtraBackup程序进行备份 centos8.0 与 rocky 9.0 安装XtraBackup yum install https://repo.perc...
    99+
    2023-09-10
    mysql 数据库
  • python脚本备份
    #!/usr/bin/python #encodeing:utf-8 import os import time import string #需要备份的目录 source = ['/usr/local/nagios','/var/www/...
    99+
    2023-01-31
    脚本 备份 python
  • mysql如何全量备份和增量备份
    本篇内容主要讲解“mysql如何全量备份和增量备份”,感兴趣的朋友不妨来看看。本文介绍的方法操作简单快捷,实用性强。下面就让小编来带大家学习“mysql如何全量备份和增量备份”吧!mysql 全量备份:vi...
    99+
    2024-04-02
  • Linux平台下如何实现RMAN 全备和增量备份shell脚本
    这篇文章主要介绍了Linux平台下如何实现RMAN 全备和增量备份shell脚本,具有一定借鉴价值,感兴趣的朋友可以参考下,希望大家阅读完这篇文章之后大有收获,下面让小编带着大家一起了解一下。全备脚本以&n...
    99+
    2024-04-02
软考高级职称资格查询
编程网,编程工程师的家园,是目前国内优秀的开源技术社区之一,形成了由开源软件库、代码分享、资讯、协作翻译、讨论区和博客等几大频道内容,为IT开发者提供了一个发现、使用、并交流开源技术的平台。
  • 官方手机版

  • 微信公众号

  • 商务合作