广告
返回顶部
首页 > 资讯 > 服务器 >使用elasticsearch定时删除索引数据
  • 568
分享到

使用elasticsearch定时删除索引数据

2024-04-02 19:04:59 568人浏览 泡泡鱼
摘要

1、有的时候我们在使用ES 由于资源有限或业务需求,我们只想保存最近一段时间的数据,所以有必要做定时删除数据。 2、编写脚本 vim del_es_by_day.sh #!/bi

1、有的时候我们在使用ES

由于资源有限或业务需求,我们只想保存最近一段时间的数据,所以有必要做定时删除数据。

2、编写脚本


vim del_es_by_day.sh
#!/bin/bash
#定时删除elasticsearch索引
#author menard 2019-3-25
date=`date -d "-7 days" "+%Y.%m.%d"`
/usr/bin/curl -v --user elastic:passWord -XDELETE "Http://192.168.10.201:92001 * * * * /opt/scheduler/es_bk.sh >> /opt/scheduler/bk_log.txt 2>&1

每隔1分钟定时执行 /opt/scheduler/目录下的es_bk.sh脚本,将数据内容写入到 /opt/scheduler目录下的bk.log.txt文件中

查看一下es_bk.sh脚本内容


#! /bin/bash
echo '=================================start======================================'
#删除备份的快照
curl -i -X DELETE localhost:9200/_snapshot/es_backup/snapshot01
#再次备份
curl -i -X PUT localhost:9200/_snapshot/es_backup/snapshot01
echo '==================================end======================================='

ES备份数据需要将要备份的索引数据快照一份,需要指定一个快照名,且不能使用相同的快照,所以在每次备份之前需要删除旧的快照,再备份。

ES备份与恢复

创建一个备份仓库(目录)


mkdir -p /bk/es/data
#修改权限
chmod -R 777 bk

修改elasticsearch.yml文件,指定仓库位置

发送初始化仓库请求


curl -i -H ""'Content-Type:application/JSON;charset=UTF-8'"" -X PUT --data '{"type": "fs","settings": {"location": "/bk/es/data"}}' localhost:9200/_snapshot/es_backup

es_backup是备份命名空间,可以随意指定

创建第一份快照


curl -i -X PUT localhost:9200/_snapshot/es_backup/snapshot01

将使用es_backup这个备份将es的所有索引数据备份到snapshot01这个快照下,当然也可以只备份指定索引


curl -i -H ""'Content-Type:application/json;charset=UTF-8'"" -X PUT --data '{"indices": "'bk_user_index_server'"}' localhost:9200/_snapshot/es_backup/snapshot01

重启定时任务


systemctl restart cron

恢复索引

恢复指定


curl -i -H ""'Content-Type:application/json;charset=UTF-8'"" -X POST --data '{"indices": "'bk_user_index_server'"}' localhost:9200/_snapshot/es_backup/snapshot01/_restore

恢复所有


curl -i -X POST localhost:9200/_snapshot/es_backup/snapshot01/_restore

以上为个人经验,希望能给大家一个参考,也希望大家多多支持编程网。如有错误或未考虑完全的地方,望不吝赐教。

--结束END--

本文标题: 使用elasticsearch定时删除索引数据

本文链接: https://www.lsjlt.com/news/122545.html(转载时请注明来源链接)

有问题或投稿请发送至: 邮箱/279061341@qq.com    QQ/279061341

本篇文章演示代码以及资料文档资料下载

下载Word文档到电脑,方便收藏和打印~

下载Word文档
猜你喜欢
  • 使用elasticsearch定时删除索引数据
    1、有的时候我们在使用ES 由于资源有限或业务需求,我们只想保存最近一段时间的数据,所以有必要做定时删除数据。 2、编写脚本 vim del_es_by_day.sh #!/bi...
    99+
    2022-11-12
  • 怎么使用elasticsearch定时删除索引数据
    这篇文章给大家分享的是有关怎么使用elasticsearch定时删除索引数据的内容。小编觉得挺实用的,因此分享给大家做个参考,一起跟随小编过来看看吧。1、有的时候我们在使用ES由于资源有限或业务需求,我们只想保存最近一段时间的数据,所以有必...
    99+
    2023-06-14
  • mongodb如何定时删除数据库
    MongoDB没有内置的定时删除数据库的功能。但是可以使用操作系统的定时任务来完成这个任务。如果你使用的是Linux系统,可以在命令...
    99+
    2023-09-06
    mongodb 数据库
  • 使用canal监控mysql数据库实现elasticsearch索引实时更新问题
    目录业务场景安装下载安装数据库启用row binlog使用修改配置文件canal.properties配置单个连接配置多个连接配置rabbitMQ程序改动canal源码微服务消费mq...
    99+
    2022-11-13
  • PHP如何定时删除MySQL的数据
    这篇“PHP如何定时删除MySQL的数据”文章的知识点大部分人都不太理解,所以小编给大家总结了以下内容,内容详细,步骤清晰,具有一定的借鉴价值,希望大家阅读完这篇文章能有所收获,下面我们一起来看看这篇“PHP如何定时删除MySQL的数据”文...
    99+
    2023-07-05
  • Mysql索引创建删除及使用代价
    目录一、Mysql 中索引的创建删除二、索引的代价1. 空间上的代价2. 时间上的代价小结一、Mysql 中索引的创建删除 innodb 和 myisam 引擎会自动为主键或者带有 ...
    99+
    2022-11-13
  • mysql数据库中定时删除的方法
    这篇文章将为大家详细讲解有关mysql数据库中定时删除的方法,小编觉得挺实用的,因此分享给大家做个参考,希望大家阅读完这篇文章后可以有所收获。mysql数据库中设置定时删除的方法:首先打开mysql文件;然...
    99+
    2022-10-18
  • Mysql实现定时删除表中的数据
    最近做项目的时候,想要实现一种验证码几分钟内有效的功能,于是就想到了定时删除数据库中存在的数据从而实现该功能,然后温习了一下数据库事件、定时器的相关功能,查询了一些文章,在此分享一下实现的方法。 首先看一下自己的mysql有没有开启事件调度...
    99+
    2023-09-01
    mysql 数据库 后端
  • 使用python在es中基本操作详解(添加索引、查询索引、删除索引、判断索引是否存在、添加数据、更新数据、查询数据)
    1.添加索引 示例代码1: from elasticsearch import Elasticsearches = Elasticsearch(hosts='http://127.0.0.1:9200')# print(es)doc = {...
    99+
    2023-09-14
    elasticsearch python
  • MongoDB自动删除过期数据的方法(TTL索引)
    前序: 最近由于公司业务需求,对于3个月前的过期数据需要进行删除动作,以释放空间和方便维护 本来想的是使用crontab写个脚本定时执行,但是看到Mongo本身就有自动删除过期数据的功能,所以还是用一下...
    99+
    2022-10-18
  • Partition table分区表删除分区数据时导致索引失效怎么办
    小编给大家分享一下Partition table分区表删除分区数据时导致索引失效怎么办,相信大部分人都还不怎么了解,因此分享这篇文章给大家参考一下,希望大家阅读完这篇文章后大有收获,下面让我们一起去了解一下...
    99+
    2022-10-18
  • MySQL定时删除XX天数据示例代码
    目录写在前面mysql删除策略如何使用小结写在前面 定时删除数据方式有多种方法,在实际工作中很多人可能会通过编码实现,也有人可能会通过脚本定时执行SQL进行定时删除对应数据。 今天使用MySQL自带的删除策略。 MYSQ...
    99+
    2023-09-21
    MySQL定时删除数据 MySQL定时删除
  • 使用shell脚本怎么批量删除es索引
    使用shell脚本怎么批量删除es索引?相信很多没有经验的人对此束手无策,为此本文总结了问题出现的原因和解决方法,通过这篇文章希望你能解决这个问题。发现elasticsearch集群的状态是red,unassign的分片数很多,看了下都是些...
    99+
    2023-06-09
  • pandas删除部分数据后重新生成索引的实现
    目录pandas删除部分数据后重新索引原数据删除部分数据后附件:网上查到的格式化用的编码pandas常用的index索引设置1.读取时指定索引列2. 使用现有的 DataFrame ...
    99+
    2022-11-11
  • db2数据库创建索引,删除索引,查看表索引,SQL语句执行计划以及优化建议
    db2数据库创建索引,删除索引,查看表索引,SQL语句执行计划以及优化建议   建立表索引     create index 索引名 on 表名(列名,列名); 删除表索引     dro&#...
    99+
    2018-09-15
    db2数据库创建索引,删除索引,查看表索引,SQL语句执行计划以及优化建议
  • 怎么在mongodb中定时数据库备份和删除
    今天就跟大家聊聊有关怎么在mongodb中定时数据库备份和删除,可能很多人都不太了解,为了让大家更加了解,小编给大家总结了以下内容,希望大家根据这篇文章可以有所收获。一、备份常用命令:mongodump-hIP--port端口-u用户名-p...
    99+
    2023-06-14
  • pandas删除部分数据后重新生成索引如何实现
    这篇文章主要介绍“pandas删除部分数据后重新生成索引如何实现”的相关知识,小编通过实际案例向大家展示操作过程,操作方法简单快捷,实用性强,希望这篇“pandas删除部分数据后重新生成索引如何实现”文章能帮助大家解决问题。pandas删除...
    99+
    2023-07-02
  • 使用R语言怎么删除指定的数据
    本篇文章为大家展示了使用R语言怎么删除指定的数据,内容简明扼要并且容易理解,绝对能使你眼前一亮,通过这篇文章的详细介绍希望你能有所收获。数据准备> Data  英雄 职业 熟练等级&n...
    99+
    2023-06-08
  • Mysql索引创建删除及使用的代价是什么
    本篇内容介绍了“Mysql索引创建删除及使用的代价是什么”的有关知识,在实际案例的操作过程中,不少人都会遇到这样的困境,接下来就让小编带领大家学习一下如何处理这些情况吧!希望大家仔细阅读,能够学有所成!一、Mysql 中索引的创建删除inn...
    99+
    2023-06-30
  • mysql定时删除过期数据记录的简单方法
    1. 连接登录MySQL后,先查看MySQL是否开启了事件功能: 命令:show variables like '%sc%'; 发现event_sheduler是OFF关闭的; 2. 打开event_sch...
    99+
    2022-10-18
软考高级职称资格查询
编程网,编程工程师的家园,是目前国内优秀的开源技术社区之一,形成了由开源软件库、代码分享、资讯、协作翻译、讨论区和博客等几大频道内容,为IT开发者提供了一个发现、使用、并交流开源技术的平台。
  • 官方手机版

  • 微信公众号

  • 商务合作