Python 官方文档:入门教程 => 点击学习
目录0-前言1-解决2-延展0-前言 组内同学反馈,kibana上最新的k8s日志看不到了。由于我们是采用elk(elastic search+logstash+kibana)的方
组内同学反馈,kibana上最新的k8s日志看不到了。由于我们是采用elk(elastic search+logstash+kibana)的方式下部署日志采集系统,其中logstash以Deamonset方式部署到k8s的每一个node节点上,先去查看logstash的pod日志,发现:
"reason": "Validation Failed: 1: this action would add [2] shards, but this cluster currently has [999]/[1000] maximum nORMal shards open;"
可以看到,出错关键词是:maximum normal shards open.
查阅资料发现,ES7版本以上,默认的最大分片数是1000, 所以最直接的解决方案就是增大ES的maximum shards:
PUT /_cluster/settings
{
"transient": {
"cluster": {
"max_shards_per_node":10000 # 这里可以修改
}
}
}
经过测试,kibana上可以重新展示最新的log信息。
虽然现象问题解决了,但是本质问题依旧存在。
思考几个问题:
首先,回答第一个问题,先要搞清楚,什么是shard?
可以看到,分片的数量和索引的数量是成正比的,也就是说索引越多,分片越多;再结合我们ES的实际配置,索引命名方式:环境+日期,环境是固定的,但是日期是每天增加的,那么索引每天都会增加,也就是说分片的数量也会随着时间推移,逐日增加,直到达到最大索引。
所以,针对第一个问题,即使最大分片数是10000,也会出现同样的问题。
那么如何控制shard数量呢?
其实控制shard数量,就是控制索引的数量,控制索引的数量,就是控制保存的log的数量,而log的数量可以通过控制保存的日志有效期天数来决定。
那么,问题转换为:ES如何只保存固定时间段内的日志数据?
两个方案:
curl -H "Content-Type: application/JSON" -X POST -d '{"query":{"range":{"@timestamp":{"lt":"now-7d","format":"epoch_millis"}}}}' Http://localhost:9200/*/_delete_by_query?conflicts=proceed
# 这里根据默认的时间来作为查询的时 间字段,也可以是自定义的, now-7d保留7天的数据
编写action.yml
actions:
1:
action: delete_indices
description: "delete index expire date"
options:
ignore_empty_list: True
timeout_override:
disable_action: False
filters:
- filtertype: age
source: name
direction: older
unit: days # 可选days,weeks,months
unit_count: 60 #保留最近60天
timestring: '%Y.%m.%d' #这里是跟在索引logstash-后面的时间的格式
加入到crontab定时器即可。
以上就是ElasticSearch突然采集不到日志问题解决分析的详细内容,更多关于ElasticSearch采集不到日志的资料请关注编程网其它相关文章!
--结束END--
本文标题: ElasticSearch突然采集不到日志问题解决分析
本文链接: https://www.lsjlt.com/news/209314.html(转载时请注明来源链接)
有问题或投稿请发送至: 邮箱/279061341@qq.com QQ/279061341
下载Word文档到电脑,方便收藏和打印~
2024-03-01
2024-03-01
2024-03-01
2024-02-29
2024-02-29
2024-02-29
2024-02-29
2024-02-29
2024-02-29
2024-02-29
回答
回答
回答
回答
回答
回答
回答
回答
回答
回答
0