怎么实现spark的官网原生监控整理

这篇文章给大家介绍怎么实现spark的官网原生监控整理，内容非常详细，感兴趣的小伙伴们可以参考借鉴，希望对大家能有所帮助。

一.官网解析

官网位置截图Monitoring

2.解释

对于默认的WEBui 你访问完就不可以在看到了这样你不可能知道之前发生什么事情你可以通过配置在界面上显示

spark.eventLog.enabled 打开

你要把spark.eventLog.enabled to true before starting the application.  这个打开这个配置在spark-default.conf     spark.eventLog.enabled           true

官网体现

5.配置文件体现

配置文件体现，配置成hdfs的这个只用来存取，供页面使用

二.配置日志位置的读取

读取配置

读取这个存储日志文件的位置要在spark.env.sh配置"-Dspark.history.fs.logDirectory=hdfs://s201:8020/directory -Dspark.history.ui.port=7777"这个是页面可以取这个存储日志下去读，还可以设置端口

2.读取顺序

看最后一项SPARK_HISTORY_OPTS后面的这些参数要配置到SPARK_HISTORY_OPTS=（配置下面参数）  都在psrk-env.sh

3.注意要设置时间间隔和清理时间参数

这三项是防止不清楚日志hdfs存满一个是把自动清除开关打开，隔多久清理一次，清理一次要清理多久的数据

启动

最后要启动start-history-server.sh访问你的启动主机的ip:你设置的端口号

结果展示

6.注意事项

Incomplete 产生原因一个是正在运行，另一个是没有sc.stop情况下所以一定要sc.stop

三.第二种监控方式REST风格

官网

2.访问方式类似

你可以自己定制，改变，拿到JSON结果  ，访问路径 Http://s201:7777/api/v1/applications

结果展示

关于怎么实现spark的官网原生监控整理就分享到这里了，希望以上内容可以对大家有一定的帮助，可以学到更多知识。如果觉得文章不错，可以把它分享出去让更多的人看到。