iis服务器助手广告
返回顶部
首页 > 资讯 > 前端开发 > html >如何理解Mesos的Framework与Executor注册过程
  • 388
分享到

如何理解Mesos的Framework与Executor注册过程

2024-04-02 19:04:59 388人浏览 安东尼
摘要

如何理解Mesos的Framework与Executor注册过程,针对这个问题,这篇文章详细介绍了相对应的分析和解答,希望可以帮助更多想解决这个问题的小伙伴找到更简单易行的方法。以hadoop框架为例,介绍

如何理解Mesos的Framework与Executor注册过程,针对这个问题,这篇文章详细介绍了相对应的分析和解答,希望可以帮助更多想解决这个问题的小伙伴找到更简单易行的方法。

hadoop框架为例,介绍了framework与executor向mesos注册过程。

1. Framework注册过程

(1) JobTracker启动时,会调用MesosScheduler的start()方法

(2) MesosScheduler的start()方法创建一个MesosSchedulerDriver对象,并将自己作为参数传入该对象。

(3) MesosSchedulerDriver初始化,创建一个SchedulerProcess对象

(4) MesosSchedulerDriver初始化,调用MasterDetector::create(),它将向SchedulerProcess对象发送一个NewMasterDetectedMessage消息

(5) SchedulerProcess对象收到NewMasterDetectedMessage消息后,向Master发送一个ReGISterFrameworkMessage消息

(6) Master收到该消息后,保存相关信息,并返回FrameworkRegistedMessage消息,确认framework注册成功

如何理解Mesos的Framework与Executor注册过程

2.     Executor注册过程

本节描述框架frameworkX在某个slaveX上注册executor executorX的过程:

(1)Master***次向slaveX发送执行frameworkX中task的消息 RunTaskMessage

(2)slave收到该消息后,运行相应的消息处理函数runTask()

(3)该函数发现该slave上未启动frameworkX对应的executorX,则调用IsolationModule的lauchExecutor()函数

(4)该函数创建一个FrameworkExecutor对象,并调用ExecutorProcess的Initialize()函数进行初始化,同时启动TaskTracker

(5)Initialize()函数创建消息RegisterExecutORMessage,并发送给slave

(6)Slave收到该消息后,调用对象的消息处理函数registerExecutor,该函数创建ExecutorRegisteredMessage消息,返回给ExecutorProcess

(7)ExecutorProcess收到该消息后,调用对应的消息处理函数registered(),该函数再进一步调用FrameworkExecutor的registered()函数

如何理解Mesos的Framework与Executor注册过程

接下来,master发送给slave的RunTaskMessage消息依次经过的流程如下图所示。需要注意的是,对于同一个计算框 架,Mesos在一个slave上只会创建一个资源container,所有task全部在这个container里运行,也就是说,mesos无法做到 task级别的隔离,只能做到executor级别的隔离,而对于同一个框架,同一个slave上所有task全部在一个executor中运行。

对于Hadoop而言,每个mesos-slave上只会创建一个TaskTracker,且该TaskTracker会被放置到一个 executor(对应一个linux  container)中运行,而同一个TaskTracker上所有task均在该TaskTracker所在进程树中,因而共享该executor对应 的资源。当TaskTracker接收到新的task时,会增加该executor可以使用的资源量(使用“lxc-cgroup –n %s %s  %lld”),而当有task运行完成时,则减少该executor可使用的资源量(使用“lxc-cgroup –n %s %s %lld”)。

如何理解Mesos的Framework与Executor注册过程

关于如何理解Mesos的Framework与Executor注册过程问题的解答就分享到这里了,希望以上内容可以对大家有一定的帮助,如果你还有很多疑惑没有解开,可以关注编程网html频道了解更多相关知识。

--结束END--

本文标题: 如何理解Mesos的Framework与Executor注册过程

本文链接: https://www.lsjlt.com/news/86277.html(转载时请注明来源链接)

有问题或投稿请发送至: 邮箱/279061341@qq.com    QQ/279061341

本篇文章演示代码以及资料文档资料下载

下载Word文档到电脑,方便收藏和打印~

下载Word文档
猜你喜欢
  • 如何理解Mesos的Framework与Executor注册过程
    如何理解Mesos的Framework与Executor注册过程,针对这个问题,这篇文章详细介绍了相对应的分析和解答,希望可以帮助更多想解决这个问题的小伙伴找到更简单易行的方法。以Hadoop框架为例,介绍...
    99+
    2024-04-02
  • Mybatis与微服务注册的详细过程
    目录一、SpringBoot整合MybatisPlus创建自动生成代码子模块创建商品服务子模块二、SpringBoot整合Freeamarker三、SpringBoot整合微服务&a...
    99+
    2023-01-04
    Mybatis微服务注册 Mybatis微服务 SpringBoot整合MybatisPlus SpringBoot整合Freeamarker
  • Spring容器的创建过程之如何注册BeanPostProcessor详解
    注册BeanPostProcessor refresh()调用registerBeanPostProcessors(beanFactory)方法,注册Bean的后置处理器,后置处理器...
    99+
    2024-04-02
  • SpringBean和Controller实现动态注册与注销过程详细讲解
    目录说明注册和注销工具类编写测试用例测试结果注册Service注册controller注销Controller部分场景下可能需要下载远程jar包,然后注册jar包中的Bean和Con...
    99+
    2023-02-09
    SpringBean动态注册与注销 SpringBean Controller注册与注销
  • Windows如何禁用与解锁注册表
    小编给大家分享一下Windows如何禁用与解锁注册表,相信大部分人都还不怎么了解,因此分享这篇文章给大家参考一下,希望大家阅读完这篇文章后大有收获,下面让我们一起去了解一下吧!禁用注册表 ------ 首先,2000/xp/2003用户,运...
    99+
    2023-06-08
  • Oracle DBA如何监听的静态注册与动态注册
    这篇文章主要介绍“Oracle DBA如何监听的静态注册与动态注册”,在日常操作中,相信很多人在Oracle DBA如何监听的静态注册与动态注册问题上存在疑惑,小编查阅了各式资料,整理出简单好用的操作方法,...
    99+
    2024-04-02
  • 如何理解redo的内部过程与lgwr
    如何理解redo的内部过程与lgwr,很多新手对此不是很清楚,为了帮助大家解决这个难题,下面小编将为大家详细讲解,有这方面需求的人可以来学习下,希望你能有所收获。Oracle采用混合日志记录模式,以数据块为...
    99+
    2024-04-02
  • Spring注解@Configuration与@Bean注册组件如何使用
    今天小编给大家分享一下Spring注解@Configuration与@Bean注册组件如何使用的相关知识点,内容详细,逻辑清晰,相信大部分人都还太了解这方面的知识,所以分享这篇文章给大家参考一下,希望大家阅读完这篇文章后有所收获,下面我们一...
    99+
    2023-07-02
  • 如何注册到过期的老域名
    如何注册到过期的老域名?在互联网时代,域名是网站的门面和品牌标识,拥有一个好的域名对于网站的成功至关重要。然而,随着时间的推移和业务的更替,一些老域名可能会被放弃或过期。但是,这并不意味着这些域名失去了它们的价值。事实上,许多人在这些过期...
    99+
    2024-01-23
    抢注过期域名 注册老域名 过期老域名 域名知识
  • 国外注册的域名过期了如何抢注
    国外注册的域名过期了如何抢注?国外注册的域名过期后,往往存在被他人抢注的风险。本文将介绍一些抢注过期的国外注册域名的方法和注意事项,以帮助您提高成功的几率。 在互联网时代,域名是企业和个人重要的网络资产之一。过期的国外注册域名可能包含有价...
    99+
    2024-01-23
    域名抢注 域名过期抢注 注册域名过期抢注 域名知识
  • Spring IOC源码之bean的注册过程讲解
    目录BeanDefition加载注册过程进入obtainFreshBeanFactory方法​进入AbstractRefreshableApplicationContex...
    99+
    2024-04-02
  • 如何理解MySQL的存储过程与光标
    今天就跟大家聊聊有关如何理解MySQL的存储过程与光标,可能很多人都不太了解,为了让大家更加了解,小编给大家总结了以下内容,希望大家根据这篇文章可以有所收获。MySQL的存储过程与光标一、存储过程T-sql...
    99+
    2024-04-02
  • 一文详解Springboot中filter的原理与注册
    目录1、filter1.1 filter的接口定义1.2 自定义filter2、springboot中filter注册几种方式2.1 手动注册2.2 注解注册2.3 通过servle...
    99+
    2023-02-27
    Springboot filter原理 Springboot filter注册 Springboot filter
  • SpringCloud通过Nacos实现注册中心与远程服务调用详解流程
    目录1. 基于Nacos实现服务注册与发现1.1 pom依赖1.2 yaml配置1.3 添加启动注解1.4 启动服务查看控制台2.基于Nacos实现远程服务调用2.1 客户端创建Re...
    99+
    2024-04-02
  • 如何理解VBScript过程
    本篇内容介绍了“如何理解VBScript过程”的有关知识,在实际案例的操作过程中,不少人都会遇到这样的困境,接下来就让小编带领大家学习一下如何处理这些情况吧!希望大家仔细阅读,能够学有所成!VBScript 过程在 VBScript 中,过...
    99+
    2023-06-08
  • 纯注解版spring与mybatis的整合过程
    今天给大家分享纯注解版spring与mybatis的整合 mybatis包下:有这几个,上面图片没有展开 配置Bean:MyBatisAutoConfiguration ...
    99+
    2024-04-02
  • windows ddu卡在清理注册表如何解决
    这篇文章主要介绍了windows ddu卡在清理注册表如何解决的相关知识,内容详细易懂,操作简单快捷,具有一定借鉴价值,相信大家阅读完这篇windows ddu卡在清理注册表如何解决文章都会有所收获,下面我们一起来看看吧。解决方法:其实卡在...
    99+
    2023-07-01
  • 如何恢复修改过的win10注册表?win10注册表修改后恢复方法
      如何恢复修改过的win10注册表呢相信很多朋友都修改过win10的注册表以获得查看最新版的win10,这样做的后果就是造成你以后不能接受到正常的公开升级,下文小编就教大家Win10注册表修改后的恢复方法,赶紧和小编一...
    99+
    2023-06-08
    win10 注册表 方法
  • 如何理解Kubernetes API中的Operator 和Operator Framework
    本篇文章给大家分享的是有关如何理解Kubernetes API中的Operator 和Operator Framework,小编觉得挺实用的,因此分享给大家学习,希望大家阅读完这篇文章后可以有所收获,话不多说,跟着小编一起来看看吧。一、op...
    99+
    2023-06-04
  • 如何理解Java注解编程
    本篇内容主要讲解“如何理解Java注解编程”,感兴趣的朋友不妨来看看。本文介绍的方法操作简单快捷,实用性强。下面就让小编来带大家学习“如何理解Java注解编程”吧!注解是什么实现格式从代码来看我们知道注解的实现格式是:public ...
    99+
    2023-06-15
软考高级职称资格查询
推荐阅读
编程网,编程工程师的家园,是目前国内优秀的开源技术社区之一,形成了由开源软件库、代码分享、资讯、协作翻译、讨论区和博客等几大频道内容,为IT开发者提供了一个发现、使用、并交流开源技术的平台。
  • 官方手机版

  • 微信公众号

  • 商务合作