spring xd 源码解析-job 操作过程

扫码关注公众号:Java 技术驿站

发送:vip
将链接复制到本浏览器,永久解锁本站全部文章

【公众号:Java 技术驿站】 【加作者微信交流技术,拉技术群】
免费领取10G资料包与项目实战视频资料

1 定义

Module:具有特定功能的java模块。以jar的形式提交注册到xd。

Definition:为Module设定参数。

Deployment:Definition部署到Container后形成的对象,可以执行。

2 deploy接口

curl “http://dl-rc-optd-ambari-slave-v-test-3.host.dataengine.com:47868/streams/definitions?definition=trigger++–cron^%^3D^%^270+0+0+++^%^3F^%^27+^%^3E+queue:job:wait1hourjob_COMPOSED_definition^&deploy=true^&name=wait1hourjob_COMPOSED_job”

-X POST

-H “Origin: http://dl-rc-optd-ambari-slave-v-test-3.host.dataengine.com:47868

-H “Accept-Encoding: gzip, deflate”

-H “Accept-Language: zh-CN,zh;q=0.8”

-H “User-Agent: Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/59.0.3071.115 Safari/537.36”

-H “Accept: application/json, text/plain, /

-H “Referer: http://dl-rc-optd-ambari-slave-v-test-3.host.dataengine.com:47868/admin-ui/

-H “Proxy-Connection: keep-alive”

-H “Content-Length: 0” –compressed

通过调用streams/definitions ,将任务部署到container中。不管是job,还是stream,admin-ui都会掉这个相同的api。其实也有jobs/definitions,而且两个api的实现是一样的。

server端的resource为StreamsController,但是在基类XDController中实现。XDController也是JobsController的实现,所以两个api的实现其实是一个。

参数

definition:包含队列,definition标识,以及触发表达式。

deploy:true ,表示创建并部署,如果是false,则只创建。

name:job的名称

3 deploy过程

XD Server接受并解析请求。将信息发送到zookeeper。

XD DeploymentMessageConsumer 监听queues/deployments,处理请求,并将处理结果发送到zookeeper的路径responses/requestid。Module的deploy操作,则由JobDeployer完成。
2019112310095\_1.png
deploy sequence:
2019112310095\_2.png
deploy 处理组件 初始化过程图。

从逻辑中可以看出,只有集群的leader才可以处理deploy请求。当节点通过leaderSelector选举为leader,节点初始化zookeeper各个路径的监听。

deploy的路径queues/deployments 在DeploymentQueue中监听,并通过DeploymentMessageConsumer来处理路径的变化信息。
2019112310095\_3.png

4 container初始化

2019112310095\_4.png

5 job delete

下线job过程。
2019112310095\_5.png


来源:http://ddrv.cn/a/88268

赞(0) 打赏
版权归原创作者所有,任何形式的转载请联系博主:daming_90:Java 技术驿站 » spring xd 源码解析-job 操作过程

评论 抢沙发

  • 昵称 (必填)
  • 邮箱 (必填)
  • 网址

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

微信扫一扫打赏