xueli.xue 9 jaren geleden
bovenliggende
commit
88dc10684d

+ 61 - 47
README.md Bestand weergeven

@@ -17,6 +17,8 @@ XXL-JOB是一个轻量级分布式任务调度框架,其核心设计目标是
17 17
 - 10、邮件报警:任务失败时支持邮件报警,支持配置多邮件地址群发报警邮件;
18 18
 - 11、支持登录验证;
19 19
 - 12、GLUE:提供Web IDE,支持在线开发任务逻辑代码,动态发布,实时编译生效,省略部署上线的过程。支持30个版本的历史版本回溯。
20
+- 12、数据加密:调度中心和执行器之间的通讯进行数据加密,提升调度信息安全性;
21
+- 14、任务依赖:支持配置子任务依赖,当父任务执行结束且执行成功后将会主动触发一次子任务的执行;
20 22
 
21 23
 #### 1.3 发展
22 24
 于2015年中,我在github上创建XXL-JOB项目仓库并提交第一个commit,随之进行系统结构设计,UI选型,交互设计……
@@ -59,7 +61,7 @@ XXL-JOB是一个轻量级分布式任务调度框架,其核心设计目标是
59 61
 技术交流群(仅作技术交流):367260654    [![image](http://pub.idqqimg.com/wpa/images/group.png)](http://shang.qq.com/wpa/qunwpa?idkey=4686e3fe01118445c75673a66b4cc6b2c7ce0641528205b6f403c179062b0a52 )
60 62
 
61 63
 
62
-Tips: 历史Release版本下载位置如下图所示,请自行前往进行选择和下载。
64
+**Download**: 历史Release版本下载位置如下图所示,请自行前往进行选择和下载。
63 65
 
64 66
 ![输入图片说明](https://static.oschina.net/uploads/img/201607/23221244_nq9a.png "在这里输入图片标题")
65 67
 
@@ -85,9 +87,9 @@ Tips: 历史Release版本下载位置如下图所示,请自行前往进行选择
85 87
 
86 88
 ![输入图片说明](https://static.oschina.net/uploads/img/201607/23222522_JGCc.png "在这里输入图片标题")
87 89
 
88
-- xxl-job-admin:调度中心
89
-- xxl-job-core:公共依赖
90
-- xxl-job-executor-example:执行器(可直接使用该执行器,也可以将现有项目改造成执行器使用)
90
+    - xxl-job-admin:调度中心
91
+    - xxl-job-core:公共依赖
92
+    - xxl-job-executor-example:执行器(可直接使用该执行器,也可以将现有项目改造成执行器使用)
91 93
 
92 94
 #### 2.3 配置部署“调度中心”
93 95
 调度中心项目:xxl-job-admin
@@ -140,9 +142,9 @@ Tips: 历史Release版本下载位置如下图所示,请自行前往进行选择
140 142
 
141 143
 - **步骤一(新建任务)**:登陆调度中心,点击下图所示“新建任务”按钮,新建示例任务。然后,参考下面截图中任务的参数配置,点击保存。
142 144
 
143
-![输入图片说明](https://static.oschina.net/uploads/img/201607/23224905_MkGD.png "在这里输入图片标题")
145
+![输入图片说明](https://static.oschina.net/uploads/img/201607/24191531_2qRI.png "在这里输入图片标题")
144 146
 
145
-![输入图片说明](https://static.oschina.net/uploads/img/201607/23225207_GSeQ.png "在这里输入图片标题")
147
+![输入图片说明](https://static.oschina.net/uploads/img/201607/24192014_9YEz.png "在这里输入图片标题")
146 148
 
147 149
 - **步骤二(GLUE任务开发)**:请点击下图中所示“GLUE入口按钮”,进入“GLUE编辑器开发界面”,见下图。GLUE任务默认已经初始化了示例任务代码,即打印Hello World。
148 150
 (GLUE实际上是一段继承自IJobHandler的Java类代码,它在执行器项目中运行,可使用@Resource/@Autowire注入执行器里中的其他服务,详细介绍请查看第三章节)
@@ -191,6 +193,7 @@ Tips: 历史Release版本下载位置如下图所示,请自行前往进行选择
191 193
     - 执行参数:任务执行所需的参数,多个参数时用逗号分隔,任务执行时将会把多个参数抓换成数组传入;
192 194
     - 报警邮件:任务调度失败时邮件通知的邮箱地址,支持配置多邮箱地址,配置多个邮箱地址时用逗号分隔;
193 195
     - 负责人:任务的负责人;
196
+    - 子任务Key:每个任务都拥有一个唯一的任务Key,当本任务执行结束并且执行成功时,将会触发子任务Key所对应的任务的一次主动调度。
194 197
 
195 198
 #### 3.1 BEAN模式任务
196 199
 Bean模式任务:任务逻辑以JobHandler的形式存在于“执行器”所在项目中,开发流程如下:
@@ -207,7 +210,7 @@ Bean模式任务:任务逻辑以JobHandler的形式存在于“执行器”所
207 210
 
208 211
 参考上文“配置属性详细说明”对新建的任务进行参数配置,需要注意的是“JobHandler + GLUE复选框”任务属性,需要按照“GLUE模式”任务进行配置;
209 212
 
210
-![输入图片说明](https://static.oschina.net/uploads/img/201607/23225207_GSeQ.png "在这里输入图片标题")
213
+![输入图片说明](https://static.oschina.net/uploads/img/201607/24191939_pWgf.png "在这里输入图片标题")
211 214
 
212 215
 #### 3.2 GLUE模式任务
213 216
 GLUE模式任务:任务逻辑以GLUE代码的形式存储在DB中,支持通过Web IDE在线更新,实时编译和生效,因此不需要指定JobHandler。开发流程如下:
@@ -216,7 +219,7 @@ GLUE模式任务:任务逻辑以GLUE代码的形式存储在DB中,支持通
216 219
 
217 220
 参考上文“配置属性详细说明”对新建的任务进行参数配置,需要注意的是“JobHandler + GLUE复选框”任务属性,需要按照“GLUE模式”任务进行配置;
218 221
 
219
-![输入图片说明](https://static.oschina.net/uploads/img/201607/24123029_GqMy.png "在这里输入图片标题")
222
+![输入图片说明](https://static.oschina.net/uploads/img/201607/24192014_9YEz.png "在这里输入图片标题")
220 223
 
221 224
 - **步骤二:开发GLUE代码**:
222 225
 
@@ -230,16 +233,16 @@ GLUE模式任务:任务逻辑以GLUE代码的形式存储在DB中,支持通
230 233
 
231 234
 ![输入图片说明](https://static.oschina.net/uploads/img/201607/24123920_b9UQ.png "在这里输入图片标题")
232 235
 
233
-![输入图片说明](https://static.oschina.net/uploads/img/201607/24124140_IxVH.png "在这里输入图片标题")
236
+![输入图片说明](https://static.oschina.net/uploads/img/201607/24192243_9NvE.png "在这里输入图片标题")
234 237
 
235 238
 #### 4.2 编辑任务
236 239
 进入任务管理界面,选中指定任务。点击该任务右侧“编辑”按钮,在弹出的“编辑任务”界面更新任务属性后保存即可,可参考下图:
237 240
 
238 241
 ![输入图片说明](https://static.oschina.net/uploads/img/201607/24124734_UYp2.png "在这里输入图片标题")
239 242
 
240
-![输入图片说明](https://static.oschina.net/uploads/img/201607/24124821_FHtr.png "在这里输入图片标题")
243
+![输入图片说明](https://static.oschina.net/uploads/img/201607/24192805_Yhmj.png "在这里输入图片标题")
241 244
 
242
-#### 4.3 编GLUE代码
245
+#### 4.3 编GLUE代码
243 246
 
244 247
 该操作仅针对GLUE任务。
245 248
 
@@ -340,13 +343,20 @@ XXL-JOB首先定制了Quartz原生表结构前缀(XXL_JOB_QRTZ_)。
340 343
 ##### 5.3.3 架构图(绘制中)
341 344
 ![输入图片说明](https://static.oschina.net/uploads/img/201607/24144555_SUI2.png "在这里输入图片标题")
342 345
 
343
-#### 5.4 调度模块
344
-##### 5.4.1 RemoteHttpJobBean
346
+#### 5.4 调度模块剖析
347
+##### 5.4.1 quartz的不足
348
+Quartz作为开源作业调度中的佼佼者,是作业调度的首选。但是集群环境中Quartz采用API的方式对任务进行管理,从而可以避免上述问题,但是同样存在以下问题:
349
+    - 问题一:调用API的的方式操作任务,不人性化;
350
+    - 问题二:需要持久化业务QuartzJobBean到底层数据表中,系统侵入性相当严重。
351
+    - 问题三:调度逻辑和QuartzJobBean耦合在同一个项目中,这将导致一个问题,在调度任务数量逐渐增多,同时调度任务逻辑逐渐加重的情况加,此时调度系统的性能将大大受限于业务;
352
+XXL-JOB弥补了quartz的上述不足之处。
353
+
354
+##### 5.4.2 RemoteHttpJobBean
345 355
 常规Quartz的开发,任务逻辑一般维护在QuartzJobBean中,耦合很严重。XXL-JOB中“调度模块”和“任务模块”完全解耦,调度模块中的所有调度任务使用同一个QuartzJobBean,即RemoteHttpJobBean。不同的调度任务将各自参数维护在各自扩展表数据中,当触发RemoteHttpJobBean执行时,将会解析不同的任务参数发起远程调用,调用各自的远程执行器服务。
346 356
 
347 357
 这种调用模型类似RPC调用,RemoteHttpJobBean提供调用代理的功能,而执行器提供远程服务的功能。
348 358
 
349
-##### 5.4.2 调度中心HA(集群)
359
+##### 5.4.3 调度中心HA(集群)
350 360
 基于Quartz的集群方案,数据库选用Mysql;集群分布式并发环境中使用QUARTZ定时任务调度,会在各个节点会上报任务,存到数据库中,执行时会从数据库中取出触发器来执行,如果触发器的名称和执行时间相同,则只有一个节点去执行此任务。
351 361
 
352 362
 ```
@@ -358,7 +368,7 @@ org.quartz.jobStore.isClustered: true
358 368
 org.quartz.jobStore.clusterCheckinInterval: 1000
359 369
 ```
360 370
 
361
-##### 5.4.3 调度线程池
371
+##### 5.4.4 调度线程池
362 372
 默认线程池中线程的数量为10个,避免单线程因阻塞而引起任务调度延迟。
363 373
 
364 374
 ```
@@ -368,12 +378,12 @@ org.quartz.threadPool.threadPriority: 5
368 378
 org.quartz.threadPool.threadsInheritContextClassLoaderOfInitializingThread: true
369 379
 ```
370 380
 
371
-##### 5.4.4 @DisallowConcurrentExecution
381
+##### 5.4.5 @DisallowConcurrentExecution
372 382
 XXL-JOB调度模块的“调度中心”默认不使用该注解,即默认开启并行机制,因为RemoteHttpJobBean为公共QuartzJobBean,这样在多线程调度的情况下,调度模块被阻塞的几率很低,大大提高了调度系统的承载量。
373 383
 
374 384
 XXL-JOB的每个调度任务虽然在调度模块是并行调度执行的,但是任务调度传递到任务模块的“执行器”确实串行执行的,同时支持任务终止。
375 385
 
376
-##### 5.4.5 misfire
386
+##### 5.4.6 misfire
377 387
 错过了触发时间,处理规则。
378 388
 可能原因:服务重启;调度线程被QuartzJobBean阻塞,线程被耗尽;某个任务启用了@DisallowConcurrentExecution,上次调度持续阻塞,下次调度被错过;
379 389
 
@@ -394,14 +404,14 @@ CronScheduleBuilder cronScheduleBuilder = CronScheduleBuilder.cronSchedule(jobIn
394 404
 CronTrigger cronTrigger = TriggerBuilder.newTrigger().withIdentity(triggerKey).withSchedule(cronScheduleBuilder).build();
395 405
 ```
396 406
 
397
-##### 5.4.6 日志回调服务
407
+##### 5.4.7 日志回调服务
398 408
 调度模块的“调度中心”作为Web服务单独部署,除此之外,内部嵌入jetty服务器提供日志回调服务。
399 409
 
400 410
 “执行器”在接收到任务执行请求后,执行任务,在执行结束之后会将执行结果回调通知“调度中心”,回调端口如下图所示。
401 411
 
402 412
 ![输入图片说明](https://static.oschina.net/uploads/img/201607/23223301_I03k.png "在这里输入图片标题")
403 413
 
404
-##### 5.4.7 任务HA(Failover)
414
+##### 5.4.8 任务HA(Failover)
405 415
 任务“执行器地址”支持配置多个,用逗号分隔,如“127.0.0.1:9998,127.0.0.1:9999”。
406 416
 
407 417
 如果任务配置多个执行器地址,当调度中心每次发起调度请求时,会按照地址配置的顺序依次对执行器发出心跳检测请求,第一个检测为存活状态的执行器将会被选定。
@@ -411,7 +421,7 @@ CronTrigger cronTrigger = TriggerBuilder.newTrigger().withIdentity(triggerKey).w
411 421
 
412 422
 “调度备注”可以查看执行器地址选择日志,任务配置的地址“227.0.0.1:9999,127.0.0.1:9999”,首先对第一个执行器地址“227.0.0.1:9999”进行心跳检测,心跳失败因此跳过;然后对第二个执行器地址“127.0.0.1:9999”进行心跳检测,心跳检测成功,选定为“目标执行器”;然后对“目标执行器”发送调度请求,调度流程结束,等待执行器回调执行结果。
413 423
 
414
-##### 5.4.8 调度日志
424
+##### 5.4.9 调度日志
415 425
 调度中心每次进行任务调度,都会记录一条任务日志,任务日志主要包括以下三部分内容:
416 426
 
417 427
 - 任务信息:包括“执行器地址”、“JobHandler”和“执行参数”等属性,根据这些参数,可以精确的定位任务执行的具体机器和任务代码;
@@ -433,14 +443,18 @@ CronTrigger cronTrigger = TriggerBuilder.newTrigger().withIdentity(triggerKey).w
433 443
 - 执行备注:执行器,任务执行的备注信息,如异常日志等;
434 444
 - 执行日志:任务执行过程中,业务代码中打印的完整执行日志,见“4.7 查看执行日志”;
435 445
 
436
-##### 5.4.9 quartz的不足
437
-Quartz作为开源作业调度中的佼佼者,是作业调度的首选。但是集群环境中Quartz采用API的方式对任务进行管理,从而可以避免上述问题,但是同样存在以下问题:
438
-    - 问题一:调用API的的方式操作任务,不人性化;
439
-    - 问题二:需要持久化业务QuartzJobBean到底层数据表中,系统侵入性相当严重。
440
-    - 问题三:调度逻辑和QuartzJobBean耦合在同一个项目中,这将导致一个问题,在调度任务数量逐渐增多,同时调度任务逻辑逐渐加重的情况加,此时调度系统的性能将大大受限于业务;
441
-XXL-JOB弥补了quartz的上述不足之处。
446
+##### 5.4.10 任务依赖
447
+原理:XXL-JOB中每个任务都对应有一个任务Key,同时,每个任务支持设置属性“子任务Key”,因此,通过“任务Key”可以匹配任务依赖关系。
448
+
449
+当父任务执行结束并且执行成功时,将会根据“子任务Key”匹配子任务依赖,如果匹配到子任务,将会主动触发一次子任务的执行。
450
+
451
+在任务日志界面,点击任务的“执行备注”的“查看”按钮,可以看到匹配子任务以及触发子任务执行的日志信息,如无信息则表示未触发子任务执行,可参考下图。
452
+
453
+![输入图片说明](https://static.oschina.net/uploads/img/201607/24194134_Wb2o.png "在这里输入图片标题")
454
+
455
+![输入图片说明](https://static.oschina.net/uploads/img/201607/24194212_jOAU.png "在这里输入图片标题")
442 456
 
443
-#### 5.5 执行模块
457
+#### 5.5 执行模块剖析
444 458
 ##### 5.5.1 Bean模式任务
445 459
 开发步骤:见章节三;
446 460
 原理:每个Bean模式任务都是一个Spring的Bean类实例,它被维护在“执行器”项目的Spring容器中。任务类需要加“@JobHander(value="名称")”注解,因为“执行器”会根据该注解识别Spring容器中的任务。任务类需要继承统一接口“IJobHandler”,任务逻辑在execute方法中开发,因为“执行器”在接收到调度中心的调度请求时,将会调用“IJobHandler”的execute方法,执行任务逻辑。
@@ -551,30 +565,30 @@ XXL-JOB会为每次调度请求生成一个单独的日志文件,通过重写L
551 565
 - 3、【重要】在 “调度中心” 支持HA的基础上,扩展执行器的Failover支持,支持配置多执行期地址;
552 566
 
553 567
 #### 6.6 版本 V1.4.0 新特性
554
-- 1、执行器底层实现代码进行重度重构, 优化底层建表脚本;
555
-- 2、执行器中任务线程分组逻辑优化: 之前根据执行器JobHandler进行线程分组,当多个任务复用Jobhanlder会导致相互阻塞。现改为根据调度中心任务进行任务线程分组,任务与任务执行相互隔离;
556
-- 3、执行器调度通讯方案优化, 通过Hex + HC实现建议RPC通讯协议, 优化了通讯参数的维护和解析流程;
557
-- 4、调度中心, 新建/编辑任务, 界面属性调整: 
558
-    - 4.1、任务新增/编辑界面中去除 "任务名JobName"属性 ,该属性改为系统自动生成: 该字段之前主要用于在 "调度中心" 唯一标示一个任务, 现实意义不大, 因此计划淡化掉该字段,改为系统生成UUID,从而简化任务新建的操作;
559
-    - 4.2、任务新增/编辑界面中去除 "GLUE模式" 复选框位置调整, 改为贴近"JobHandler"输入框右侧;
560
-    - 4.3、任务新增/编辑界面中去除 "报警阈值" 属性;
561
-- 5、问题修复:
562
-    - 5.1、执行器jetty关闭优化,解决一处可能导致jetty无法关闭的问题;
563
-    - 5.2、执行器任务终止时,执行队列回调优化,解决一处导致任务无法回调的问题;
564
-    - 5.3、调度中心中列表分页参数优化,解决一处因服务器限制post长度而引起的问题;
565
-    - 5.4、执行器Jobhandler注解优化,解决一处因事务代理导致的容器无法加载JobHandler的问题;
566
-    - 5.5、远程调度优化,禁用retry策略,解决一处可能导致重复调用的问题;
568
+- 1、任务依赖: 通过事件触发方式实现, 任务执行成功并回调时会主动触发一次子任务的调度;
569
+- 2、执行器底层实现代码进行重度重构, 优化底层建表脚本;
570
+- 3、执行器中任务线程分组逻辑优化: 之前根据执行器JobHandler进行线程分组,当多个任务复用Jobhanlder会导致相互阻塞。现改为根据调度中心任务进行任务线程分组,任务与任务执行相互隔离;
571
+- 4、执行器调度通讯方案优化, 通过Hex + HC实现建议RPC通讯协议, 优化了通讯参数的维护和解析流程;
572
+- 5、调度中心, 新建/编辑任务, 界面属性调整: 
573
+    - 5.1、任务新增/编辑界面中去除 "任务名JobName"属性 ,该属性改为系统自动生成: 该字段之前主要用于在 "调度中心" 唯一标示一个任务, 现实意义不大, 因此计划淡化掉该字段,改为系统生成UUID,从而简化任务新建的操作;
574
+    - 5.2、任务新增/编辑界面中去除 "GLUE模式" 复选框位置调整, 改为贴近"JobHandler"输入框右侧;
575
+    - 5.3、任务新增/编辑界面中去除 "报警阈值" 属性;
576
+- 6、问题修复:
577
+    - 6.1、执行器jetty关闭优化,解决一处可能导致jetty无法关闭的问题;
578
+    - 6.2、执行器任务终止时,执行队列回调优化,解决一处导致任务无法回调的问题;
579
+    - 6.3、调度中心中列表分页参数优化,解决一处因服务器限制post长度而引起的问题;
580
+    - 6.4、执行器Jobhandler注解优化,解决一处因事务代理导致的容器无法加载JobHandler的问题;
581
+    - 6.5、远程调度优化,禁用retry策略,解决一处可能导致重复调用的问题;
567 582
 
568 583
 Tips: 历史版本(V1.3.x)目前已经Release至稳定版本, 进入维护阶段, 地址见分支 [V1.3](https://github.com/xuxueli/xxl-job/tree/v1.3) 。新特性将会在master分支持续更新。
569 584
 
570 585
 
571 586
 #### 规划中
572
-- 1、任务依赖: 通过事件触发方式实现, 任务执行成功并回调SUCCESS时, 会主动触发一次依赖任务的调度;
573
-- 2、任务执行规则自定义:假如前一个任务正在执行,后续调度执行规则支持自定义;
574
-		串行(默认,当前逻辑):后续调度入调度队列;
575
-		并行:后续调度并行执行;
576
-		Pass:后续调度被Pass;
577
-- 3、兼容oracle;
587
+- 1、任务执行规则自定义:假如前一个任务正在执行,后续调度执行规则支持自定义;
588
+    串行(默认,当前逻辑):后续调度入调度队列;
589
+    并行:后续调度并行执行;
590
+    Pass:后续调度被Pass;
591
+- 2、兼容oracle;
578 592
 
579 593
 
580 594
 ## 七、其他
@@ -583,4 +597,4 @@ Tips: 历史版本(V1.3.x)目前已经Release至稳定版本, 进入维护阶段
583 597
 XXL-JOB托管在Github上,如有问题可在 [ISSUES](https://github.com/xuxueli/xxl-job/issues/) 上提问,也可以加入技术交流群(仅作技术交流):367260654
584 598
 
585 599
 #### 7.2 接入登记
586
-更多接入公司,欢迎在github [登记](https://github.com/xuxueli/xxl-job/issues/1 ) 
600
+更多接入公司,欢迎在github [登记](https://github.com/xuxueli/xxl-job/issues/1 )

+ 9 - 6
xxl-job-admin/src/main/java/com/xxl/job/admin/core/callback/XxlJobLogCallbackServerHandler.java Bestand weergeven

@@ -43,6 +43,7 @@ public class XxlJobLogCallbackServerHandler extends AbstractHandler {
43 43
 		if (log!=null) {
44 44
 
45 45
 			// trigger success, to trigger child job, and avoid repeat trigger child job
46
+            String childTriggerMsg = null;
46 47
 			if (!ResponseModel.SUCCESS.equals(log.getHandleStatus())) {
47 48
 				XxlJobInfo xxlJobInfo = DynamicSchedulerUtil.xxlJobInfoDao.load(log.getJobGroup(), log.getJobName());
48 49
 				if (xxlJobInfo!=null && StringUtils.isNotBlank(xxlJobInfo.getChildJobKey())) {
@@ -54,21 +55,23 @@ public class XxlJobLogCallbackServerHandler extends AbstractHandler {
54 55
 								boolean ret = DynamicSchedulerUtil.triggerJob(childJobInfo.getJobName(), childJobInfo.getJobGroup());
55 56
 
56 57
 								// add msg
57
-								String msg = requestModel.getMsg();
58
-								msg += MessageFormat.format("<br> 触发子任务执行, jobKey:{0}, status:{1}, 描述:{2}", xxlJobInfo.getChildJobKey(), ret, childJobInfo.getJobDesc());
59
-								requestModel.setMsg(msg);
58
+                                childTriggerMsg += MessageFormat.format("<br> 触发子任务成功, 子任务Key: {0}, status: {1}, 子任务描述: {2}", xxlJobInfo.getChildJobKey(), ret, childJobInfo.getJobDesc());
60 59
 							} catch (SchedulerException e) {
61 60
 								logger.error("", e);
62 61
 							}
63
-						}
64
-					}
62
+						} else {
63
+                            childTriggerMsg = "<br> 触发子任务失败, 子任务xxlJobInfo不存在, 子任务Key:" + xxlJobInfo.getChildJobKey();
64
+                        }
65
+					} else {
66
+                        childTriggerMsg = "<br> 触发子任务失败, 子任务Key格式错误, 子任务Key:" + xxlJobInfo.getChildJobKey();
67
+                    }
65 68
 				}
66 69
 			}
67 70
 
68 71
 			// save log
69 72
 			log.setHandleTime(new Date());
70 73
 			log.setHandleStatus(requestModel.getStatus());
71
-			log.setHandleMsg(requestModel.getMsg());
74
+			log.setHandleMsg(requestModel.getMsg() + childTriggerMsg);
72 75
 			DynamicSchedulerUtil.xxlJobLogDao.updateHandleInfo(log);
73 76
 			responseModel = new ResponseModel(ResponseModel.SUCCESS, null);
74 77
 		} else {