xueli.xue 9 år sedan
förälder
incheckning
34c54e5586
3 ändrade filer med 421 tillägg och 625 borttagningar
  1. 421 116
      README.md
  2. 0 509
      doc/XXL-JOB-1.4.x用户手册.md
  3. Binär
      doc/XXL-JOB1.3.x架构图_20160528_1910.pptx

+ 421 - 116
README.md Visa fil

1
-# 《分布式任务调度平台xxl-job》
2
-## 一 简介
3
-XXL-JOB是一个轻量级分布式任务调度框架,其核心设计目标是开发迅速、学习简单、轻量级、易扩展。现已开放源代码并接入多家公司线上产品线,开箱即用。
4
-
5
-#### 1.1 下载
6
-源码地址
7
-
8
-- github地址:https://github.com/xuxueli/xxl-job
9
-- git.osc地址:http://git.oschina.net/xuxueli0323/xxl-job
10
-- 我将会在两个git仓库同步发布最新代码;用户手册放置在源码“/doc”目录下( https://github.com/xuxueli/xxl-job/tree/master/doc );开箱即用;
11
-
12
-博客地址
1
+# 《分布式任务调度平台XXL-JOB》(最新版本V1.4.0)
2
+## 一、简介
13
 
3
 
14
-- oschina地址:http://my.oschina.net/xuxueli/blog/690978
15
-- cnblogs地址:http://www.cnblogs.com/xuxueli/p/5021979.html
16
-- csdn地址:http://blog.csdn.net/xuxueli0323/article/details/51674330
17
-
18
-技术交流群(仅作技术交流):367260654    [![image](http://pub.idqqimg.com/wpa/images/group.png)](http://shang.qq.com/wpa/qunwpa?idkey=4686e3fe01118445c75673a66b4cc6b2c7ce0641528205b6f403c179062b0a52 )
4
+#### 1.1 概述
5
+XXL-JOB是一个轻量级分布式任务调度框架,其核心设计目标是开发迅速、学习简单、轻量级、易扩展。现已开放源代码并接入多家公司线上产品线,开箱即用。
19
 
6
 
20
 #### 1.2 特性
7
 #### 1.2 特性
21
 - 1、简单:支持通过Web页面对任务进行CRUD操作,操作简单,一分钟上手;
8
 - 1、简单:支持通过Web页面对任务进行CRUD操作,操作简单,一分钟上手;
27
 - 7、自定义任务参数:支持在线配置调度任务入参,即时生效;
14
 - 7、自定义任务参数:支持在线配置调度任务入参,即时生效;
28
 - 8、调度线程池:调度系统多线程触发调度运行,确保调度精确执行,不被堵塞;
15
 - 8、调度线程池:调度系统多线程触发调度运行,确保调度精确执行,不被堵塞;
29
 - 9、执行日志:支持在线查看调度结果,并且查看完整的执行日志;
16
 - 9、执行日志:支持在线查看调度结果,并且查看完整的执行日志;
30
-- 10、邮件报警:任务失败时支持邮件报警,同时可自定义失败次数阀值
17
+- 10、邮件报警:任务失败时支持邮件报警,支持配置多邮件地址群发报警邮件
31
 - 11、支持登录验证;
18
 - 11、支持登录验证;
32
-- 12、GLUE:提供Web IDE,支持在线开发任务逻辑代码,动态发布,实时编译生效,省略部署上线的过程。
19
+- 12、GLUE:提供Web IDE,支持在线开发任务逻辑代码,动态发布,实时编译生效,省略部署上线的过程。支持30个版本的历史版本回溯。
33
 
20
 
34
 #### 1.3 发展
21
 #### 1.3 发展
35
 于2015年中,我在github上创建XXL-JOB项目仓库并提交第一个commit,随之进行系统结构设计,UI选型,交互设计……
22
 于2015年中,我在github上创建XXL-JOB项目仓库并提交第一个commit,随之进行系统结构设计,UI选型,交互设计……
40
 
27
 
41
 于2016-01月我司展开XXL-JOB的内部接入和定制工作,在此感谢袁某和尹某两位同事的贡献,同时也感谢内部其他给与关注与支持的同事。
28
 于2016-01月我司展开XXL-JOB的内部接入和定制工作,在此感谢袁某和尹某两位同事的贡献,同时也感谢内部其他给与关注与支持的同事。
42
 
29
 
43
-**我司大众点评目前已接入XXL-JOB,内部别名《Ferrari》(Ferrari基于XXL-JOB的V1.1版本定制而成,新接入应用推荐升级最新版本V1.3)**。自2016-01-21接入至2016-05-20为止进行统计,该系统已调度40000余次,表现优异。新接入应用推荐使用最新版本V1.3,因为经过两个大版本的更新,系统的任务模型、UI交互模型以及底层调度通讯模型都有了较大的提升,核心功能更加稳定高效。
30
+**我司大众点评目前已接入XXL-JOB,内部别名《Ferrari》(Ferrari基于XXL-JOB的V1.1版本定制而成,新接入应用推荐升级最新版本)**。据最新统计, 自2016-01-21接入至2016-07-20期间,该系统已调度72000余次,表现优异。新接入应用推荐使用最新版本,因为经过数个大版本的更新,系统的任务模型、UI交互模型以及底层调度通讯模型都有了较大的优化和提升,核心功能更加稳定高效。
44
 
31
 
45
 至今,XXL-JOB已接入多家公司的线上产品线,接入场景如电商业务,O2O业务和大数据作业等,截止2016-07-19为止,XXL-JOB已接入的公司包括不限于:
32
 至今,XXL-JOB已接入多家公司的线上产品线,接入场景如电商业务,O2O业务和大数据作业等,截止2016-07-19为止,XXL-JOB已接入的公司包括不限于:
46
     
33
     
56
 
43
 
57
 欢迎大家的关注和使用,XXL-JOB也将拥抱变化,持续发展。
44
 欢迎大家的关注和使用,XXL-JOB也将拥抱变化,持续发展。
58
 
45
 
59
-#### 1.4 接入登记
60
-更多接入公司,欢迎在https://github.com/xuxueli/xxl-job/issues/1 登记。
46
+#### 1.4 下载
47
+源码地址 (将会在两个git仓库同步发布最新代码)
61
 
48
 
62
-#### 1.5 报告问题
63
-XXL-JOB托管在Github上,如有问题可在ISSUES上提问,也可以加入技术交流群(仅作技术交流):367260654 。
49
+- [github地址](https://github.com/xuxueli/xxl-job)
50
+- [git.osc地址](http://git.oschina.net/xuxueli0323/xxl-job)
51
+- [用户手册地址,见源码“/doc”目录下](https://github.com/xuxueli/xxl-job/tree/master/doc)
64
 
52
 
65
-#### 1.6 源码目录说明
66
-- /xxl-job-admin					【调度中心】:负责管理调度信息,按照调度配置发出调度请求;
67
-- /xxl-job-core					公共依赖
68
-- /xxl-job-executor-example	【执行器】:负责接收调度请求并执行任务逻辑;
69
-- /db		建表脚本
70
-- /doc	用户手册
53
+博客地址
71
 
54
 
72
-## 二 总体设计
55
+- [oschina地址](http://my.oschina.net/xuxueli/blog/690978)
56
+- [cnblogs地址](http://www.cnblogs.com/xuxueli/p/5021979.html)
57
+- [csdn地址](http://blog.csdn.net/xuxueli0323/article/details/51674330)
73
 
58
 
74
-#### 2.1 架构图
75
-![XXL-JOB架构图](https://static.oschina.net/uploads/img/201606/14125314_NHk8.png "XXL-JOB架构图")
59
+技术交流群(仅作技术交流):367260654    [![image](http://pub.idqqimg.com/wpa/images/group.png)](http://shang.qq.com/wpa/qunwpa?idkey=4686e3fe01118445c75673a66b4cc6b2c7ce0641528205b6f403c179062b0a52 )
76
 
60
 
77
-#### 2.2 设计思想
78
-将调度行为抽象形成“调度中心”公共平台,而平台自身并不承担业务逻辑,“调度中心”负责发起调度请求。
79
 
61
 
80
-将任务抽象成分散的JobHandler,交由“执行器”统一管理,“执行器”负责接收调度请求并执行对应的JobHandler中业务逻辑
62
+Tips: 历史Release版本下载位置如下图所示,请自行前往进行选择和下载。
81
 
63
 
82
-因此,“调度”和“任务”两部分可以相互解耦,提高系统整体稳定性和扩展性;
64
+![输入图片说明](https://static.oschina.net/uploads/img/201607/23221244_nq9a.png "在这里输入图片标题")
83
 
65
 
84
-#### 2.3 系统组成
85
-**调度模块(调度中心)**:负责管理调度信息,按照调度配置发出调度请求,自身不承担业务代码。调度系统与任务解耦,提高了系统可用性和稳定性,同时调度系统性能不再受限于任务模块;
66
+#### 1.5 环境
67
+- Maven3+
68
+- Jdk1.7+
69
+- Tomcat7+
70
+- Mysql5.5+
86
 
71
 
87
-支持可视化、简单且动态的维管理调度信息,包括任务新建,更新,删除,GLUE开发和任务报警等,所有上述操作都会实时生效,同时支持监控调度结果以及执行日志,支持执行器Failover。
88
 
72
 
89
-**执行模块(执行器)**:负责接收调度请求并执行任务逻辑。任务模块专注于任务的执行等操作,开发和维护更加简单和高效;
73
+## 二、快速入门
90
 
74
 
91
-支持接收“调度中心”的执行请求、终止请求和日志请求等。
75
+#### 2.1 初始化“调度数据库”
76
+请下载项目源码并解压,获取 "调度数据库初始化SQL脚本"(脚本文件为: 源码解压根目录\xxl-job\db\tables_xxl_job.sql) 并执行即可。
92
 
77
 
93
-## 三 实现原理
94
-#### 3.1 quartz的不足
95
-Quartz作为开源作业调度中的佼佼者,是作业调度的首选。但是集群环境中Quartz采用API的方式对任务进行管理,从而可以避免上述问题,但是同样存在以下问题:
96
-    - 问题一:调用API的的方式操作任务,不人性化;
97
-    - 问题二:需要持久化业务QuartzJobBean到底层数据表中,系统侵入性相当严重。
98
-    - 问题三:调度逻辑和QuartzJobBean耦合在同一个项目中,这将导致一个问题,在调度任务数量逐渐增多,同时调度任务逻辑逐渐加重的情况加,此时调度系统的性能将大大受限于业务;
78
+正常情况下,应该生成如下图所示14张表;
99
 
79
 
100
-XXL-JOB的调度中心基于Quartz实现,弥补了quartz的上述不足之处。
80
+![输入图片说明](https://static.oschina.net/uploads/img/201607/23221308_DDW8.png "在这里输入图片标题")
101
 
81
 
102
-#### 3.2 RemoteHttpJobBean
103
-常规Quartz的开发,任务逻辑一般维护在QuartzJobBean中,耦合很严重。XXL-JOB中“调度模块”和“任务模块”完全解耦,调度模块中的所有调度任务使用同一个QuartzJobBean,即RemoteHttpJobBean。不同的调度任务将各自参数维护在各自扩展表数据中,当触发RemoteHttpJobBean执行时,将会解析不同的任务参数发起远程调用,调用各自的远程执行器服务。这种调用模型类似RPC调用,RemoteHttpJobBean提供调用代理的功能,而执行器提供远程服务的功能。
82
+#### 2.2 编译源码
83
+解压源码,按照maven格式将源码导入IDE, 使用maven进行编译即可,源码结构如下图所示:
104
 
84
 
105
-#### 3.3 调度中心HA(集群)
106
-基于Quartz的集群方案,数据库选用Mysql;集群分布式并发环境中使用QUARTZ定时任务调度,会在各个节点会上报任务,存到数据库中,执行时会从数据库中取出触发器来执行,如果触发器的名称和执行时间相同,则只有一个节点去执行此任务。
107
 
85
 
108
-![输入图片说明](https://static.oschina.net/uploads/img/201606/14125524_GxS9.png "在这里输入图片标题")
86
+![输入图片说明](https://static.oschina.net/uploads/img/201607/23222522_JGCc.png "在这里输入图片标题")
109
 
87
 
110
-#### 3.4 调度线程池
111
-默认线程池中线程的数量为10个,避免单线程因阻塞而引起任务调度延迟。
88
+- xxl-job-admin:调度中心
89
+- xxl-job-core:公共依赖
90
+- xxl-job-executor-example:执行器(可直接使用该执行器,也可以将现有项目改造成执行器使用)
112
 
91
 
113
-![输入图片说明](https://static.oschina.net/uploads/img/201606/14125549_0Knr.png "在这里输入图片标题")
92
+#### 2.3 配置部署“调度中心”
93
+调度中心项目:xxl-job-admin
114
 
94
 
115
-#### 3.5 @DisallowConcurrentExecution
116
-XXL-JOB调度模块的“调度中心”默认不使用该注解,即默认开启并行机制,因为RemoteHttpJobBean为公共QuartzJobBean,这样在多线程调度的情况下,调度模块被阻塞的几率很低,大大提高了调度系统的承载量。
95
+作用:统一管理任务调度平台上调度任务,负责触发调度执行。
117
 
96
 
118
-XXL-JOB的每个调度任务虽然在调度模块是并行调度执行的,但是任务调度传递到任务模块的“执行器”确实串行执行的,同时支持任务终止
97
+- **A:配置调度中心JDBC链接**:请在下图所示位置配置jdbc链接地址,链接地址请保持和 2.1章节 所创建的调度数据库的地址一致
119
 
98
 
120
-#### 3.6 日志回调服务
121
-调度模块的“调度中心”作为Web服务单独部署,除此之外,内部嵌入jetty服务器提供日志回调服务。
99
+![输入图片说明](https://static.oschina.net/uploads/img/201607/23222438_wZv9.png "在这里输入图片标题")
122
 
100
 
123
-“执行器”在接收到任务执行请求后,执行任务,在执行结束之后会将执行结果回调通知“调度中心”,如下图所示
101
+- **B:配置报警邮箱和登陆账号**:请在下图所示位置,设置自己的报警邮件发送邮箱和登陆账号密码
124
 
102
 
125
-![输入图片说明](https://static.oschina.net/uploads/img/201606/14125628_qON8.png "在这里输入图片标题")
103
+![输入图片说明](https://static.oschina.net/uploads/img/201607/23223008_ArvZ.png "在这里输入图片标题")
126
 
104
 
127
-#### 3.7 任务HA(Failover)
128
-如下图所示,任务“执行器地址”支持配置多个,用逗号分隔,如“127.0.0.1:9998,127.0.0.1:9999”。如果任务配置多个执行器地址,当调度中心每次发起调度请求时,会按照地址配置的顺序依次对执行器发出心跳检测请求,第一个检测为存活状态的执行器将会被选定。
105
+- **C:配置“调度中心”任务执行结果回调端口**:由于“调度中心”和“执行器”部署在不同项目中,“执行器”会请求该端口回调通知任务执行结果。如下图所示,默认回调服务端口号为8888。(此端口除非与现有端口冲突,可自行修改,否则可忽视)
129
 
106
 
130
-![输入图片说明](https://static.oschina.net/uploads/img/201606/14125648_7kTR.png "在这里输入图片标题")
107
+![输入图片说明](https://static.oschina.net/uploads/img/201607/23223301_I03k.png "在这里输入图片标题")
131
 
108
 
132
-调度成功后,可在日志监控界面查看执行日志;
109
+**部署项目**:如果已经正确进行上述配置,可将项目编译打war包并部署到tomcat中。
133
 
110
 
134
-![输入图片说明](https://static.oschina.net/uploads/img/201606/14125703_xKWj.png "在这里输入图片标题")
111
+访问链接:http://localhost:8080/xxl-job-admin/ ,登陆界面如下图所示
135
 
112
 
136
-调度日志显示,任务配置的地址“227.0.0.1:9999,127.0.0.1:9999”,首先对第一个执行器地址“227.0.0.1:9999”进行心跳检测,心跳失败因此跳过;然后对第二个执行器地址“127.0.0.1:9999”进行心跳检测,心跳检测成功,选定为“目标执行器”;然后对“目标执行器”发送调度请求,调度流程结束,等待执行器回调执行结果。
137
 
113
 
138
-![输入图片说明](https://static.oschina.net/uploads/img/201606/14125738_xpGk.png "在这里输入图片标题")
114
+![输入图片说明](https://static.oschina.net/uploads/img/201607/23223648_b8Dx.png "在这里输入图片标题")
139
 
115
 
140
-#### 3.8 调度日志组成
141
-调度中心每次进行任务调度,都会记录一条任务日志,任务日志主要包括以下三部分内容:
142
-    - A、任务信息:包括“执行器地址”、“JobHandler”和“执行参数”等属性,根据这些参数,可以精确的定位任务执行的具体机器和任务代码;
143
-    - B、调度信息:包括“调度时间”、“调度结果”和“调度日志”等,根据这些参数,可以了解“调度中心”发起调度请求时具体情况。
144
-    - C、执行信息:包括“执行时间”、“执行结果”和“执行日志”等,根据这些参数,可以了解在“执行器”端任务执行的具体情况;
116
+至此“调度中心”项目已经部署成功。
145
 
117
 
146
-![输入图片说明](https://static.oschina.net/uploads/img/201606/14125801_9yfn.png "在这里输入图片标题")
118
+#### 2.4 配置部署“执行器项目”
119
+“执行器”项目:xxl-job-executor-example
147
 
120
 
148
-#### 3.9 Bean模式任务
149
-开发步骤:
150
-    - 1、开发一个继承“IJobHandler”的实现类,任务逻辑写在execute方法中;
151
-    - 2、将任务类装配到Spring中,例如加 “@Service” 注解;
152
-    - 3、在任务类上加 “@JobHander” 注解,定义注解的name属性值;
153
-    (步骤3中定义的name属性值,在配置Bean模式任务时会用到)
121
+作用:负责接收“调度中心”的调度并执行;
154
 
122
 
155
-原理:
156
-    每个Bean模式任务都是一个Spring的Bean类实例,它被维护在“执行器”项目的Spring容器中。任务类需要加“@JobHander(name="名称")”注解,因为“执行器”会根据该注解识别Spring容器中的任务。任务类需要继承统一接口“IJobHandler”,任务逻辑在execute方法中开发,因为“执行器”在接收到调度中心的调度请求时,将会调用“IJobHandler”的execute方法,执行任务逻辑。
123
+- **A:配置Jdbc链接**:请在下图所示位置配置jdbc链接地址,链接地址请保持和 2.1章节 所创建的调度数据库的地址一致。
157
 
124
 
158
-#### 3.10 GLUE模式任务
159
-开发步骤:GLUE模式任务的开发步骤比较简单,进入GLUE编辑界面,在Demo任务代码的execute方法中写入任务逻辑即可;可使用@Resource或@Autoward注解注入“执行器”项目中的Spring服务;
160
 
125
 
161
-原理:每个Glue任务的代码,实际上是“一个继承自“IJobHandler”的实现类的类代码”,“执行器”接收到“调度中心”的调度请求时,会通过Groovy类加载器加载此代码,实例化成Java对象,同时注入此代码中声明的Spring服务(请确保Glue代码中的服务和类引用在“执行器”项目中存在),然后调用该对象的execute方法,执行任务逻辑。
126
+![输入图片说明](https://static.oschina.net/uploads/img/201607/23224042_MeRg.png "在这里输入图片标题")
162
 
127
 
163
-#### 3.11 执行器
164
-执行器实际上是一个内嵌的Jetty服务器,默认端口9999。
128
+- **B:配置“执行器”端口**:由于“调度中心”和“执行器”部署在不同项目,“调度中心”会请求该端口触发任务执行。端口如下图所示,默认的“执行器”端口是9999,如果与系统现有端口冲突可自行修改,如若不冲突,可忽略。
165
 
129
 
166
-在项目启动时,执行器会通过“@JobHander”识别Spring容器中“Bean模式任务”,以注解的name属性为key管理起来。
130
+![输入图片说明](https://static.oschina.net/uploads/img/201607/23224304_0jxT.png "在这里输入图片标题")
167
 
131
 
168
-“执行器”接收到“调度中心”的调度请求时,如果任务类型为“Bean模式”,将会匹配Spring容器中的“Bean模式任务”,然后调用其execute方法,执行任务逻辑。如果任务类型为“GLUE模式”,将会加载GLue代码,实例化Java对象,注入依赖的Spring服务(注意:Glue代码中注入的Spring服务,必须存在与该“执行器”项目的Spring容器中),然后调用execute方法,执行任务逻辑。
132
+**部署项目**:如果已经正确进行上述配置,可将项目编译打war包并部署到tomcat中。
133
+
134
+至此“执行器”项目已经部署结束。
135
+
136
+#### 2.5 开发第一个任务“Hello World”
137
+本示例为新建一个“GLUE模式任务”(“GLUE模式任务”的执行代码支持托管到调度中心在线维护,相比“Bean模式任务”需要在执行器项目开发部署上线,更加简便轻量)。更多有关任务的详细配置,请查看“章节三:任务详解”。
138
+
139
+**前提:请确认“调度中心”和“执行器”项目已经成功部署并启动;**
140
+
141
+- **步骤一(新建任务)**:登陆调度中心,点击下图所示“新建任务”按钮,新建示例任务。然后,参考下面截图中任务的参数配置,点击保存。
142
+
143
+![输入图片说明](https://static.oschina.net/uploads/img/201607/23224905_MkGD.png "在这里输入图片标题")
144
+
145
+![输入图片说明](https://static.oschina.net/uploads/img/201607/23225207_GSeQ.png "在这里输入图片标题")
146
+
147
+- **步骤二(GLUE任务开发)**:请点击下图中所示“GLUE入口按钮”,进入“GLUE编辑器开发界面”,见下图。GLUE任务默认已经初始化了示例任务代码,即打印Hello World。
148
+(GLUE实际上是一段继承自IJobHandler的Java类代码,它在执行器项目中运行,可使用@Resource/@Autowire注入执行器里中的其他服务,详细介绍请查看第三章节)
149
+
150
+
151
+![输入图片说明](https://static.oschina.net/uploads/img/201607/23225310_RYby.png "在这里输入图片标题")
152
+
153
+
154
+![输入图片说明](https://static.oschina.net/uploads/img/201607/23225327_Y1cn.png "在这里输入图片标题")
155
+
156
+- **步骤三(触发执行)**:点击下图所示“执行”按钮,可手动触发一次任务执行(通常情况下,通过配置Cron表达式进行任务调度出发)。
157
+
158
+
159
+![输入图片说明](https://static.oschina.net/uploads/img/201607/23225653_iY9K.png "在这里输入图片标题")
160
+
161
+- **步骤四(查看日志)**:
162
+点击图2.5F所示“日志”按钮,可前往任务日志界面查看任务日志。
163
+在如图2.5G的任务日志界面中,可查看任务调度状态,执行器接收到调度请求后的执行状态。
164
+同时,点击如图2.5G中的“执行日志”按钮,可以查看本此调度在执行器端的完整执行日志,完整执行日志如图2.5H。
165
+
166
+
167
+![输入图片说明](https://static.oschina.net/uploads/img/201607/23225953_7ey7.png "在这里输入图片标题")
168
+
169
+(图2.5F:“调度中心”管理管理界面,任务日志入口)
170
+
171
+
172
+![输入图片说明](https://static.oschina.net/uploads/img/201607/23230953_BFVV.png "在这里输入图片标题")
173
+
174
+(图2.5G:“调度中心”管理管理界面,任务日志入口)
175
+
176
+
177
+![输入图片说明](https://static.oschina.net/uploads/img/201607/23230416_2cLu.png "在这里输入图片标题")
178
+
179
+(图2.5H:“调度中心”管理管理界面,任务日志入口)
180
+
181
+## 三、任务详解
182
+
183
+**配置属性详细说明:**
184
+    - 任务组:任务的分组,便于任务管理;
185
+    - 描述:任务的描述信息,便于任务管理;
186
+    - 执行器地址:执行器接受任务调度的地址,格式为“IP:Port”,支持配置多个地址进行Failover,当存在多个地址时用逗号分隔,格式为“IP1:Port,IP2:Port...”
187
+    - Cron:触发任务执行的Cron表达式;
188
+    - JobHandler + GLUE复选框:
189
+        BEAN模式任务:不选中GLUE复选框,JobHandler输入框为必填项,需要输入该任务对应的JobHandler的名称,即执行器中新开发的JobHandler类“@JobHander”注解自定义的value值;
190
+        GLUE模式任务:选中GLUE复选框,JobHandler输入框被禁用,不必输入,因为此时任务逻辑维护在线上。
191
+    - 执行参数:任务执行所需的参数,多个参数时用逗号分隔,任务执行时将会把多个参数抓换成数组传入;
192
+    - 报警邮件:任务调度失败时邮件通知的邮箱地址,支持配置多邮箱地址,配置多个邮箱地址时用逗号分隔;
193
+    - 负责人:任务的负责人;
194
+
195
+#### 3.1 BEAN模式任务
196
+Bean模式任务:任务逻辑以JobHandler的形式存在于“执行器”所在项目中,开发流程如下:
197
+
198
+- **步骤一:执行器项目中,开发JobHandler**:
199
+    - 1、 新建一个继承com.xxl.job.core.handler.IJobHandler的Java类;
200
+    - 2、 该类被Spring容器扫描为Bean实例,如加“@Service注解”;
201
+    - 3、 添加 “@JobHander(value="自定义jobhandler名称")”注解,注解的value值为自定义的JobHandler名称,该名称对应的是调度中心新建任务的JobHandler属性的值。
202
+    (可参考xxl-job-executor-example项目中的DemoJobHandler,见下图)
203
+
204
+![输入图片说明](https://static.oschina.net/uploads/img/201607/23232347_oLlM.png "在这里输入图片标题")
205
+
206
+- **步骤二:调度中心,新建调度任务并配置(BEAN模式)**,
207
+
208
+参考上文“配置属性详细说明”对新建的任务进行参数配置,需要注意的是“JobHandler + GLUE复选框”任务属性,需要按照“GLUE模式”任务进行配置;
209
+
210
+![输入图片说明](https://static.oschina.net/uploads/img/201607/23225207_GSeQ.png "在这里输入图片标题")
211
+
212
+#### 3.2 GLUE模式任务
213
+GLUE模式任务:任务逻辑以GLUE代码的形式存储在DB中,支持通过Web IDE在线更新,实时编译和生效,因此不需要指定JobHandler。开发流程如下:
214
+
215
+- **步骤一:调度中心,新建调度任务并配置(GLUE模式)**:
216
+
217
+参考上文“配置属性详细说明”对新建的任务进行参数配置,需要注意的是“JobHandler + GLUE复选框”任务属性,需要按照“GLUE模式”任务进行配置;
218
+
219
+![输入图片说明](https://static.oschina.net/uploads/img/201607/24123029_GqMy.png "在这里输入图片标题")
220
+
221
+- **步骤二:开发GLUE代码**:
222
+
223
+选中指定任务,点击该任务右侧“GLUE”按钮(仅GLUE模式任务支持),将会前往GLUE任务的Web IDE界面,在该界面支持对任务代码进行开发(当然也可以在IDE中开发完成后,复制粘贴到编辑中),可使用@Resource或@Autoward注解注入“执行器”项目中的Spring服务;
224
+
225
+版本回溯功能(支持30个版本的版本回溯):可参考下图,选择下拉框“版本回溯”,会列出该GLUE的更新历史,选择相应版本即可显示该版本代码,保存后GLUE代码即回退到对应的历史版本;
226
+
227
+## 四、任务管理
228
+#### 4.1 新建任务
229
+进入任务管理界面,点击“新增任务”按钮,在弹出的“新增任务”界面配置任务属性后保存即可,可参考下图:
230
+
231
+![输入图片说明](https://static.oschina.net/uploads/img/201607/24123920_b9UQ.png "在这里输入图片标题")
232
+
233
+![输入图片说明](https://static.oschina.net/uploads/img/201607/24124140_IxVH.png "在这里输入图片标题")
234
+
235
+#### 4.2 编辑任务
236
+进入任务管理界面,选中指定任务。点击该任务右侧“编辑”按钮,在弹出的“编辑任务”界面更新任务属性后保存即可,可参考下图:
237
+
238
+![输入图片说明](https://static.oschina.net/uploads/img/201607/24124734_UYp2.png "在这里输入图片标题")
169
 
239
 
170
-![输入图片说明](https://static.oschina.net/uploads/img/201606/14125907_Eajh.png "在这里输入图片标题")
240
+![输入图片说明](https://static.oschina.net/uploads/img/201607/24124821_FHtr.png "在这里输入图片标题")
171
 
241
 
172
-#### 3.12 任务日志
173
-XXL-JOB会为每次调度请求生成一个单独的日志文件,通过重写LOG4J的Appender实现如下图的数据1处,“调度中心”查看执行日志时将会加载对应的日志文件。
242
+#### 4.3 编译GLUE代码
174
 
243
 
175
-需要注意的是,“执行器”中日志Appender上配置的包名(如下图数据3处),需要覆盖到所有任务(Bean模式 + GLUE模式)的包名,否则覆盖不到的任务将不会生成日志文件。
244
+该操作仅针对GLUE任务
176
 
245
 
177
-![输入图片说明](https://static.oschina.net/uploads/img/201606/14125931_Digy.png "在这里输入图片标题")
246
+GLUE任务开发:进入任务管理界面,选中指定任务。点击该任务右侧“GLUE”按钮(仅GLUE模式任务支持),将会前往GLUE任务的Web IDE界面,在该界面支持对任务代码进行开发(当然也可以在IDE中开发完成后,复制粘贴到编辑中)
178
 
247
 
179
-单独日志文件存放的位置可在“执行器”的log.xml文件进行自定义,如上图中的数字2的位置所示,默认位置为项目磁盘根目录下“/logs/xxl-job/”;
248
+版本回溯功能(支持30个版本的版本回溯):可参考下图,选择下拉框“版本回溯”,会列出该GLUE的更新历史,选择相应版本即可显示该版本代码,保存后GLUE代码即回退到对应的历史版本
180
 
249
 
181
-目录格式为:/logs/xxl-job/ “格式化日期”/“数据库调度日志记录的主键ID . log”。
250
+![输入图片说明](https://static.oschina.net/uploads/img/201607/24125405_tk1u.png "在这里输入图片标题")
182
 
251
 
183
-#### 3.13 系统截图
184
-登陆截图:
252
+![输入图片说明](https://static.oschina.net/uploads/img/201607/24125452_qwGM.png "在这里输入图片标题")
185
 
253
 
186
-![输入图片说明](https://static.oschina.net/uploads/img/201606/14125958_3lh1.png "在这里输入图片标题")
254
+#### 4.4 暂停/恢复任务
255
+可对任务进行“暂停”和“恢复”操作。
256
+需要注意的是,此处的暂停/恢复仅针对任务的后续调度触发行为,不会影响到已经触发的调度任务,如需终止已经触发的调度任务,可查看“4.8 终止运行中的任务”
187
 
257
 
188
-任务列表:
258
+![输入图片说明](https://static.oschina.net/uploads/img/201607/24130337_ZAhX.png "在这里输入图片标题")
189
 
259
 
190
-![输入图片说明](https://static.oschina.net/uploads/img/201606/14130011_B19K.png "在这里输入图片标题")
260
+#### 4.5 手动触发一次调度
261
+点击“执行”按钮,可手动触发一次任务调度,不影响原有调度规则。
191
 
262
 
192
-任务配置截图:
263
+![输入图片说明](https://static.oschina.net/uploads/img/201607/24133348_Z5wp.png "在这里输入图片标题")
193
 
264
 
194
-![输入图片说明](https://static.oschina.net/uploads/img/201606/14130021_CeGE.png "在这里输入图片标题")
265
+#### 4.6 查看调度日志
266
+点击“日志”按钮,可以查看任务历史调度日志。在历史调入日志界面可查看每次任务调度的调度结果、执行结果等,点击“执行日志”按钮可查看执行器完整日志。
195
 
267
 
196
-在线开发任务GLUE代码,Wed IDE截图:
268
+![输入图片说明](https://static.oschina.net/uploads/img/201607/24133500_9235.png "在这里输入图片标题")
197
 
269
 
198
-![输入图片说明](https://static.oschina.net/uploads/img/201606/14130036_tZPO.png "在这里输入图片标题")
270
+![输入图片说明](https://static.oschina.net/uploads/img/201607/24134148_6xpS.png "在这里输入图片标题")
199
 
271
 
272
+调度日志,针对单次调度,属性说明如下:
273
+- 执行器地址:任务执行的机器地址;
274
+- JobHandler:Bean模式表示任务执行的JobHandler名称;
275
+- 任务参数:任务执行的入参;
276
+- 调度时间:调度中心,发起调度的时间;
277
+- 调度结果:调度中心,发起调度的结果,SUCCESS或FAIL;
278
+- 调度备注:调度中心,发起调度的备注信息,如地址心跳检测日志等;
279
+- 执行时间:执行器,任务执行结束后回调的时间;
280
+- 执行结果:执行器,任务执行的结果,SUCCESS或FAIL;
281
+- 执行备注:执行器,任务执行的备注信息,如异常日志等;
282
+- 执行日志:任务执行过程中,业务代码中打印的完整执行日志,见“4.7 查看执行日志”;
200
 
283
 
201
-## 四 版本更新
202
-#### 4.1 版本 V1.1.x,新特性
203
-**【于V1.1.x版本,XXL-JOB正式应用于我司,内部定制别名为 “Ferrari”,新接入应用推荐使用最新版本V1.3.x】**
284
+#### 4.7 查看执行日志
285
+点击执行日志右侧的 “执行日志” 按钮,可跳转至执行日志界面,可以查看业务代码中打印的完整日志,如下图;
204
 
286
 
287
+![输入图片说明](https://static.oschina.net/uploads/img/201607/24134243_BGuL.png "在这里输入图片标题")
288
+
289
+#### 4.8 终止运行中的任务
290
+仅针对执行中的任务。
291
+在任务日志界面,点击右侧的“终止任务”按钮,将会向本次任务对应的执行器发送任务终止请求,将会终止掉本次任务,同时会清空掉整个任务执行队列。
292
+
293
+![输入图片说明](https://static.oschina.net/uploads/img/201607/24140048_hIci.png "在这里输入图片标题")
294
+
295
+#### 4.9 删除任务
296
+点击删除按钮,可以删除对应任务。
297
+
298
+![输入图片说明](https://static.oschina.net/uploads/img/201607/24140641_Z9Qr.png "在这里输入图片标题")
299
+
300
+## 五、总体设计
301
+#### 5.1 源码目录介绍
302
+    - /doc :文档资料
303
+    - /db :“调度数据库”建表脚本
304
+    - /xxl-job-admin :调度中心,项目源码
305
+    - /xxl-job-core :公共Jar依赖
306
+    - /xxl-job-executor-example :执行器,Demo项目源码(大家可以在该项目上进行开发,也可以将现有项目改造生成执行器项目)
307
+
308
+#### 5.2 “调度数据库”配置
309
+XXL-JOB调度模块基于Quartz集群实现,其“调度数据库”是在Quartz的11张集群mysql表基础上扩展而成。
310
+
311
+XXL-JOB首先定制了Quartz原生表结构前缀(XXL_JOB_QRTZ_)。
312
+
313
+![输入图片说明](https://static.oschina.net/uploads/img/201607/24143957_bNwm.png "在这里输入图片标题")
314
+
315
+然后,在此基础上新增了三张扩展表,如下:
316
+    - XXL_JOB_QRTZ_TRIGGER_INFO:调度扩展信息表: 用于保存XXL-JOB调度任务的扩展信息,如任务分组、任务名、机器地址、执行器、执行入参和报警邮件等等;
317
+    - XXL_JOB_QRTZ_TRIGGER_LOG:调度日志表: 用于保存XXL-JOB任务调度的历史信息,如调度结果、执行结果、调度入参、调度机器和执行器等等;
318
+    - XXL_JOB_QRTZ_TRIGGER_LOGGLUE:任务GLUE日志:用于保存GLUE更新历史,用于支持GLUE的版本回溯功能;
319
+
320
+因此,XXL-JOB调度数据库共计用于14张数据库表。
321
+
322
+![输入图片说明](https://static.oschina.net/uploads/img/201607/23221308_DDW8.png "在这里输入图片标题")
323
+
324
+#### 5.3 架构设计
325
+##### 5.3.1 设计思想
326
+将调度行为抽象形成“调度中心”公共平台,而平台自身并不承担业务逻辑,“调度中心”负责发起调度请求。
327
+
328
+将任务抽象成分散的JobHandler,交由“执行器”统一管理,“执行器”负责接收调度请求并执行对应的JobHandler中业务逻辑。
329
+
330
+因此,“调度”和“任务”两部分可以相互解耦,提高系统整体稳定性和扩展性;
331
+
332
+##### 5.3.2 系统组成
333
+- **调度模块(调度中心)**:
334
+    负责管理调度信息,按照调度配置发出调度请求,自身不承担业务代码。调度系统与任务解耦,提高了系统可用性和稳定性,同时调度系统性能不再受限于任务模块;
335
+    支持可视化、简单且动态的维管理调度信息,包括任务新建,更新,删除,GLUE开发和任务报警等,所有上述操作都会实时生效,同时支持监控调度结果以及执行日志,支持执行器Failover。
336
+- **执行模块(执行器)**:
337
+    负责接收调度请求并执行任务逻辑。任务模块专注于任务的执行等操作,开发和维护更加简单和高效;
338
+    接收“调度中心”的执行请求、终止请求和日志请求等。
339
+
340
+##### 5.3.3 架构图(绘制中)
341
+![输入图片说明](https://static.oschina.net/uploads/img/201607/24144555_SUI2.png "在这里输入图片标题")
342
+
343
+#### 5.4 调度模块
344
+##### 5.4.1 RemoteHttpJobBean
345
+常规Quartz的开发,任务逻辑一般维护在QuartzJobBean中,耦合很严重。XXL-JOB中“调度模块”和“任务模块”完全解耦,调度模块中的所有调度任务使用同一个QuartzJobBean,即RemoteHttpJobBean。不同的调度任务将各自参数维护在各自扩展表数据中,当触发RemoteHttpJobBean执行时,将会解析不同的任务参数发起远程调用,调用各自的远程执行器服务。
346
+
347
+这种调用模型类似RPC调用,RemoteHttpJobBean提供调用代理的功能,而执行器提供远程服务的功能。
348
+
349
+##### 5.4.2 调度中心HA(集群)
350
+基于Quartz的集群方案,数据库选用Mysql;集群分布式并发环境中使用QUARTZ定时任务调度,会在各个节点会上报任务,存到数据库中,执行时会从数据库中取出触发器来执行,如果触发器的名称和执行时间相同,则只有一个节点去执行此任务。
351
+
352
+```
353
+# for cluster
354
+org.quartz.jobStore.tablePrefix = XXL_JOB_QRTZ_
355
+org.quartz.scheduler.instanceId: AUTO
356
+org.quartz.jobStore.class: org.quartz.impl.jdbcjobstore.JobStoreTX
357
+org.quartz.jobStore.isClustered: true
358
+org.quartz.jobStore.clusterCheckinInterval: 1000
359
+```
360
+
361
+##### 5.4.3 调度线程池
362
+默认线程池中线程的数量为10个,避免单线程因阻塞而引起任务调度延迟。
363
+
364
+```
365
+org.quartz.threadPool.class: org.quartz.simpl.SimpleThreadPool
366
+org.quartz.threadPool.threadCount: 10
367
+org.quartz.threadPool.threadPriority: 5
368
+org.quartz.threadPool.threadsInheritContextClassLoaderOfInitializingThread: true
369
+```
370
+
371
+##### 5.4.4 @DisallowConcurrentExecution
372
+XXL-JOB调度模块的“调度中心”默认不使用该注解,即默认开启并行机制,因为RemoteHttpJobBean为公共QuartzJobBean,这样在多线程调度的情况下,调度模块被阻塞的几率很低,大大提高了调度系统的承载量。
373
+
374
+XXL-JOB的每个调度任务虽然在调度模块是并行调度执行的,但是任务调度传递到任务模块的“执行器”确实串行执行的,同时支持任务终止。
375
+
376
+##### 5.4.5 misfire
377
+错过了触发时间,处理规则。
378
+可能原因:服务重启;调度线程被QuartzJobBean阻塞,线程被耗尽;某个任务启用了@DisallowConcurrentExecution,上次调度持续阻塞,下次调度被错过;
379
+
380
+quartz.properties中关于misfire的阀值配置如下,单位毫秒:
381
+```
382
+org.quartz.jobStore.misfireThreshold: 60000
383
+```
384
+
385
+Misfire规则:
386
+    withMisfireHandlingInstructionDoNothing:不触发立即执行,等待下次调度;
387
+    withMisfireHandlingInstructionIgnoreMisfires:以错过的第一个频率时间立刻开始执行;
388
+    withMisfireHandlingInstructionFireAndProceed:以当前时间为触发频率立刻触发一次执行;
389
+
390
+XXL-JOB默认misfire规则为:withMisfireHandlingInstructionDoNothing
391
+
392
+```
393
+CronScheduleBuilder cronScheduleBuilder = CronScheduleBuilder.cronSchedule(jobInfo.getJobCron()).withMisfireHandlingInstructionDoNothing();
394
+CronTrigger cronTrigger = TriggerBuilder.newTrigger().withIdentity(triggerKey).withSchedule(cronScheduleBuilder).build();
395
+```
396
+
397
+##### 5.4.6 日志回调服务
398
+调度模块的“调度中心”作为Web服务单独部署,除此之外,内部嵌入jetty服务器提供日志回调服务。
399
+
400
+“执行器”在接收到任务执行请求后,执行任务,在执行结束之后会将执行结果回调通知“调度中心”,回调端口如下图所示。
401
+
402
+![输入图片说明](https://static.oschina.net/uploads/img/201607/23223301_I03k.png "在这里输入图片标题")
403
+
404
+##### 5.4.7 任务HA(Failover)
405
+任务“执行器地址”支持配置多个,用逗号分隔,如“127.0.0.1:9998,127.0.0.1:9999”。
406
+
407
+如果任务配置多个执行器地址,当调度中心每次发起调度请求时,会按照地址配置的顺序依次对执行器发出心跳检测请求,第一个检测为存活状态的执行器将会被选定。
408
+
409
+调度成功后,可在日志监控界面查看“调度备注”,如下;
410
+![输入图片说明](https://static.oschina.net/uploads/img/201607/24150809_TNqT.png "在这里输入图片标题")
411
+
412
+“调度备注”可以查看执行器地址选择日志,任务配置的地址“227.0.0.1:9999,127.0.0.1:9999”,首先对第一个执行器地址“227.0.0.1:9999”进行心跳检测,心跳失败因此跳过;然后对第二个执行器地址“127.0.0.1:9999”进行心跳检测,心跳检测成功,选定为“目标执行器”;然后对“目标执行器”发送调度请求,调度流程结束,等待执行器回调执行结果。
413
+
414
+##### 5.4.8 调度日志
415
+调度中心每次进行任务调度,都会记录一条任务日志,任务日志主要包括以下三部分内容:
416
+
417
+- 任务信息:包括“执行器地址”、“JobHandler”和“执行参数”等属性,根据这些参数,可以精确的定位任务执行的具体机器和任务代码;
418
+- 调度信息:包括“调度时间”、“调度结果”和“调度日志”等,根据这些参数,可以了解“调度中心”发起调度请求时具体情况。
419
+- 执行信息:包括“执行时间”、“执行结果”和“执行日志”等,根据这些参数,可以了解在“执行器”端任务执行的具体情况;
420
+
421
+
422
+![输入图片说明](https://static.oschina.net/uploads/img/201607/24134148_6xpS.png "在这里输入图片标题")
423
+
424
+调度日志,针对单次调度,属性说明如下:
425
+- 执行器地址:任务执行的机器地址;
426
+- JobHandler:Bean模式表示任务执行的JobHandler名称;
427
+- 任务参数:任务执行的入参;
428
+- 调度时间:调度中心,发起调度的时间;
429
+- 调度结果:调度中心,发起调度的结果,SUCCESS或FAIL;
430
+- 调度备注:调度中心,发起调度的备注信息,如地址心跳检测日志等;
431
+- 执行时间:执行器,任务执行结束后回调的时间;
432
+- 执行结果:执行器,任务执行的结果,SUCCESS或FAIL;
433
+- 执行备注:执行器,任务执行的备注信息,如异常日志等;
434
+- 执行日志:任务执行过程中,业务代码中打印的完整执行日志,见“4.7 查看执行日志”;
435
+
436
+##### 5.4.9 quartz的不足
437
+Quartz作为开源作业调度中的佼佼者,是作业调度的首选。但是集群环境中Quartz采用API的方式对任务进行管理,从而可以避免上述问题,但是同样存在以下问题:
438
+    - 问题一:调用API的的方式操作任务,不人性化;
439
+    - 问题二:需要持久化业务QuartzJobBean到底层数据表中,系统侵入性相当严重。
440
+    - 问题三:调度逻辑和QuartzJobBean耦合在同一个项目中,这将导致一个问题,在调度任务数量逐渐增多,同时调度任务逻辑逐渐加重的情况加,此时调度系统的性能将大大受限于业务;
441
+XXL-JOB弥补了quartz的上述不足之处。
442
+
443
+#### 5.5 执行模块
444
+##### 5.5.1 Bean模式任务
445
+开发步骤:见章节三;
446
+原理:每个Bean模式任务都是一个Spring的Bean类实例,它被维护在“执行器”项目的Spring容器中。任务类需要加“@JobHander(value="名称")”注解,因为“执行器”会根据该注解识别Spring容器中的任务。任务类需要继承统一接口“IJobHandler”,任务逻辑在execute方法中开发,因为“执行器”在接收到调度中心的调度请求时,将会调用“IJobHandler”的execute方法,执行任务逻辑。
447
+
448
+##### 5.5.2 GLUE模式任务
449
+开发步骤:见章节三;
450
+原理:每个Glue任务的代码,实际上是“一个继承自“IJobHandler”的实现类的类代码”,“执行器”接收到“调度中心”的调度请求时,会通过Groovy类加载器加载此代码,实例化成Java对象,同时注入此代码中声明的Spring服务(请确保Glue代码中的服务和类引用在“执行器”项目中存在),然后调用该对象的execute方法,执行任务逻辑。
451
+
452
+##### 5.5.3 执行器
453
+执行器实际上是一个内嵌的Jetty服务器,默认端口9999。
454
+
455
+![输入图片说明](https://static.oschina.net/uploads/img/201607/23224304_0jxT.png "在这里输入图片标题")
456
+
457
+在项目启动时,执行器会通过“@JobHander”识别Spring容器中“Bean模式任务”,以注解的value属性为key管理起来。
458
+
459
+“执行器”接收到“调度中心”的调度请求时,如果任务类型为“Bean模式”,将会匹配Spring容器中的“Bean模式任务”,然后调用其execute方法,执行任务逻辑。如果任务类型为“GLUE模式”,将会加载GLue代码,实例化Java对象,注入依赖的Spring服务(注意:Glue代码中注入的Spring服务,必须存在与该“执行器”项目的Spring容器中),然后调用execute方法,执行任务逻辑。
460
+
461
+##### 5.5.4 任务日志
462
+XXL-JOB会为每次调度请求生成一个单独的日志文件,通过重写LOG4J的Appender实现,“调度中心”查看执行日志时将会加载对应的日志文件。
463
+
464
+需要注意的是,“执行器”中日志Appender上配置的包名,需要覆盖到所有任务(Bean模式 + GLUE模式)的包名,否则覆盖不到的任务将不会生成日志文件。
465
+
466
+```
467
+// 以下代码见/xxl-job/xxl-job-executor-example/src/main/resources/log4j.xml文件
468
+<appender name="xxl-job" class="com.xxl.job.core.log.XxlJobFileAppender">
469
+    <param name="filePath" value="/data/applogs/xxl-job/jobhandler/"/>
470
+    <param name="append" value="true"/>
471
+    <param name="encoding" value="UTF-8"/>
472
+    <layout class="org.apache.log4j.PatternLayout">
473
+        <param name="ConversionPattern" value="%-d{yyyy-MM-dd HH:mm:ss} [%c]-[%t]-[%M]-[%L]-[%p] %m%n"/>
474
+    </layout>
475
+</appender>
476
+...
477
+<logger name="com.xxl.job.executor.service.jobhandler" additivity="false">
478
+    <level value="INFO" />
479
+    <appender-ref ref="CONSOLE" />
480
+    <appender-ref ref="FILE" />
481
+    <appender-ref ref="xxl-job"/>
482
+</logger>
483
+```
484
+
485
+单独日志文件存放的位置可在“执行器”的log.xml文件进行自定义,默认位置为项目磁盘根目录下“/data/applogs/xxl-job/jobhandler/”;
486
+
487
+目录格式为:/data/applogs/xxl-job/jobhandler/“格式化日期”/“数据库调度日志记录的主键ID.log”。
488
+
489
+##### 5.6 通讯模块
490
+ 
491
+一次完整的任务调度流程如下:
492
+- 1、“调度中心”向“执行器”发送http调度请求。如图2.4B所示。
493
+(“执行器”中接收请求的服务,实际上是一台内嵌jetty服务器,默认端口9999)
494
+- 2、“执行器”执行任务逻辑;
495
+- 3、“执行器”http回调“调度中心”调度结果;如图2.3C所示。
496
+(“调度中心”中接收回调的服务,实际上是一台内嵌jetty服务器,默认端口8888)
497
+
498
+## 六、版本更新日志
499
+#### 6.1 版本 V1.1.x,新特性
500
+**【于V1.1.x版本,XXL-JOB正式应用于我司,内部定制别名为 “Ferrari”,新接入应用推荐使用最新版本】**
205
 - 1、简单:支持通过Web页面对任务进行CRUD操作,操作简单,一分钟上手;
501
 - 1、简单:支持通过Web页面对任务进行CRUD操作,操作简单,一分钟上手;
206
 - 2、动态:支持动态修改任务状态,动态暂停/恢复任务,即时生效;
502
 - 2、动态:支持动态修改任务状态,动态暂停/恢复任务,即时生效;
207
 - 3、服务HA:任务信息持久化到mysql中,Job服务天然支持集群,保证服务HA;
503
 - 3、服务HA:任务信息持久化到mysql中,Job服务天然支持集群,保证服务HA;
211
 - 7、支持自定义参数;
507
 - 7、支持自定义参数;
212
 - 8、支持远程任务执行终止;
508
 - 8、支持远程任务执行终止;
213
 
509
 
214
-#### 4.2 版本 V1.2.x,新特性
510
+#### 6.2 版本 V1.2.x,新特性
215
 - 1、支持任务分组;
511
 - 1、支持任务分组;
216
 - 2、支持“本地任务”、“远程任务”;
512
 - 2、支持“本地任务”、“远程任务”;
217
 - 3、底层通讯支持两种方式,Servlet方式 + JETTY方式;
513
 - 3、底层通讯支持两种方式,Servlet方式 + JETTY方式;
229
 		- 高扩展性;
525
 		- 高扩展性;
230
 		- 稳定性;
526
 		- 稳定性;
231
 
527
 
232
-#### 4.3 版本 V1.3.0,新特性
528
+#### 6.3 版本 V1.3.0,新特性
233
 - 1、遗弃“本地任务”模式,推荐使用“远程任务”,易于系统解耦,任务对应的JobHander统称为“执行器”;
529
 - 1、遗弃“本地任务”模式,推荐使用“远程任务”,易于系统解耦,任务对应的JobHander统称为“执行器”;
234
 - 2、遗弃“servlet”方式底层系统通讯,推荐使用JETTY方式,调度+回调双向通讯,重构通讯逻辑;
530
 - 2、遗弃“servlet”方式底层系统通讯,推荐使用JETTY方式,调度+回调双向通讯,重构通讯逻辑;
235
 - 3、UI交互优化:左侧菜单展开状态优化,菜单项选中状态优化,任务列表打开表格有压缩优化;
531
 - 3、UI交互优化:左侧菜单展开状态优化,菜单项选中状态优化,任务列表打开表格有压缩优化;
239
 		- BEAN模式执行器:每个执行器都是Spring的一个Bean实例,XXL-JOB通过注解@JobHander识别和调度执行器;
535
 		- BEAN模式执行器:每个执行器都是Spring的一个Bean实例,XXL-JOB通过注解@JobHander识别和调度执行器;
240
 		 -GLUE模式执行器:每个执行器对应一段代码,在线Web编辑和维护,动态编译生效,执行器负责加载GLUE代码和执行;
536
 		 -GLUE模式执行器:每个执行器对应一段代码,在线Web编辑和维护,动态编译生效,执行器负责加载GLUE代码和执行;
241
 
537
 
242
-#### 4.4 版本 V1.3.1,新特性	
538
+#### 6.4 版本 V1.3.1,新特性	
243
 - 1、更新项目目录结构:
539
 - 1、更新项目目录结构:
244
 	- /xxl-job-admin -------------------- 【调度中心】:负责管理调度信息,按照调度配置发出调度请求;
540
 	- /xxl-job-admin -------------------- 【调度中心】:负责管理调度信息,按照调度配置发出调度请求;
245
 	- /xxl-job-core ----------------------- 公共依赖
541
 	- /xxl-job-core ----------------------- 公共依赖
249
 - 2、在新的目录结构上,升级了用户手册;
545
 - 2、在新的目录结构上,升级了用户手册;
250
 - 3、优化了一些交互和UI;
546
 - 3、优化了一些交互和UI;
251
 
547
 
252
-#### 4.5 版本 V1.3.2,新特性	
548
+#### 6.5 版本 V1.3.2,新特性	
253
 - 1、调度逻辑进行事务包裹;
549
 - 1、调度逻辑进行事务包裹;
254
 - 2、执行器异步回调执行日志;
550
 - 2、执行器异步回调执行日志;
255
 - 3、【重要】在 “调度中心” 支持HA的基础上,扩展执行器的Failover支持,支持配置多执行期地址;
551
 - 3、【重要】在 “调度中心” 支持HA的基础上,扩展执行器的Failover支持,支持配置多执行期地址;
256
 
552
 
257
-#### 4.6 版本 V1.4.0 新特性
553
+#### 6.6 版本 V1.4.0 新特性
258
 - 1、执行器底层实现代码进行重度重构, 优化底层建表脚本;
554
 - 1、执行器底层实现代码进行重度重构, 优化底层建表脚本;
259
 - 2、执行器中任务线程分组逻辑优化: 之前根据执行器JobHandler进行线程分组,当多个任务复用Jobhanlder会导致相互阻塞。现改为根据调度中心任务进行任务线程分组,任务与任务执行相互隔离;
555
 - 2、执行器中任务线程分组逻辑优化: 之前根据执行器JobHandler进行线程分组,当多个任务复用Jobhanlder会导致相互阻塞。现改为根据调度中心任务进行任务线程分组,任务与任务执行相互隔离;
260
 - 3、执行器调度通讯方案优化, 通过Hex + HC实现建议RPC通讯协议, 优化了通讯参数的维护和解析流程;
556
 - 3、执行器调度通讯方案优化, 通过Hex + HC实现建议RPC通讯协议, 优化了通讯参数的维护和解析流程;
271
 
567
 
272
 Tips: 历史版本(V1.3.x)目前已经Release至稳定版本, 进入维护阶段, 地址见分支 [V1.3](https://github.com/xuxueli/xxl-job/tree/v1.3) 。新特性将会在master分支持续更新。
568
 Tips: 历史版本(V1.3.x)目前已经Release至稳定版本, 进入维护阶段, 地址见分支 [V1.3](https://github.com/xuxueli/xxl-job/tree/v1.3) 。新特性将会在master分支持续更新。
273
 
569
 
570
+
274
 #### 规划中
571
 #### 规划中
275
 - 1、任务依赖: 通过事件触发方式实现, 任务执行成功并回调SUCCESS时, 会主动触发一次依赖任务的调度;
572
 - 1、任务依赖: 通过事件触发方式实现, 任务执行成功并回调SUCCESS时, 会主动触发一次依赖任务的调度;
276
 - 2、任务执行规则自定义:假如前一个任务正在执行,后续调度执行规则支持自定义;
573
 - 2、任务执行规则自定义:假如前一个任务正在执行,后续调度执行规则支持自定义;
279
 		Pass:后续调度被Pass;
576
 		Pass:后续调度被Pass;
280
 - 3、兼容oracle;
577
 - 3、兼容oracle;
281
 
578
 
579
+
580
+## 七、其他
581
+
582
+#### 7.1 报告问题
583
+XXL-JOB托管在Github上,如有问题可在 [ISSUES](https://github.com/xuxueli/xxl-job/issues/) 上提问,也可以加入技术交流群(仅作技术交流):367260654
584
+
585
+#### 7.2 接入登记
586
+更多接入公司,欢迎在github [登记](https://github.com/xuxueli/xxl-job/issues/1 ) 

+ 0 - 509
doc/XXL-JOB-1.4.x用户手册.md Visa fil

1
-# 《分布式任务调度平台XXL-JOB》(V1.4.x用户手册)
2
-## 一、简介
3
-
4
-#### 1.1 概述
5
-XXL-JOB是一个轻量级分布式任务调度框架,其核心设计目标是开发迅速、学习简单、轻量级、易扩展。现已开放源代码并接入多家公司线上产品线,开箱即用。
6
-
7
-#### 1.2 特性
8
-- 1、简单:支持通过Web页面对任务进行CRUD操作,操作简单,一分钟上手;
9
-- 2、动态:支持动态修改任务状态、暂停/恢复任务,以及终止运行中任务,即时生效;
10
-- 3、调度HA:“调度中心”基于集群Quartz实现,可保证调度中心HA;
11
-- 4、任务HA:任务支持多地址配置,可保证任务执行HA;
12
-- 5、任务Failover:多地址配置时,调度失败时将会平滑切换执行器进行Failover;
13
-- 6、一致性:“调度中心”通过DB锁保证集群分布式调度的一致性;
14
-- 7、自定义任务参数:支持在线配置调度任务入参,即时生效;
15
-- 8、调度线程池:调度系统多线程触发调度运行,确保调度精确执行,不被堵塞;
16
-- 9、执行日志:支持在线查看调度结果,并且查看完整的执行日志;
17
-- 10、邮件报警:任务失败时支持邮件报警,支持配置多邮件地址群发报警邮件;
18
-- 11、支持登录验证;
19
-- 12、GLUE:提供Web IDE,支持在线开发任务逻辑代码,动态发布,实时编译生效,省略部署上线的过程。支持30个版本的历史版本回溯。
20
-
21
-#### 1.3 发展
22
-于2015年中,我在github上创建XXL-JOB项目仓库并提交第一个commit,随之进行系统结构设计,UI选型,交互设计……
23
-
24
-于2015-11月,XXL-JOB终于REALEASE了第一个大版本V1.0, 随后我将之发布到OSCHINA,XXL-JOB在OSCHINA上获得了@红薯的热门推荐,同期分别达到了OSCHINA的“热门动弹”排行第一和git.oschina的开源软件月热度排行第一,在此特别感谢红薯,感谢大家的关注和支持。
25
-
26
-于2015-12月,我将XXL-JOB发表到我司内部知识库,并且得到内部同事认可。
27
-
28
-于2016-01月我司展开XXL-JOB的内部接入和定制工作,在此感谢袁某和尹某两位同事的贡献,同时也感谢内部其他给与关注与支持的同事。
29
-
30
-**我司大众点评目前已接入XXL-JOB,内部别名《Ferrari》(Ferrari基于XXL-JOB的V1.1版本定制而成,新接入应用推荐升级最新版本)**。据最新统计, 自2016-01-21接入至2016-07-20期间,该系统已调度72000余次,表现优异。新接入应用推荐使用最新版本,因为经过数个大版本的更新,系统的任务模型、UI交互模型以及底层调度通讯模型都有了较大的优化和提升,核心功能更加稳定高效。
31
-
32
-至今,XXL-JOB已接入多家公司的线上产品线,接入场景如电商业务,O2O业务和大数据作业等,截止2016-07-19为止,XXL-JOB已接入的公司包括不限于:
33
-    
34
-	- 1、大众点评;
35
-	- 2、山东学而网络科技有限公司;
36
-	- 3、安徽慧通互联科技有限公司;
37
-	- 4、人人聚财金服;
38
-	- 5、上海棠棣信息科技股份有限公司
39
-	- 6、运满满
40
-	- 7、米其林(中国区)
41
-	- 8、妈妈联盟
42
-	- ……
43
-
44
-欢迎大家的关注和使用,XXL-JOB也将拥抱变化,持续发展。
45
-
46
-#### 1.4 下载
47
-源码地址 (将会在两个git仓库同步发布最新代码)
48
-
49
-- [github地址](https://github.com/xuxueli/xxl-job)
50
-- [git.osc地址](http://git.oschina.net/xuxueli0323/xxl-job)
51
-- [用户手册地址,见源码“/doc”目录下](https://github.com/xuxueli/xxl-job/tree/master/doc)
52
-
53
-博客地址
54
-
55
-- [oschina地址](http://my.oschina.net/xuxueli/blog/690978)
56
-- [cnblogs地址](http://www.cnblogs.com/xuxueli/p/5021979.html)
57
-- [csdn地址](http://blog.csdn.net/xuxueli0323/article/details/51674330)
58
-
59
-技术交流群(仅作技术交流):367260654    [![image](http://pub.idqqimg.com/wpa/images/group.png)](http://shang.qq.com/wpa/qunwpa?idkey=4686e3fe01118445c75673a66b4cc6b2c7ce0641528205b6f403c179062b0a52 )
60
-
61
-
62
-Tips: 历史Release版本下载位置如下图所示,请自行前往进行选择和下载。
63
-
64
-![输入图片说明](https://static.oschina.net/uploads/img/201607/23221244_nq9a.png "在这里输入图片标题")
65
-
66
-#### 1.5 环境
67
-- Maven3+
68
-- Jdk1.7+
69
-- Tomcat7+
70
-- Mysql5.5+
71
-
72
-
73
-## 二、快速入门
74
-
75
-#### 2.1 初始化“调度数据库”
76
-请下载项目源码并解压,获取 "调度数据库初始化SQL脚本"(脚本文件为: 源码解压根目录\xxl-job\db\tables_xxl_job.sql) 并执行即可。
77
-
78
-正常情况下,应该生成如下图所示14张表;
79
-
80
-![输入图片说明](https://static.oschina.net/uploads/img/201607/23221308_DDW8.png "在这里输入图片标题")
81
-
82
-#### 2.2 编译源码
83
-解压源码,按照maven格式将源码导入IDE, 使用maven进行编译即可,源码结构如下图所示:
84
-
85
-
86
-![输入图片说明](https://static.oschina.net/uploads/img/201607/23222522_JGCc.png "在这里输入图片标题")
87
-
88
-- xxl-job-admin:调度中心
89
-- xxl-job-core:公共依赖
90
-- xxl-job-executor-example:执行器(可直接使用该执行器,也可以将现有项目改造成执行器使用)
91
-
92
-#### 2.3 配置部署“调度中心”
93
-调度中心项目:xxl-job-admin
94
-
95
-作用:统一管理任务调度平台上调度任务,负责触发调度执行。
96
-
97
-- **A:配置调度中心JDBC链接**:请在下图所示位置配置jdbc链接地址,链接地址请保持和 2.1章节 所创建的调度数据库的地址一致。
98
-
99
-![输入图片说明](https://static.oschina.net/uploads/img/201607/23222438_wZv9.png "在这里输入图片标题")
100
-
101
-- **B:配置报警邮箱和登陆账号**:请在下图所示位置,设置自己的报警邮件发送邮箱和登陆账号密码。
102
-
103
-![输入图片说明](https://static.oschina.net/uploads/img/201607/23223008_ArvZ.png "在这里输入图片标题")
104
-
105
-- **C:配置“调度中心”任务执行结果回调端口**:由于“调度中心”和“执行器”部署在不同项目中,“执行器”会请求该端口回调通知任务执行结果。如下图所示,默认回调服务端口号为8888。(此端口除非与现有端口冲突,可自行修改,否则可忽视)
106
-
107
-![输入图片说明](https://static.oschina.net/uploads/img/201607/23223301_I03k.png "在这里输入图片标题")
108
-
109
-**部署项目**:如果已经正确进行上述配置,可将项目编译打war包并部署到tomcat中。
110
-
111
-访问链接:http://localhost:8080/xxl-job-admin/ ,登陆界面如下图所示
112
-
113
-
114
-![输入图片说明](https://static.oschina.net/uploads/img/201607/23223648_b8Dx.png "在这里输入图片标题")
115
-
116
-至此“调度中心”项目已经部署成功。
117
-
118
-#### 2.4 配置部署“执行器项目”
119
-“执行器”项目:xxl-job-executor-example
120
-
121
-作用:负责接收“调度中心”的调度并执行;
122
-
123
-- **A:配置Jdbc链接**:请在下图所示位置配置jdbc链接地址,链接地址请保持和 2.1章节 所创建的调度数据库的地址一致。
124
-
125
-
126
-![输入图片说明](https://static.oschina.net/uploads/img/201607/23224042_MeRg.png "在这里输入图片标题")
127
-
128
-- **B:配置“执行器”端口**:由于“调度中心”和“执行器”部署在不同项目,“调度中心”会请求该端口触发任务执行。端口如下图所示,默认的“执行器”端口是9999,如果与系统现有端口冲突可自行修改,如若不冲突,可忽略。
129
-
130
-![输入图片说明](https://static.oschina.net/uploads/img/201607/23224304_0jxT.png "在这里输入图片标题")
131
-
132
-**部署项目**:如果已经正确进行上述配置,可将项目编译打war包并部署到tomcat中。
133
-
134
-至此“执行器”项目已经部署结束。
135
-
136
-#### 2.5 开发第一个任务“Hello World”
137
-本示例为新建一个“GLUE模式任务”(“GLUE模式任务”的执行代码支持托管到调度中心在线维护,相比“Bean模式任务”需要在执行器项目开发部署上线,更加简便轻量)。更多有关任务的详细配置,请查看“章节三:任务详解”。
138
-
139
-**前提:请确认“调度中心”和“执行器”项目已经成功部署并启动;**
140
-
141
-- **步骤一(新建任务)**:登陆调度中心,点击下图所示“新建任务”按钮,新建示例任务。然后,参考下面截图中任务的参数配置,点击保存。
142
-
143
-![输入图片说明](https://static.oschina.net/uploads/img/201607/23224905_MkGD.png "在这里输入图片标题")
144
-
145
-![输入图片说明](https://static.oschina.net/uploads/img/201607/23225207_GSeQ.png "在这里输入图片标题")
146
-
147
-- **步骤二(GLUE任务开发)**:请点击下图中所示“GLUE入口按钮”,进入“GLUE编辑器开发界面”,见下图。GLUE任务默认已经初始化了示例任务代码,即打印Hello World。
148
-(GLUE实际上是一段继承自IJobHandler的Java类代码,它在执行器项目中运行,可使用@Resource/@Autowire注入执行器里中的其他服务,详细介绍请查看第三章节)
149
-
150
-
151
-![输入图片说明](https://static.oschina.net/uploads/img/201607/23225310_RYby.png "在这里输入图片标题")
152
-
153
-
154
-![输入图片说明](https://static.oschina.net/uploads/img/201607/23225327_Y1cn.png "在这里输入图片标题")
155
-
156
-- **步骤三(触发执行)**:点击下图所示“执行”按钮,可手动触发一次任务执行(通常情况下,通过配置Cron表达式进行任务调度出发)。
157
-
158
-
159
-![输入图片说明](https://static.oschina.net/uploads/img/201607/23225653_iY9K.png "在这里输入图片标题")
160
-
161
-- **步骤四(查看日志)**:
162
-点击图2.5F所示“日志”按钮,可前往任务日志界面查看任务日志。
163
-在如图2.5G的任务日志界面中,可查看任务调度状态,执行器接收到调度请求后的执行状态。
164
-同时,点击如图2.5G中的“执行日志”按钮,可以查看本此调度在执行器端的完整执行日志,完整执行日志如图2.5H。
165
-
166
-
167
-![输入图片说明](https://static.oschina.net/uploads/img/201607/23225953_7ey7.png "在这里输入图片标题")
168
-(图2.5F:“调度中心”管理管理界面,任务日志入口)
169
-
170
-
171
-![输入图片说明](https://static.oschina.net/uploads/img/201607/23230953_BFVV.png "在这里输入图片标题")
172
-(图2.5G:“调度中心”管理管理界面,任务日志入口)
173
-
174
-
175
-![输入图片说明](https://static.oschina.net/uploads/img/201607/23230416_2cLu.png "在这里输入图片标题")
176
-(图2.5H:“调度中心”管理管理界面,任务日志入口)
177
-
178
-## 三、任务详解
179
-
180
-**配置属性详细说明:**
181
-    - 任务组:任务的分组,便于任务管理;
182
-    - 描述:任务的描述信息,便于任务管理;
183
-    - 执行器地址:执行器接受任务调度的地址,格式为“IP:Port”,支持配置多个地址进行Failover,当存在多个地址时用逗号分隔,格式为“IP1:Port,IP2:Port...”
184
-    - Cron:触发任务执行的Cron表达式;
185
-    - JobHandler + GLUE复选框:
186
-        BEAN模式任务:不选中GLUE复选框,JobHandler输入框为必填项,需要输入该任务对应的JobHandler的名称,即执行器中新开发的JobHandler类“@JobHander”注解自定义的value值;
187
-        GLUE模式任务:选中GLUE复选框,JobHandler输入框被禁用,不必输入,因为此时任务逻辑维护在线上。
188
-    - 执行参数:任务执行所需的参数,多个参数时用逗号分隔,任务执行时将会把多个参数抓换成数组传入;
189
-    - 报警邮件:任务调度失败时邮件通知的邮箱地址,支持配置多邮箱地址,配置多个邮箱地址时用逗号分隔;
190
-    - 负责人:任务的负责人;
191
-
192
-#### 3.1 BEAN模式任务
193
-Bean模式任务:任务逻辑以JobHandler的形式存在于“执行器”所在项目中,开发流程如下:
194
-
195
-- **步骤一:执行器项目中,开发JobHandler**:
196
-    - 1、 新建一个继承com.xxl.job.core.handler.IJobHandler的Java类;
197
-    - 2、 该类被Spring容器扫描为Bean实例,如加“@Service注解”;
198
-    - 3、 添加 “@JobHander(value="自定义jobhandler名称")”注解,注解的value值为自定义的JobHandler名称,该名称对应的是调度中心新建任务的JobHandler属性的值。
199
-    (可参考xxl-job-executor-example项目中的DemoJobHandler,见下图)
200
-
201
-![输入图片说明](https://static.oschina.net/uploads/img/201607/23232347_oLlM.png "在这里输入图片标题")
202
-
203
-- **步骤二:调度中心,新建调度任务并配置(BEAN模式)**,
204
-
205
-参考上文“配置属性详细说明”对新建的任务进行参数配置,需要注意的是“JobHandler + GLUE复选框”任务属性,需要按照“GLUE模式”任务进行配置;
206
-
207
-![输入图片说明](https://static.oschina.net/uploads/img/201607/23225207_GSeQ.png "在这里输入图片标题")
208
-
209
-#### 3.2 GLUE模式任务
210
-GLUE模式任务:任务逻辑以GLUE代码的形式存储在DB中,支持通过Web IDE在线更新,实时编译和生效,因此不需要指定JobHandler。开发流程如下:
211
-
212
-- **步骤一:调度中心,新建调度任务并配置(GLUE模式)**:
213
-
214
-参考上文“配置属性详细说明”对新建的任务进行参数配置,需要注意的是“JobHandler + GLUE复选框”任务属性,需要按照“GLUE模式”任务进行配置;
215
-
216
-![输入图片说明](https://static.oschina.net/uploads/img/201607/24123029_GqMy.png "在这里输入图片标题")
217
-
218
-- **步骤二:开发GLUE代码**:
219
-选中指定任务,点击该任务右侧“GLUE”按钮(仅GLUE模式任务支持),将会前往GLUE任务的Web IDE界面,在该界面支持对任务代码进行开发(当然也可以在IDE中开发完成后,复制粘贴到编辑中),可使用@Resource或@Autoward注解注入“执行器”项目中的Spring服务;
220
-
221
-版本回溯功能(支持30个版本的版本回溯):可参考下图,选择下拉框“版本回溯”,会列出该GLUE的更新历史,选择相应版本即可显示该版本代码,保存后GLUE代码即回退到对应的历史版本;
222
-
223
-## 四、任务管理
224
-#### 4.1 新建任务
225
-进入任务管理界面,点击“新增任务”按钮,在弹出的“新增任务”界面配置任务属性后保存即可,可参考下图:
226
-
227
-![输入图片说明](https://static.oschina.net/uploads/img/201607/24123920_b9UQ.png "在这里输入图片标题")
228
-
229
-![输入图片说明](https://static.oschina.net/uploads/img/201607/24124140_IxVH.png "在这里输入图片标题")
230
-
231
-#### 4.2 编辑任务
232
-进入任务管理界面,选中指定任务。点击该任务右侧“编辑”按钮,在弹出的“编辑任务”界面更新任务属性后保存即可,可参考下图:
233
-
234
-![输入图片说明](https://static.oschina.net/uploads/img/201607/24124734_UYp2.png "在这里输入图片标题")
235
-
236
-![输入图片说明](https://static.oschina.net/uploads/img/201607/24124821_FHtr.png "在这里输入图片标题")
237
-
238
-#### 4.3 编译GLUE代码
239
-
240
-该操作仅针对GLUE任务。
241
-
242
-GLUE任务开发:进入任务管理界面,选中指定任务。点击该任务右侧“GLUE”按钮(仅GLUE模式任务支持),将会前往GLUE任务的Web IDE界面,在该界面支持对任务代码进行开发(当然也可以在IDE中开发完成后,复制粘贴到编辑中)
243
-
244
-版本回溯功能(支持30个版本的版本回溯):可参考下图,选择下拉框“版本回溯”,会列出该GLUE的更新历史,选择相应版本即可显示该版本代码,保存后GLUE代码即回退到对应的历史版本;
245
-
246
-![输入图片说明](https://static.oschina.net/uploads/img/201607/24125405_tk1u.png "在这里输入图片标题")
247
-
248
-![输入图片说明](https://static.oschina.net/uploads/img/201607/24125452_qwGM.png "在这里输入图片标题")
249
-
250
-#### 4.4 暂停/恢复任务
251
-可对任务进行“暂停”和“恢复”操作。
252
-需要注意的是,此处的暂停/恢复仅针对任务的后续调度触发行为,不会影响到已经触发的调度任务,如需终止已经触发的调度任务,可查看“4.8 终止运行中的任务”
253
-
254
-![输入图片说明](https://static.oschina.net/uploads/img/201607/24130337_ZAhX.png "在这里输入图片标题")
255
-
256
-#### 4.5 手动触发一次调度
257
-点击“执行”按钮,可手动触发一次任务调度,不影响原有调度规则。
258
-
259
-![输入图片说明](https://static.oschina.net/uploads/img/201607/24133348_Z5wp.png "在这里输入图片标题")
260
-
261
-#### 4.6 查看调度日志
262
-点击“日志”按钮,可以查看任务历史调度日志。在历史调入日志界面可查看每次任务调度的调度结果、执行结果等,点击“执行日志”按钮可查看执行器完整日志。
263
-
264
-![输入图片说明](https://static.oschina.net/uploads/img/201607/24133500_9235.png "在这里输入图片标题")
265
-
266
-![输入图片说明](https://static.oschina.net/uploads/img/201607/24134148_6xpS.png "在这里输入图片标题")
267
-
268
-调度日志,针对单次调度,属性说明如下:
269
-- 执行器地址:任务执行的机器地址;
270
-- JobHandler:Bean模式表示任务执行的JobHandler名称;
271
-- 任务参数:任务执行的入参;
272
-- 调度时间:调度中心,发起调度的时间;
273
-- 调度结果:调度中心,发起调度的结果,SUCCESS或FAIL;
274
-- 调度备注:调度中心,发起调度的备注信息,如地址心跳检测日志等;
275
-- 执行时间:执行器,任务执行结束后回调的时间;
276
-- 执行结果:执行器,任务执行的结果,SUCCESS或FAIL;
277
-- 执行备注:执行器,任务执行的备注信息,如异常日志等;
278
-- 执行日志:任务执行过程中,业务代码中打印的完整执行日志,见“4.7 查看执行日志”;
279
-
280
-#### 4.7 查看执行日志
281
-点击执行日志右侧的 “执行日志” 按钮,可跳转至执行日志界面,可以查看业务代码中打印的完整日志,如下图;
282
-
283
-![输入图片说明](https://static.oschina.net/uploads/img/201607/24134243_BGuL.png "在这里输入图片标题")
284
-
285
-#### 4.8 终止运行中的任务
286
-仅针对执行中的任务。
287
-在任务日志界面,点击右侧的“终止任务”按钮,将会向本次任务对应的执行器发送任务终止请求,将会终止掉本次任务,同时会清空掉整个任务执行队列。
288
-
289
-![输入图片说明](https://static.oschina.net/uploads/img/201607/24140048_hIci.png "在这里输入图片标题")
290
-
291
-#### 4.9 删除任务
292
-点击删除按钮,可以删除对应任务。
293
-
294
-![输入图片说明](https://static.oschina.net/uploads/img/201607/24140641_Z9Qr.png "在这里输入图片标题")
295
-
296
-## 五、总体设计
297
-#### 5.1 源码目录介绍
298
-    - /doc :文档资料
299
-    - /db :“调度数据库”建表脚本
300
-    - /xxl-job-admin :调度中心,项目源码
301
-    - /xxl-job-core :公共Jar依赖
302
-    - /xxl-job-executor-example :执行器,Demo项目源码(大家可以在该项目上进行开发,也可以将现有项目改造生成执行器项目)
303
-
304
-#### 5.2 “调度数据库”配置
305
-XXL-JOB调度模块基于Quartz集群实现,其“调度数据库”是在Quartz的11张集群mysql表基础上扩展而成。
306
-
307
-XXL-JOB首先定制了Quartz原生表结构前缀(XXL_JOB_QRTZ_)。
308
-
309
-![输入图片说明](https://static.oschina.net/uploads/img/201607/24143957_bNwm.png "在这里输入图片标题")
310
-
311
-然后,在此基础上新增了三张扩展表,如下:
312
-    - XXL_JOB_QRTZ_TRIGGER_INFO:调度扩展信息表: 用于保存XXL-JOB调度任务的扩展信息,如任务分组、任务名、机器地址、执行器、执行入参和报警邮件等等;
313
-    - XXL_JOB_QRTZ_TRIGGER_LOG:调度日志表: 用于保存XXL-JOB任务调度的历史信息,如调度结果、执行结果、调度入参、调度机器和执行器等等;
314
-    - XXL_JOB_QRTZ_TRIGGER_LOGGLUE:任务GLUE日志:用于保存GLUE更新历史,用于支持GLUE的版本回溯功能;
315
-
316
-因此,XXL-JOB调度数据库共计用于14张数据库表。
317
-
318
-![输入图片说明](https://static.oschina.net/uploads/img/201607/23221308_DDW8.png "在这里输入图片标题")
319
-
320
-#### 5.3 架构设计
321
-##### 5.3.1 设计思想
322
-将调度行为抽象形成“调度中心”公共平台,而平台自身并不承担业务逻辑,“调度中心”负责发起调度请求。
323
-
324
-将任务抽象成分散的JobHandler,交由“执行器”统一管理,“执行器”负责接收调度请求并执行对应的JobHandler中业务逻辑。
325
-
326
-因此,“调度”和“任务”两部分可以相互解耦,提高系统整体稳定性和扩展性;
327
-
328
-##### 5.3.2 系统组成
329
-- **调度模块(调度中心)**:
330
-    负责管理调度信息,按照调度配置发出调度请求,自身不承担业务代码。调度系统与任务解耦,提高了系统可用性和稳定性,同时调度系统性能不再受限于任务模块;
331
-    支持可视化、简单且动态的维管理调度信息,包括任务新建,更新,删除,GLUE开发和任务报警等,所有上述操作都会实时生效,同时支持监控调度结果以及执行日志,支持执行器Failover。
332
-- **执行模块(执行器)**:
333
-    负责接收调度请求并执行任务逻辑。任务模块专注于任务的执行等操作,开发和维护更加简单和高效;
334
-    接收“调度中心”的执行请求、终止请求和日志请求等。
335
-
336
-##### 5.3.3 架构图(绘制中)
337
-![输入图片说明](https://static.oschina.net/uploads/img/201607/24144555_SUI2.png "在这里输入图片标题")
338
-
339
-#### 5.4 调度模块
340
-##### 5.4.1 RemoteHttpJobBean
341
-常规Quartz的开发,任务逻辑一般维护在QuartzJobBean中,耦合很严重。XXL-JOB中“调度模块”和“任务模块”完全解耦,调度模块中的所有调度任务使用同一个QuartzJobBean,即RemoteHttpJobBean。不同的调度任务将各自参数维护在各自扩展表数据中,当触发RemoteHttpJobBean执行时,将会解析不同的任务参数发起远程调用,调用各自的远程执行器服务。
342
-
343
-这种调用模型类似RPC调用,RemoteHttpJobBean提供调用代理的功能,而执行器提供远程服务的功能。
344
-
345
-##### 5.4.2 调度中心HA(集群)
346
-基于Quartz的集群方案,数据库选用Mysql;集群分布式并发环境中使用QUARTZ定时任务调度,会在各个节点会上报任务,存到数据库中,执行时会从数据库中取出触发器来执行,如果触发器的名称和执行时间相同,则只有一个节点去执行此任务。
347
-
348
-```
349
-# for cluster
350
-org.quartz.jobStore.tablePrefix = XXL_JOB_QRTZ_
351
-org.quartz.scheduler.instanceId: AUTO
352
-org.quartz.jobStore.class: org.quartz.impl.jdbcjobstore.JobStoreTX
353
-org.quartz.jobStore.isClustered: true
354
-org.quartz.jobStore.clusterCheckinInterval: 1000
355
-```
356
-
357
-##### 5.4.3 调度线程池
358
-默认线程池中线程的数量为10个,避免单线程因阻塞而引起任务调度延迟。
359
-
360
-```
361
-org.quartz.threadPool.class: org.quartz.simpl.SimpleThreadPool
362
-org.quartz.threadPool.threadCount: 10
363
-org.quartz.threadPool.threadPriority: 5
364
-org.quartz.threadPool.threadsInheritContextClassLoaderOfInitializingThread: true
365
-```
366
-
367
-##### 5.4.4 @DisallowConcurrentExecution
368
-XXL-JOB调度模块的“调度中心”默认不使用该注解,即默认开启并行机制,因为RemoteHttpJobBean为公共QuartzJobBean,这样在多线程调度的情况下,调度模块被阻塞的几率很低,大大提高了调度系统的承载量。
369
-
370
-XXL-JOB的每个调度任务虽然在调度模块是并行调度执行的,但是任务调度传递到任务模块的“执行器”确实串行执行的,同时支持任务终止。
371
-
372
-##### 5.4.5 misfire
373
-错过了触发时间,处理规则。
374
-可能原因:服务重启;调度线程被QuartzJobBean阻塞,线程被耗尽;某个任务启用了@DisallowConcurrentExecution,上次调度持续阻塞,下次调度被错过;
375
-
376
-quartz.properties中关于misfire的阀值配置如下,单位毫秒:
377
-```
378
-org.quartz.jobStore.misfireThreshold: 60000
379
-```
380
-
381
-Misfire规则:
382
-    withMisfireHandlingInstructionDoNothing:不触发立即执行,等待下次调度;
383
-    withMisfireHandlingInstructionIgnoreMisfires:以错过的第一个频率时间立刻开始执行;
384
-    withMisfireHandlingInstructionFireAndProceed:以当前时间为触发频率立刻触发一次执行;
385
-
386
-XXL-JOB默认misfire规则为:withMisfireHandlingInstructionDoNothing
387
-
388
-```
389
-CronScheduleBuilder cronScheduleBuilder = CronScheduleBuilder.cronSchedule(jobInfo.getJobCron()).withMisfireHandlingInstructionDoNothing();
390
-CronTrigger cronTrigger = TriggerBuilder.newTrigger().withIdentity(triggerKey).withSchedule(cronScheduleBuilder).build();
391
-```
392
-
393
-##### 5.4.6 日志回调服务
394
-调度模块的“调度中心”作为Web服务单独部署,除此之外,内部嵌入jetty服务器提供日志回调服务。
395
-
396
-“执行器”在接收到任务执行请求后,执行任务,在执行结束之后会将执行结果回调通知“调度中心”,回调端口如下图所示。
397
-
398
-![输入图片说明](https://static.oschina.net/uploads/img/201607/23223301_I03k.png "在这里输入图片标题")
399
-
400
-##### 5.4.7 任务HA(Failover)
401
-任务“执行器地址”支持配置多个,用逗号分隔,如“127.0.0.1:9998,127.0.0.1:9999”。
402
-
403
-如果任务配置多个执行器地址,当调度中心每次发起调度请求时,会按照地址配置的顺序依次对执行器发出心跳检测请求,第一个检测为存活状态的执行器将会被选定。
404
-
405
-调度成功后,可在日志监控界面查看“调度备注”,如下;
406
-![输入图片说明](https://static.oschina.net/uploads/img/201607/24150809_TNqT.png "在这里输入图片标题")
407
-
408
-“调度备注”可以查看执行器地址选择日志,任务配置的地址“227.0.0.1:9999,127.0.0.1:9999”,首先对第一个执行器地址“227.0.0.1:9999”进行心跳检测,心跳失败因此跳过;然后对第二个执行器地址“127.0.0.1:9999”进行心跳检测,心跳检测成功,选定为“目标执行器”;然后对“目标执行器”发送调度请求,调度流程结束,等待执行器回调执行结果。
409
-
410
-##### 5.4.8 调度日志
411
-调度中心每次进行任务调度,都会记录一条任务日志,任务日志主要包括以下三部分内容:
412
-
413
-- 任务信息:包括“执行器地址”、“JobHandler”和“执行参数”等属性,根据这些参数,可以精确的定位任务执行的具体机器和任务代码;
414
-- 调度信息:包括“调度时间”、“调度结果”和“调度日志”等,根据这些参数,可以了解“调度中心”发起调度请求时具体情况。
415
-- 执行信息:包括“执行时间”、“执行结果”和“执行日志”等,根据这些参数,可以了解在“执行器”端任务执行的具体情况;
416
-
417
-
418
-![输入图片说明](https://static.oschina.net/uploads/img/201607/24134148_6xpS.png "在这里输入图片标题")
419
-
420
-调度日志,针对单次调度,属性说明如下:
421
-- 执行器地址:任务执行的机器地址;
422
-- JobHandler:Bean模式表示任务执行的JobHandler名称;
423
-- 任务参数:任务执行的入参;
424
-- 调度时间:调度中心,发起调度的时间;
425
-- 调度结果:调度中心,发起调度的结果,SUCCESS或FAIL;
426
-- 调度备注:调度中心,发起调度的备注信息,如地址心跳检测日志等;
427
-- 执行时间:执行器,任务执行结束后回调的时间;
428
-- 执行结果:执行器,任务执行的结果,SUCCESS或FAIL;
429
-- 执行备注:执行器,任务执行的备注信息,如异常日志等;
430
-- 执行日志:任务执行过程中,业务代码中打印的完整执行日志,见“4.7 查看执行日志”;
431
-
432
-##### 5.4.9 quartz的不足
433
-Quartz作为开源作业调度中的佼佼者,是作业调度的首选。但是集群环境中Quartz采用API的方式对任务进行管理,从而可以避免上述问题,但是同样存在以下问题:
434
-    - 问题一:调用API的的方式操作任务,不人性化;
435
-    - 问题二:需要持久化业务QuartzJobBean到底层数据表中,系统侵入性相当严重。
436
-    - 问题三:调度逻辑和QuartzJobBean耦合在同一个项目中,这将导致一个问题,在调度任务数量逐渐增多,同时调度任务逻辑逐渐加重的情况加,此时调度系统的性能将大大受限于业务;
437
-XXL-JOB弥补了quartz的上述不足之处。
438
-
439
-#### 5.5 执行模块
440
-##### 5.5.1 Bean模式任务
441
-开发步骤:见章节三;
442
-原理:每个Bean模式任务都是一个Spring的Bean类实例,它被维护在“执行器”项目的Spring容器中。任务类需要加“@JobHander(value="名称")”注解,因为“执行器”会根据该注解识别Spring容器中的任务。任务类需要继承统一接口“IJobHandler”,任务逻辑在execute方法中开发,因为“执行器”在接收到调度中心的调度请求时,将会调用“IJobHandler”的execute方法,执行任务逻辑。
443
-
444
-##### 5.5.2 GLUE模式任务
445
-开发步骤:见章节三;
446
-原理:每个Glue任务的代码,实际上是“一个继承自“IJobHandler”的实现类的类代码”,“执行器”接收到“调度中心”的调度请求时,会通过Groovy类加载器加载此代码,实例化成Java对象,同时注入此代码中声明的Spring服务(请确保Glue代码中的服务和类引用在“执行器”项目中存在),然后调用该对象的execute方法,执行任务逻辑。
447
-
448
-##### 5.5.3 执行器
449
-执行器实际上是一个内嵌的Jetty服务器,默认端口9999。
450
-
451
-![输入图片说明](https://static.oschina.net/uploads/img/201607/23224304_0jxT.png "在这里输入图片标题")
452
-
453
-在项目启动时,执行器会通过“@JobHander”识别Spring容器中“Bean模式任务”,以注解的value属性为key管理起来。
454
-
455
-“执行器”接收到“调度中心”的调度请求时,如果任务类型为“Bean模式”,将会匹配Spring容器中的“Bean模式任务”,然后调用其execute方法,执行任务逻辑。如果任务类型为“GLUE模式”,将会加载GLue代码,实例化Java对象,注入依赖的Spring服务(注意:Glue代码中注入的Spring服务,必须存在与该“执行器”项目的Spring容器中),然后调用execute方法,执行任务逻辑。
456
-
457
-##### 5.5.4 任务日志
458
-XXL-JOB会为每次调度请求生成一个单独的日志文件,通过重写LOG4J的Appender实现,“调度中心”查看执行日志时将会加载对应的日志文件。
459
-
460
-需要注意的是,“执行器”中日志Appender上配置的包名,需要覆盖到所有任务(Bean模式 + GLUE模式)的包名,否则覆盖不到的任务将不会生成日志文件。
461
-
462
-```
463
-// 以下代码见/xxl-job/xxl-job-executor-example/src/main/resources/log4j.xml文件
464
-<appender name="xxl-job" class="com.xxl.job.core.log.XxlJobFileAppender">
465
-    <param name="filePath" value="/data/applogs/xxl-job/jobhandler/"/>
466
-    <param name="append" value="true"/>
467
-    <param name="encoding" value="UTF-8"/>
468
-    <layout class="org.apache.log4j.PatternLayout">
469
-        <param name="ConversionPattern" value="%-d{yyyy-MM-dd HH:mm:ss} [%c]-[%t]-[%M]-[%L]-[%p] %m%n"/>
470
-    </layout>
471
-</appender>
472
-...
473
-<logger name="com.xxl.job.executor.service.jobhandler" additivity="false">
474
-    <level value="INFO" />
475
-    <appender-ref ref="CONSOLE" />
476
-    <appender-ref ref="FILE" />
477
-    <appender-ref ref="xxl-job"/>
478
-</logger>
479
-```
480
-
481
-单独日志文件存放的位置可在“执行器”的log.xml文件进行自定义,默认位置为项目磁盘根目录下“/data/applogs/xxl-job/jobhandler/”;
482
-
483
-目录格式为:/data/applogs/xxl-job/jobhandler/“格式化日期”/“数据库调度日志记录的主键ID.log”。
484
-
485
-##### 5.6 通讯模块
486
- 
487
-一次完整的任务调度流程如下:
488
-- 1、“调度中心”向“执行器”发送http调度请求。如图2.4B所示。
489
-(“执行器”中接收请求的服务,实际上是一台内嵌jetty服务器,默认端口9999)
490
-- 2、“执行器”执行任务逻辑;
491
-- 3、“执行器”http回调“调度中心”调度结果;如图2.3C所示。
492
-(“调度中心”中接收回调的服务,实际上是一台内嵌jetty服务器,默认端口8888)
493
-
494
-
495
-## 六、其他
496
-#### 6.1 接入登记
497
-更多接入公司,欢迎在github [登记](https://github.com/xuxueli/xxl-job/issues/1 )。
498
-
499
-#### 6.2 报告问题
500
-XXL-JOB托管在Github上,如有问题可在 [ISSUES](https://github.com/xuxueli/xxl-job/issues/) 上提问,也可以加入技术交流群(仅作技术交流):367260654
501
-
502
-
503
-
504
-
505
-
506
-
507
-
508
-
509
-

Binär
doc/XXL-JOB1.3.x架构图_20160528_1910.pptx Visa fil