浏览代码

线程优化调整

xuxueli 6 年前
父节点
当前提交
146179d384

+ 24 - 22
doc/XXL-JOB官方文档.md 查看文件

32
 - 16、任务进度监控:支持实时监控任务进度;
32
 - 16、任务进度监控:支持实时监控任务进度;
33
 - 17、Rolling实时日志:支持在线查看调度结果,并且支持以Rolling方式实时查看执行器输出的完整的执行日志;
33
 - 17、Rolling实时日志:支持在线查看调度结果,并且支持以Rolling方式实时查看执行器输出的完整的执行日志;
34
 - 18、GLUE:提供Web IDE,支持在线开发任务逻辑代码,动态发布,实时编译生效,省略部署上线的过程。支持30个版本的历史版本回溯。
34
 - 18、GLUE:提供Web IDE,支持在线开发任务逻辑代码,动态发布,实时编译生效,省略部署上线的过程。支持30个版本的历史版本回溯。
35
-- 19、脚本任务:支持以GLUE模式开发和运行脚本任务,包括Shell、Python、NodeJS等类型脚本;
35
+- 19、脚本任务:支持以GLUE模式开发和运行脚本任务,包括Shell、Python、NodeJS、PHP、PowerShell等类型脚本;
36
 - 20、任务依赖:支持配置子任务依赖,当父任务执行结束且执行成功后将会主动触发一次子任务的执行, 多个子任务用逗号分隔;
36
 - 20、任务依赖:支持配置子任务依赖,当父任务执行结束且执行成功后将会主动触发一次子任务的执行, 多个子任务用逗号分隔;
37
 - 21、一致性:“调度中心”通过DB锁保证集群分布式调度的一致性, 一次任务调度只会触发一次执行;
37
 - 21、一致性:“调度中心”通过DB锁保证集群分布式调度的一致性, 一次任务调度只会触发一次执行;
38
 - 22、自定义任务参数:支持在线配置调度任务入参,即时生效;
38
 - 22、自定义任务参数:支持在线配置调度任务入参,即时生效;
41
 - 25、邮件报警:任务失败时支持邮件报警,支持配置多邮件地址群发报警邮件;
41
 - 25、邮件报警:任务失败时支持邮件报警,支持配置多邮件地址群发报警邮件;
42
 - 26、推送maven中央仓库: 将会把最新稳定版推送到maven中央仓库, 方便用户接入和使用;
42
 - 26、推送maven中央仓库: 将会把最新稳定版推送到maven中央仓库, 方便用户接入和使用;
43
 - 27、运行报表:支持实时查看运行数据,如任务数量、调度次数、执行器数量等;以及调度报表,如调度日期分布图,调度成功分布图等;
43
 - 27、运行报表:支持实时查看运行数据,如任务数量、调度次数、执行器数量等;以及调度报表,如调度日期分布图,调度成功分布图等;
44
-- 28、全异步:系统底层实现全部异步化,针对密集调度进行流量削峰,理论上支持任意时长任务的运行;
44
+- 28、全异步:任务调度流程全异步化设计实现,如异步调度、异步运行、异步回调等,有效对密集调度进行流量削峰,理论上支持任意时长任务的运行;
45
 - 29、国际化:调度中心支持国际化设置,提供中文、英文两种可选语言,默认为中文;
45
 - 29、国际化:调度中心支持国际化设置,提供中文、英文两种可选语言,默认为中文;
46
 
46
 
47
 
47
 
456
         GLUE模式(Python):任务以源码方式维护在调度中心;该模式的任务实际上是一段 "python" 脚本;
456
         GLUE模式(Python):任务以源码方式维护在调度中心;该模式的任务实际上是一段 "python" 脚本;
457
         GLUE模式(PHP):任务以源码方式维护在调度中心;该模式的任务实际上是一段 "php" 脚本;
457
         GLUE模式(PHP):任务以源码方式维护在调度中心;该模式的任务实际上是一段 "php" 脚本;
458
         GLUE模式(NodeJS):任务以源码方式维护在调度中心;该模式的任务实际上是一段 "nodejs" 脚本;
458
         GLUE模式(NodeJS):任务以源码方式维护在调度中心;该模式的任务实际上是一段 "nodejs" 脚本;
459
+        GLUE模式(PowerShell):任务以源码方式维护在调度中心;该模式的任务实际上是一段 "PowerShell" 脚本;
459
     - JobHandler:运行模式为 "BEAN模式" 时生效,对应执行器中新开发的JobHandler类“@JobHandler”注解自定义的value值;
460
     - JobHandler:运行模式为 "BEAN模式" 时生效,对应执行器中新开发的JobHandler类“@JobHandler”注解自定义的value值;
460
-    - 执行参数:任务执行所需的参数,多个参数时用逗号分隔,任务执行时将会把多个参数转换成数组传入;
461
-    - 子任务:每个任务都拥有一个唯一的任务ID(任务ID可以从任务列表获取),当本任务执行结束并且执行成功时,将会触发子任务ID所对应的任务的一次主动调度。
462
-    - 任务超时时间:支持自定义任务超时时间,任务运行超时将会主动中断任务;
463
     - 阻塞处理策略:调度过于密集执行器来不及处理时的处理策略;
461
     - 阻塞处理策略:调度过于密集执行器来不及处理时的处理策略;
464
         单机串行(默认):调度请求进入单机执行器后,调度请求进入FIFO队列并以串行方式运行;
462
         单机串行(默认):调度请求进入单机执行器后,调度请求进入FIFO队列并以串行方式运行;
465
         丢弃后续调度:调度请求进入单机执行器后,发现执行器存在运行的调度任务,本次请求将会被丢弃并标记为失败;
463
         丢弃后续调度:调度请求进入单机执行器后,发现执行器存在运行的调度任务,本次请求将会被丢弃并标记为失败;
466
         覆盖之前调度:调度请求进入单机执行器后,发现执行器存在运行的调度任务,将会终止运行中的调度任务并清空队列,然后运行本地调度任务;
464
         覆盖之前调度:调度请求进入单机执行器后,发现执行器存在运行的调度任务,将会终止运行中的调度任务并清空队列,然后运行本地调度任务;
465
+    - 子任务:每个任务都拥有一个唯一的任务ID(任务ID可以从任务列表获取),当本任务执行结束并且执行成功时,将会触发子任务ID所对应的任务的一次主动调度。
466
+    - 任务超时时间:支持自定义任务超时时间,任务运行超时将会主动中断任务;
467
     - 失败重试次数;支持自定义任务失败重试次数,当任务失败时将会按照预设的失败重试次数主动进行重试;
467
     - 失败重试次数;支持自定义任务失败重试次数,当任务失败时将会按照预设的失败重试次数主动进行重试;
468
     - 报警邮件:任务调度失败时邮件通知的邮箱地址,支持配置多邮箱地址,配置多个邮箱地址时用逗号分隔;
468
     - 报警邮件:任务调度失败时邮件通知的邮箱地址,支持配置多邮箱地址,配置多个邮箱地址时用逗号分隔;
469
     - 负责人:任务的负责人;
469
     - 负责人:任务的负责人;
470
+    - 执行参数:任务执行所需的参数,多个参数时用逗号分隔,任务执行时将会把多个参数转换成数组传入;
470
     
471
     
471
 ### 3.1 BEAN模式
472
 ### 3.1 BEAN模式
472
 任务逻辑以JobHandler的形式存在于“执行器”所在项目中,开发流程如下:
473
 任务逻辑以JobHandler的形式存在于“执行器”所在项目中,开发流程如下:
535
 
536
 
536
 该模式的任务实际上是一段 "nodejS" 脚本;
537
 该模式的任务实际上是一段 "nodejS" 脚本;
537
 
538
 
539
+### 3.6 GLUE模式(PHP)
540
+同上
541
+
542
+### 3.7 GLUE模式(PowerShell)
543
+同上
538
 
544
 
539
 ## 四、任务管理
545
 ## 四、任务管理
540
 
546
 
724
 org.quartz.threadPool.threadsInheritContextClassLoaderOfInitializingThread: true
730
 org.quartz.threadPool.threadsInheritContextClassLoaderOfInitializingThread: true
725
 ```
731
 ```
726
 
732
 
727
-XXL-JOB系统中业务逻辑在远程执行器执行,全异步化设计,调度中心每次触发调度时仅发送一次调度请求,执行器会将请求存入执行队列并且立即响应调度中心,异步运行;相比直接在quartz的QuartzJobBean中执行业务逻辑,极大的降低了调度线程占用时间;
728
-
729
-XXL-JOB调度中心中每个JOB逻辑非常 “轻”,单个JOB一次运行平均耗时基本在 "10ms" 之内(基本为一次请求的网络开销);因此,可以保证使用有限的线程支撑大量的JOB并发运行;
730
-
731
-理论支撑任务量公式如下:
732
-
733
-    理论支撑任务量 = 线程数配置 / 平均调度频率(每秒) * 平均触发耗时(单位s)
734
-
735
-理论上采用推荐机器配置 "4核4G内存" + "配置1s运行1次密集任务" + "调度中心与执行器ping延迟10ms(0.01s)" 的情况下,
736
-
737
-    - 单线程支撑任务量  :1 / 1 * 0.01 = 100个任务
738
-    - 50个线程支撑任务量:50 / 1 * 0.01 = 5000个任务
739
-
740
-实际场景中,由于调度中心与执行器ping延迟不同、DB读写耗时不同、任务调度密集程度不同,会导致任务量上限会上下波动。
741
-
742
-如若需要支撑更多的任务量,可以通过 "调大调度线程数" 、"降低调度中心与执行器ping延迟" 和 "提升机器配置" 几种方式实现。
743
-
744
 #### 5.4.5 @DisallowConcurrentExecution
733
 #### 5.4.5 @DisallowConcurrentExecution
745
 XXL-JOB调度模块的“调度中心”默认不使用该注解,即默认开启并行机制,因为RemoteHttpJobBean为公共QuartzJobBean,这样在多线程调度的情况下,调度模块被阻塞的几率很低,大大提高了调度系统的承载量。
734
 XXL-JOB调度模块的“调度中心”默认不使用该注解,即默认开启并行机制,因为RemoteHttpJobBean为公共QuartzJobBean,这样在多线程调度的情况下,调度模块被阻塞的几率很低,大大提高了调度系统的承载量。
746
 
735
 
818
 
807
 
819
 ![输入图片说明](https://raw.githubusercontent.com/xuxueli/xxl-job/master/doc/images/img_jOAU.png "在这里输入图片标题")
808
 ![输入图片说明](https://raw.githubusercontent.com/xuxueli/xxl-job/master/doc/images/img_jOAU.png "在这里输入图片标题")
820
 
809
 
810
+#### 5.4.11  全异步化 & 轻量级
811
+
812
+- 全异步化设计:XXL-JOB系统中业务逻辑在远程执行器执行,触发流程全异步化设计。相比直接在quartz的QuartzJobBean中执行业务逻辑,极大的降低了调度线程占用时间;
813
+    - 异步调度:调度中心每次任务触发时仅发送一次调度请求,该调度请求首先推送“异步调度队列”,然后异步推送给远程执行器
814
+    - 异步执行:执行器会将请求存入“异步执行队列”并且立即响应调度中心,异步运行。
815
+- 轻量级设计:XXL-JOB调度中心中每个JOB逻辑非常 “轻”,在全异步化的基础上,单个JOB一次运行平均耗时基本在 "10ms" 之内(基本为一次请求的网络开销);因此,可以保证使用有限的线程支撑大量的JOB并发运行;
816
+
817
+得益于上述两点优化,理论上默认配置下的调度中心,单机能够支撑 5000 任务并发运行稳定运行;
818
+
819
+实际场景中,由于调度中心与执行器网络ping延迟不同、DB读写耗时不同、任务调度密集程度不同,会导致任务量上限会上下波动。
820
+
821
+如若需要支撑更多的任务量,可以通过 "调大调度线程数" 、"降低调度中心与执行器ping延迟" 和 "提升机器配置" 几种方式优化。
822
+
821
 ### 5.5 任务 "运行模式" 剖析
823
 ### 5.5 任务 "运行模式" 剖析
822
 #### 5.5.1 "Bean模式" 任务
824
 #### 5.5.1 "Bean模式" 任务
823
 开发步骤:可参考 "章节三" ;
825
 开发步骤:可参考 "章节三" ;

+ 4 - 5
xxl-job-admin/src/main/java/com/xxl/job/admin/core/thread/JobTriggerPoolHelper.java 查看文件

21
     // ---------------------- trigger pool ----------------------
21
     // ---------------------- trigger pool ----------------------
22
 
22
 
23
     private ThreadPoolExecutor triggerPool = new ThreadPoolExecutor(
23
     private ThreadPoolExecutor triggerPool = new ThreadPoolExecutor(
24
-            50,
25
-            200,
26
-            30L,
24
+            32,
25
+            256,
26
+            60L,
27
             TimeUnit.SECONDS,
27
             TimeUnit.SECONDS,
28
-            new LinkedBlockingQueue<Runnable>(1000),
29
-            new ThreadPoolExecutor.CallerRunsPolicy());
28
+            new LinkedBlockingQueue<Runnable>(1000));
30
 
29
 
31
 
30
 
32
     public void addTrigger(final int jobId, final TriggerTypeEnum triggerType, final int failRetryCount, final String executorShardingParam, final String executorParam) {
31
     public void addTrigger(final int jobId, final TriggerTypeEnum triggerType, final int failRetryCount, final String executorShardingParam, final String executorParam) {

+ 1 - 1
xxl-job-core/src/main/java/com/xxl/job/core/rpc/netcom/jetty/server/JettyServer.java 查看文件

26
 			public void run() {
26
 			public void run() {
27
 
27
 
28
 				// The Server
28
 				// The Server
29
-				server = new Server(new ExecutorThreadPool(32, 256, 60L * 1000));  // 非阻塞
29
+				server = new Server(new ExecutorThreadPool(1000));
30
 
30
 
31
 				// HTTP connector
31
 				// HTTP connector
32
 				ServerConnector connector = new ServerConnector(server);
32
 				ServerConnector connector = new ServerConnector(server);