XXL-JOB逻辑自测及执行参数配置踩坑
创始人
2024-02-12 10:43:56

概述

关于XXL-JOB的使用遇到的问题记录。对XXL-JOB不熟的,可以先参考分布式任务调度平台XXL-JOB深度实战

实战

业务DTO定义如下:

@Data
public class AdAccountDTO {private String accountId;/*** yyyy-MM-dd HH:mm:ss*/private String startCreateTime;private String endCreateTime;
}

JobHandler定义如下:

@Slf4j
@Service
@JobHander(value = "accountDependBindJobHandler")
public class AccountDependBindJobHandler extends IJobHandler {@Resourceprivate BaseService accountDependBindService;@Overridepublic ReturnT execute(String... params) {try {log.info("accountDependBindJobHandler begin");AdAccountDTO account = new AdAccountDTO();account.setCreatorName("system");// 32行if (params.length > 0) {account.setStartCreateTime(params[0]);}if (params.length > 1) {// 广告主account.setAccountId(params[1]);}if (params.length > 2) {account.setEndCreateTime(params[2]);}log.info("accountDependBindJobHandler account: {}", JSONObject.toJSONString(account));accountDependBindService.execute(account);log.info("accountDependBindJobHandler end");} catch (Exception e) {log.error("accountDependBindJobHandler fail", e);return ReturnT.FAIL;}return ReturnT.SUCCESS;}
}

业务实现类AccountDependBindService,此处仅展示部分:

@Override
protected void business(BizContextVo bizContextVo) {AdAccountDTO accountDTO = bizContextVo.getIn();String startDate = accountDTO.getStartCreateTime();String endDate = accountDTO.getEndCreateTime();boolean check = StringUtils.isNotBlank(startDate) && StringUtils.isNotBlank(endDate) &&!DateUtils.isBefore(accountDTO.getStartCreateTime(), accountDTO.getEndCreateTime());if (check) {throw new BaseException("", "时间不匹配");}// 可以兼容startDate为null,"",及" "等情况check = StringUtils.isBlank(startDate);if (check) {// 默认跑数1天accountDTO.setStartCreateTime(DateUtils.formatDate(DateUtils.addDays(new Date(), -1), DateUtils.DATE_FORMAT_YMDHMS));}check = StringUtils.isBlank(endDate);if (check) {accountDTO.setEndCreateTime(DateUtils.getCurrentTime());}log.info("accountDependBindService account: {}", JSONObject.toJSONString(accountDTO));// 根据条件查询List accountList = advertiserMapper.selectAllNewAdvertiser(accountDTO);	
}

XXL-JOB任务配置如下:
在这里插入图片描述
想要实现的效果是,如果执行参数为空,则取当前时间-24小时的数据开始同步。如果参数不为空,支持1-3个参数,第一个参数是同步开始时间,第二个是同步的账户,第三个是同步结束时间。

问题

自测

因为代码的改动都是在本地,即开发环境。本地无法直接连接到测试环境的xxl-job系统,即在测试环境的xxl-job管理界面手动执行任务时,并不能把任务下发到我的localhost:8080调试环境,不能断点调试。也许xxl-job有这个功能,但是我并不知道。 参考下面的【本地调试】章节实现方案。

想要验证job代码的逻辑,有以下3种方式:

  1. 代码提交到Git,fat环境打包部署,手动执行Job,查看日志,查看数据表,验证功能逻辑;
  2. 写一个Controller,Controller和JobHandler都是调用同一个Service业务实现类;
  3. 写一个UT,测试JobHandler的逻辑,同时还可以验证执行参数。

方式1,效率最低,得反复修改代码,反复提交,反复部署;
方式2,如果前端用不到Controller里新增的接口,或者后端开发人员也不需要借助于接口来补数据,或者同步数据,则会造成无用代码冗余;

所以我们选择方式3。在\src\test\java目录下面新增一个UT测试类:

@RunWith(SpringRunner.class)
// 指定应用启动类
@SpringBootTest(classes = WebApplication.class)
public class JobHandlerTest {@Resourceprivate AccountDependBindJobHandler accountDependBindJobHandler;@Testpublic void testAuto() {// 模拟参数为空,null的情况// accountDependBindJobHandler.execute(null);// 模拟参数为空,empty的情况// String[] params = new String[]{};// 模拟2个参数的情况String[] params = new String[]{"2022-09-26", "34343434"};accountDependBindJobHandler.execute(params);}
}

本地调试

XXL-JOB的执行器管理页如下:
在这里插入图片描述
注册方式可以是自动注册,也可以是手动注册。我们应用由于其特殊性,只能使用手动注册。参考分布式任务调度平台XXL-JOB深度实战执行器章节。

我们不可能在本地搭建一套XXL-JOB管理平台,即:http://dev-xxljob.johnny.com/jobgroup。公司搭建有fat环境的一套平台:http://fat-xxljob.johnny.com/jobgroup。能不能通过fat-xxl-job来调度执行我们本地的代码,当然可以!

编辑执行器,修改机器地址,指向我的本机IP:
在这里插入图片描述
然后在页面点击执行任务,任务详情如下:
在这里插入图片描述
然后请求确实打到本地,停在断点处:
在这里插入图片描述
这个截图也说明,如果执行参数为空时,params参数是null,而不是空字符串。

注意:不能启动web应用!!!

参考上面的文章,那篇文章提到,这里再说明下:web应用模块用于把任务注册同步到XXL-JOB平台,里面没有这个JobHandler类;dataset才是JobHandler所在的应用模块,这也是为什么不能使用自动注册方式。

事实上,如果同时启动web和dataset两个应用模块。在XXL-JOB页面点击执行任务,会概率性出现调度失败的报错:
在这里插入图片描述
点击查看调度备注:
在这里插入图片描述
报错:找不到JobHandler。

执行参数配置

参考上面的UT类,模拟5种情况:

  1. 参数为null
  2. 参数为空字符串
  3. 1个参数
  4. 2个参数,多个参数直接使用英文逗号分隔
  5. 3个参数

情况1自测下来会有报错:

ERROR c.p.c.p.s.AccountDependBindJobHandler - accountDependBindJobHandler fail
java.lang.NullPointerException: nullat com.johnny.cbd.platform.scheduled.AccountDependBindJobHandler.execute$original$Iu6X8Nnv(AccountDependBindJobHandler.java:32)at com.johnny.cbd.platform.scheduled.AccountDependBindJobHandler.execute$original$Iu6X8Nnv$accessor$aikoAyrI(AccountDependBindJobHandler.java)at com.johnny.cbd.platform.scheduled.AccountDependBindJobHandler$auxiliary$HcNstxGt.call(Unknown Source)at org.apache.skywalking.apm.agent.core.plugin.interceptor.enhance.InstMethodsInter.intercept(InstMethodsInter.java:86)at com.johnny.cbd.platform.scheduled.AccountDependBindJobHandler.execute(AccountDependBindJobHandler.java)at com.johnny.job.core.thread.JobThread.run(JobThread.java:141)

代码优化如下:

if (params != null && params.length > 0) {account.setStartCreateTime(params[0]);
}
if (params != null && params.length > 1) {account.setAccountId(params[1]);
}
if (params != null && params.length > 2) {account.setEndCreateTime(params[2]);
}

XXL-JOB页面参数配置如果为空,就是上面的情况1,参考上面章节截图。

XXL-JOB页面参数能实现参数配置为空字符串吗?答案是:不能!!
在这里插入图片描述
在这里插入图片描述
当然改成双引号也不行!!!

改成双引号后,应用打印的日志:

INFO c.p.c.p.s.AccountDependBindJobHandler - accountDependBindJobHandler account: {"creatorName":"system","needPage":true,"offset":10,"pageSize":10,"start":0,"startCreateTime":"\"\""}

默认以当前时间为截至时间:

INFO c.p.c.p.s.a.AccountDependBindServiceImpl - accountDependBindService account: {"creatorName":"system","endCreateTime":"2022-09-26 13:00:20","needPage":true,"offset":10,"pageIndex":1,"pageSize":10,"start":0,"startCreateTime":"\"\""} 

前面没有提到mapper.xml方法:


满足if条件:startCreateTime != null,拼接得到的SQL为:

SELECT advertiser_id accountId, 4 as type FROM channel_advertiser_id WHERE isactive = 1 and advertiser_id = '1740858985811982' and insert_time >= '""'

有日志为证:

2022-09-26 16:42:53,603 [main] DEBUG c.p.c.b.d.C.selectAllNewAdvertiser- ==>  Preparing: SELECT advertiser_id accountId, 4 as type FROM channel_advertiser_id WHERE isactive = 1 and status = ? AND advertiser_id = ? AND insert_time >= ? AND insert_time <= ? 
2022-09-26 16:42:53,827 [main] DEBUG c.p.c.b.d.C.selectAllNewAdvertiser- ==> Parameters: 1(Integer), 1740858985811982(String), ""(String), 2022-09-26 16:42:49(String)
2022-09-26 16:42:53,977 [main] DEBUG c.p.c.b.d.C.selectAllNewAdvertiser- <==      Total: 8

截图为证:
在这里插入图片描述
也就是说,我们在DataGrip上面看到虽然有Incorrect datetime value问题,但是MySQL会做隐式转换,还是可以查询出结果来。

注,MySQL版本:5.7.29-32-log。

另外3种参数配置case,没啥好说的。

相关内容

热门资讯

埃菲尔铁塔在哪 中国仿建埃菲尔... 2019年4月26日,广西南宁市,街头惊现一座巨型山寨版埃菲尔铁塔,高约20米,白色塔身,造型逼真,...
苗族的传统节日 贵州苗族节日有... 【岜沙苗族芦笙节】岜沙,苗语叫“分送”,距从江县城7.5公里,是世界上最崇拜树木并以树为神的枪手部落...
北京的名胜古迹 北京最著名的景... 北京从元代开始,逐渐走上帝国首都的道路,先是成为大辽朝五大首都之一的南京城,随着金灭辽,金代从海陵王...
长白山自助游攻略 吉林长白山游... 昨天介绍了西坡的景点详细请看链接:一个人的旅行,据说能看到长白山天池全凭运气,您的运气如何?今日介绍...
应用未安装解决办法 平板应用未... ---IT小技术,每天Get一个小技能!一、前言描述苹果IPad2居然不能安装怎么办?与此IPad不...
脚上的穴位图 脚面经络图对应的... 人体穴位作用图解大全更清晰直观的标注了各个人体穴位的作用,包括头部穴位图、胸部穴位图、背部穴位图、胳...
demo什么意思 demo版本... 618快到了,各位的小金库大概也在准备开闸放水了吧。没有小金库的,也该向老婆撒娇卖萌服个软了,一切只...
猫咪吃了塑料袋怎么办 猫咪误食... 你知道吗?塑料袋放久了会长猫哦!要说猫咪对塑料袋的喜爱程度完完全全可以媲美纸箱家里只要一有塑料袋的响...
世界上最漂亮的人 世界上最漂亮... 此前在某网上,选出了全球265万颜值姣好的女性。从这些数量庞大的女性群体中,人们投票选出了心目中最美...
埃菲尔铁塔在哪 中国仿建埃菲尔... 2019年4月26日,广西南宁市,街头惊现一座巨型山寨版埃菲尔铁塔,高约20米,白色塔身,造型逼真,...
苗族的传统节日 贵州苗族节日有... 【岜沙苗族芦笙节】岜沙,苗语叫“分送”,距从江县城7.5公里,是世界上最崇拜树木并以树为神的枪手部落...
北京的名胜古迹 北京最著名的景... 北京从元代开始,逐渐走上帝国首都的道路,先是成为大辽朝五大首都之一的南京城,随着金灭辽,金代从海陵王...
应用未安装解决办法 平板应用未... ---IT小技术,每天Get一个小技能!一、前言描述苹果IPad2居然不能安装怎么办?与此IPad不...