Docker部署XXL-JOB教程

2024-11-16 1

XXL-JOB 是一个开源的分布式任务调度平台,旨在简化定时任务的管理和调度操作。其强大的功能和灵活性,使其在互联网公司和各大企业的定时任务管理中得到了广泛应用。本文将详细介绍如何在 MySQL 中创建一个专门的用户以支持 XXL-JOB,并使用 Docker 容器化方式快速部署 XXL-JOB 的管理端。

2. 环境准备

在开始部署之前,确保你已经准备好以下环境:

  • MySQL:用于存储 XXL-JOB 的调度任务和日志。

  • Docker:用于容器化部署 XXL-JOB,确保其在不同环境中快速一致地运行。

此外,还需要确保 MySQL 服务已经启动并能够接受远程连接。Docker 的安装和基础操作应当已具备,以确保后续的部署工作顺利进行。

3. 创建 MySQL 用户并授予权限

为了确保 XXL-JOB 在 MySQL 中拥有足够的权限操作调度任务数据,我们需要创建一个独立的 MySQL 用户并授予其适当的权限。

3.1 登录 MySQL

首先,使用以下命令以 root 用户身份登录到 MySQL:

1
mysql -u root -p

3.2 创建数据库

接着,创建一个专用于存储 XXL-JOB 数据的数据库:

1
CREATE DATABASE IF NOT EXISTS `xxl_job` DEFAULT CHARACTER SET utf8mb4 COLLATE utf8mb4_unicode_ci;

此步骤确保数据库使用 UTF-8 编码,以支持多语言环境下的数据存储。

在这里插入图片描述

3.3 创建用户并授予权限

为 XXL-JOB 创建一个专门的 MySQL 用户,并授予其对 xxl_job 数据库的全部操作权限:

1
2
3
CREATE USER 'xxl_job'@'%' IDENTIFIED BY 'your_password';
GRANT ALL PRIVILEGES ON xxl_job.* TO 'xxl_job'@'%';
FLUSH PRIVILEGES;

在这里,我们使用通配符 % 允许来自任何主机的连接。如果安全性要求较高,可以将其限制为特定主机。

在这里插入图片描述

3.4 初始化 XXL-JOB 数据库

XXL-JOB 提供了一套初始化 SQL 脚本,用于创建所需的数据表和初始数据。

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
85
86
87
88
89
90
91
92
93
94
95
96
97
98
99
100
101
102
103
104
105
106
107
108
109
110
111
112
113
114
115
116
use `xxl_job`;
 
SET NAMES utf8mb4;
 
CREATE TABLE `xxl_job_info` (
  `id` int(11) NOT NULL AUTO_INCREMENT,
  `job_group` int(11) NOT NULL COMMENT '执行器主键ID',
  `job_desc` varchar(255) NOT NULL,
  `add_time` datetime DEFAULT NULL,
  `update_time` datetime DEFAULT NULL,
  `author` varchar(64) DEFAULT NULL COMMENT '作者',
  `alarm_email` varchar(255) DEFAULT NULL COMMENT '报警邮件',
  `schedule_type` varchar(50) NOT NULL DEFAULT 'NONE' COMMENT '调度类型',
  `schedule_conf` varchar(128) DEFAULT NULL COMMENT '调度配置,值含义取决于调度类型',
  `misfire_strategy` varchar(50) NOT NULL DEFAULT 'DO_NOTHING' COMMENT '调度过期策略',
  `executor_route_strategy` varchar(50) DEFAULT NULL COMMENT '执行器路由策略',
  `executor_handler` varchar(255) DEFAULT NULL COMMENT '执行器任务handler',
  `executor_param` varchar(512) DEFAULT NULL COMMENT '执行器任务参数',
  `executor_block_strategy` varchar(50) DEFAULT NULL COMMENT '阻塞处理策略',
  `executor_timeout` int(11) NOT NULL DEFAULT '0' COMMENT '任务执行超时时间,单位秒',
  `executor_fail_retry_count` int(11) NOT NULL DEFAULT '0' COMMENT '失败重试次数',
  `glue_type` varchar(50) NOT NULL COMMENT 'GLUE类型',
  `glue_source` mediumtext COMMENT 'GLUE源代码',
  `glue_remark` varchar(128) DEFAULT NULL COMMENT 'GLUE备注',
  `glue_updatetime` datetime DEFAULT NULL COMMENT 'GLUE更新时间',
  `child_jobid` varchar(255) DEFAULT NULL COMMENT '子任务ID,多个逗号分隔',
  `trigger_status` tinyint(4) NOT NULL DEFAULT '0' COMMENT '调度状态:0-停止,1-运行',
  `trigger_last_time` bigint(13) NOT NULL DEFAULT '0' COMMENT '上次调度时间',
  `trigger_next_time` bigint(13) NOT NULL DEFAULT '0' COMMENT '下次调度时间',
  PRIMARY KEY (`id`)
) ENGINE=InnoDB DEFAULT CHARSET=utf8mb4;
 
CREATE TABLE `xxl_job_log` (
  `id` bigint(20) NOT NULL AUTO_INCREMENT,
  `job_group` int(11) NOT NULL COMMENT '执行器主键ID',
  `job_id` int(11) NOT NULL COMMENT '任务,主键ID',
  `executor_address` varchar(255) DEFAULT NULL COMMENT '执行器地址,本次执行的地址',
  `executor_handler` varchar(255) DEFAULT NULL COMMENT '执行器任务handler',
  `executor_param` varchar(512) DEFAULT NULL COMMENT '执行器任务参数',
  `executor_sharding_param` varchar(20) DEFAULT NULL COMMENT '执行器任务分片参数,格式如 1/2',
  `executor_fail_retry_count` int(11) NOT NULL DEFAULT '0' COMMENT '失败重试次数',
  `trigger_time` datetime DEFAULT NULL COMMENT '调度-时间',
  `trigger_code` int(11) NOT NULL COMMENT '调度-结果',
  `trigger_msg` text COMMENT '调度-日志',
  `handle_time` datetime DEFAULT NULL COMMENT '执行-时间',
  `handle_code` int(11) NOT NULL COMMENT '执行-状态',
  `handle_msg` text COMMENT '执行-日志',
  `alarm_status` tinyint(4) NOT NULL DEFAULT '0' COMMENT '告警状态:0-默认、1-无需告警、2-告警成功、3-告警失败',
  PRIMARY KEY (`id`),
  KEY `I_trigger_time` (`trigger_time`),
  KEY `I_handle_code` (`handle_code`)
) ENGINE=InnoDB DEFAULT CHARSET=utf8mb4;
 
CREATE TABLE `xxl_job_log_report` (
  `id` int(11) NOT NULL AUTO_INCREMENT,
  `trigger_day` datetime DEFAULT NULL COMMENT '调度-时间',
  `running_count` int(11) NOT NULL DEFAULT '0' COMMENT '运行中-日志数量',
  `suc_count` int(11) NOT NULL DEFAULT '0' COMMENT '执行成功-日志数量',
  `fail_count` int(11) NOT NULL DEFAULT '0' COMMENT '执行失败-日志数量',
  `update_time` datetime DEFAULT NULL,
  PRIMARY KEY (`id`),
  UNIQUE KEY `i_trigger_day` (`trigger_day`) USING BTREE
) ENGINE=InnoDB DEFAULT CHARSET=utf8mb4;
 
CREATE TABLE `xxl_job_logglue` (
  `id` int(11) NOT NULL AUTO_INCREMENT,
  `job_id` int(11) NOT NULL COMMENT '任务,主键ID',
  `glue_type` varchar(50) DEFAULT NULL COMMENT 'GLUE类型',
  `glue_source` mediumtext COMMENT 'GLUE源代码',
  `glue_remark` varchar(128) NOT NULL COMMENT 'GLUE备注',
  `add_time` datetime DEFAULT NULL,
  `update_time` datetime DEFAULT NULL,
  PRIMARY KEY (`id`)
) ENGINE=InnoDB DEFAULT CHARSET=utf8mb4;
 
CREATE TABLE `xxl_job_registry` (
  `id` int(11) NOT NULL AUTO_INCREMENT,
  `registry_group` varchar(50) NOT NULL,
  `registry_key` varchar(255) NOT NULL,
  `registry_value` varchar(255) NOT NULL,
  `update_time` datetime DEFAULT NULL,
  PRIMARY KEY (`id`),
  KEY `i_g_k_v` (`registry_group`,`registry_key`,`registry_value`)
) ENGINE=InnoDB DEFAULT CHARSET=utf8mb4;
 
CREATE TABLE `xxl_job_group` (
  `id` int(11) NOT NULL AUTO_INCREMENT,
  `app_name` varchar(64) NOT NULL COMMENT '执行器AppName',
  `title` varchar(12) NOT NULL COMMENT '执行器名称',
  `address_type` tinyint(4) NOT NULL DEFAULT '0' COMMENT '执行器地址类型:0=自动注册、1=手动录入',
  `address_list` text COMMENT '执行器地址列表,多地址逗号分隔',
  `update_time` datetime DEFAULT NULL,
  PRIMARY KEY (`id`)
) ENGINE=InnoDB DEFAULT CHARSET=utf8mb4;
 
CREATE TABLE `xxl_job_user` (
  `id` int(11) NOT NULL AUTO_INCREMENT,
  `username` varchar(50) NOT NULL COMMENT '账号',
  `password` varchar(50) NOT NULL COMMENT '密码',
  `role` tinyint(4) NOT NULL COMMENT '角色:0-普通用户、1-管理员',
  `permission` varchar(255) DEFAULT NULL COMMENT '权限:执行器ID列表,多个逗号分割',
  PRIMARY KEY (`id`),
  UNIQUE KEY `i_username` (`username`) USING BTREE
) ENGINE=InnoDB DEFAULT CHARSET=utf8mb4;
 
CREATE TABLE `xxl_job_lock` (
  `lock_name` varchar(50) NOT NULL COMMENT '锁名称',
  PRIMARY KEY (`lock_name`)
) ENGINE=InnoDB DEFAULT CHARSET=utf8mb4;
 
INSERT INTO `xxl_job_group`(`id`, `app_name`, `title`, `address_type`, `address_list`, `update_time`) VALUES (1, 'xxl-job-executor-sample', '示例执行器', 0, NULL, '2018-11-03 22:21:31' );
INSERT INTO `xxl_job_info`(`id`, `job_group`, `job_desc`, `add_time`, `update_time`, `author`, `alarm_email`, `schedule_type`, `schedule_conf`, `misfire_strategy`, `executor_route_strategy`, `executor_handler`, `executor_param`, `executor_block_strategy`, `executor_timeout`, `executor_fail_retry_count`, `glue_type`, `glue_source`, `glue_remark`, `glue_updatetime`, `child_jobid`) VALUES (1, 1, '测试任务1', '2018-11-03 22:21:31', '2018-11-03 22:21:31', 'XXL', '', 'CRON', '0 0 0 * * ? *', 'DO_NOTHING', 'FIRST', 'demoJobHandler', '', 'SERIAL_EXECUTION', 0, 0, 'BEAN', '', 'GLUE代码初始化', '2018-11-03 22:21:31', '');
INSERT INTO `xxl_job_user`(`id`, `username`, `password`, `role`, `permission`) VALUES (1, 'admin', 'e10adc3949ba59abbe56e057f20f883e', 1, NULL);
INSERT INTO `xxl_job_lock` ( `lock_name`) VALUES ( 'schedule_lock');
 
commit;

执行完这些 SQL 语句后,XXL-JOB 将拥有必要的数据结构来存储任务信息和执行日志。

在这里插入图片描述

4. 使用 Docker 部署 XXL-JOB

XXL-JOB 支持 Docker 容器化部署,使其可以快速在任何支持 Docker 的环境中运行。以下是详细的部署步骤:

4.1 拉取 XXL-JOB 镜像

首先,从 Docker Hub 拉取最新版本的 XXL-JOB 管理端镜像:

1
docker pull xuxueli/xxl-job-admin:2.4.1

确保使用的是最新版镜像,以获得最新功能和安全更新。

4.2 运行 XXL-JOB 容器

使用以下命令运行 XXL-JOB 容器:

1
2
3
mkdir -p /usr/local/docker/xxl-job/logs
 
docker run --restart=always --privileged=true -e PARAMS="--spring.datasource.username=xxl_job --spring.datasource.password=your_password --spring.datasource.url=jdbc:mysql://your_mysql_host:3306/xxl_job?useUnicode=true&characterEncoding=UTF-8&autoReconnect=true&serverTimezone=Asia/Shanghai" -p 8080:8080 -v /usr/local/docker/xxl-job/logs:/data/applogs --name xxl-job-admin -d xuxueli/xxl-job-admin:2.4.1

这里,我们使用了多种参数来确保 XXL-JOB 能够正确连接到 MySQL 数据库,并且配置了日志存储路径。

在这里插入图片描述

参数解析

  • --restart=always:确保容器在崩溃后自动重启。

  • --privileged=true:为容器赋予更多权限,避免某些受限操作失败。

  • -e PARAMS:通过环境变量传递 Spring Boot 配置项,确保数据库连接参数正确无误。

  • -p 8080:8080:将容器内部的 8080 端口映射到主机,以便外部访问。

  • -v /usr/local/docker/xxl-job/logs:/data/applogs:将主机的日志目录挂载到容器,方便日志持久化和分析。

4.3 常见问题与调试

在运行过程中,可能会遇到 MySQL 连接失败或端口冲突等问题。你可以通过以下步骤进行排查:

  • 确认 MySQL 服务正常运行,并且 Docker 容器可以访问 MySQL 服务器。

  • 检查 docker logs xxl-job-admin 输出,分析日志以排除配置错误或环境问题。

5. 配置 XXL-JOB

当容器成功运行后,你可以通过浏览器访问 http://your_server_ip:8080/xxl-job-admin 进行管理后台的配置。首次登录时,使用默认的用户名和密码:admin/123456

5.1 修改默认密码

出于安全考虑,建议立即修改默认密码。登录后进入用户管理页面,更新管理员账户的密码,避免因弱密码带来的安全风险。

5.2 配置调度中心

在 调度中心配置 页面中,设置集群信息和调度策略。你可以根据业务需求配置不同的执行策略,如并行执行、错峰执行等,以满足复杂场景下的任务调度需求。

6. 验证部署

配置完成后,你可以创建一个简单的任务来验证 XXL-JOB 是否正常工作。以下是一个快速的验证步骤:

  • 进入 XXL-JOB 管理后台。

  • 新建一个调度任务,例如每分钟执行一次的 Hello World 打印任务。

  • 观察任务执行情况,确保任务按预期时间和频率执行。

如果任务执行成功,说明 XXL-JOB 已经正确部署并可以投入生产使用。

在这里插入图片描述