MySQL 数据表同步工具`canal`的使用

MySQL 数据表同步工具canal的使用

一、概述

在大型系统中，数据库往往扮演着至关重要的角色。而当我们需要将数据从一个数据库实例同步到另一个数据库实例时，可能会面临一些挑战。为了解决这个问题，我们可以使用 MySQL 数据库同步工具 canal。

canal 是一个开源的 MySQL 数据库日志解析框架，它可以实时监听 MySQL 数据库的二进制日志（binlog），并将解析后的数据发送到指定的目标端。通过使用 canal，我们可以轻松地实现 MySQL 数据库的异地备份、数据分发、实时数据分析等功能。

本文将详细介绍 canal 工具的使用方法，包括安装配置、启动监听、数据解析与处理等内容。

二、安装与配置

1. 安装

在开始之前，需要确保已经安装了以下依赖软件：

Java Development Kit（JDK）
MySQL 数据库

安装 canal 的步骤如下：

下载 canal 的二进制文件包（canal.deployer-x.x.x.tar.gz）；
解压二进制文件包到指定目录；
配置 canal 的相关参数，如监听端口、数据库连接信息等。

2. 配置

canal 的配置文件位于 config 目录下，主要有两个文件需要进行配置：

canal.properties：用于配置 canal 的基本参数；
instance.properties：用于配置需要监听的数据库实例。

以下是一个示例 canal.properties 文件的内容：

# canal server
canal.serverMode = tcp
canal.tcp.port = 11111

# canal MQ
canal.mq.topic = example
canal.mq.servers = 127.0.0.1:6667
canal.mq.properties ...

# ...

以下是一个示例 instance.properties 文件的内容：

# instance mode
canal.instance.mode = oracle
canal.instance.dbUsername = test
canal.instance.dbPassword = test
canal.instance.connectionCharset = UTF-8
canal.instance.tsdb.enable = false
canal.instance.gtidon = false

# ...

需要根据实际情况修改这些配置文件，并保存。

三、启动与监听

在完成安装和配置之后，即可启动 canal 并开始监听 MySQL 数据库的变化。

1. 启动

启动 canal 的方式有两种：

命令行方式：
cd 到 canal/deployer 目录，运行以下命令：
```
sh startup.sh
```
IDE 方式：
在 IDE 中导入 canal 的项目，并执行主类 com.alibaba.otter.canal.deployer.CanalLauncher。

2. 监听

当 canal 成功启动后，即可开始监听 MySQL 数据库的变化。

在配置文件中的 canal.instance.dbUsername 和 canal.instance.dbPassword 中填写正确的数据库用户名和密码后，canal 将自动监听这个数据库实例。

监听到数据库的变化后，canal 会将解析后的数据发送到指定的目标端，如消息队列或其他数据处理组件。

四、数据解析与处理

canal 监听到数据库的变化后，会将数据解析后发送给指定的目标。

以下是使用 canal 解析的数据示例：

{
  "data": [
    {
      "id": 1,
      "name": "Alice",
      "age": 25
    },
    {
      "id": 2,
      "name": "Bob",
      "age": 30
    }
  ],
  "database": "test",
  "table": "user",
  "type": "INSERT",
  "ts": 1642568065000,
  "sql": "INSERT INTO `test`.`user`(`age`, `id`, `name`) VALUES (25, 1, 'Alice')"
}

这是一个 INSERT 操作的数据解析结果，包含了数据的具体内容以及操作的数据库和数据表。

根据实际需求，我们可以对这些数据进行后续的处理，如存储到其他数据库、发送到消息队列等。