Canal简介及配置说明

Stella981
• 阅读 870

**1.**简介

canal是纯Java开发的,基于数据库增量日志解析,提供增量数据订阅&消费,目前主要支持了mysql。

原理相对比较简单:

    1. canal模拟mysql slave的交互协议,伪装自己为mysql slave,向mysql master发送dump协议
    1. mysql master收到dump请求,开始推送binary log给slave(也就是canal)
    1. canal解析binary log对象(原始为byte流)

如下图:

2.mysql****要求

a. 目前canal支持mysql 5.5版本以下,对mysql5.6暂不支持,(mysql4.x版本没有经过严格测试,理论上是可以兼容)

b. canal的原理是基于mysql binlog技术,所以这里一定需要开启mysql的binlog写入功能,并且配置binlog模式为row.

[mysqld]

log-bin=mysql-bin #添加这一行就ok

binlog-format=ROW #选择row模式

server_id=1 #配置mysql replaction需要定义,不能和canal的slaveId重复

下面两个配置强烈建议配置,这样可以减小binlog的大小,忽略不需要关注的库的binlog

binlog-do-db = epg #配置需要同步的库

binlog-ignore-db = mysql #配置不需要同步的库

c.  canal的原理是模拟自己为mysql slave,所以这里一定需要做为mysql slave的相关权限

CREATE USER canal IDENTIFIED BY 'canal';

GRANT SELECT, REPLICATION SLAVE, REPLICATION CLIENT ON *.* TO 'canal'@'%';

GRANT SELECT,REPLICATION SLAVE, REPLICATION CLIENT ON *.* TO canal@localhost ;

FLUSH PRIVILEGES;

针对已有的账户可通过grants查询权限:

show grants for 'canal';

**3.**部署

1. 获取发布包

访问:https://github.com/alibaba/canal/releases,会列出所有历史的发布版本包

下载方式,比如以1.0.17版本为例子:

wget https://github.com/alibaba/canal/releases/download/canal-1.0.17/canal.deployer-1.0.17.tar.gz

下载到的文件,名字不对,需要重命名,命令如下:

Mv 下载的文件 canal.deployer-1.0.17.tar.gz

2. 目录结构

解压缩发布包后,可得如下目录结构:

drwxr-xr-x 2 jianghang jianghang 136 2013-03-19 15:03 bin

drwxr-xr-x 4 jianghang jianghang 160 2013-03-19 15:03 conf

drwxr-xr-x 2 jianghang jianghang 1352 2013-03-19 15:03 lib

drwxr-xr-x 2 jianghang jianghang 48 2013-03-19 15:03 logs

3. 启动**/**停止

linux启动 :

sh startup.sh

linux停止:

sh stop.sh

几点注意:

  1. linux启动完成后,会在bin目录下生成canal.pid,stop.sh会读取canal.pid进行进程关闭

  2. startup.sh默认读取系统环境变量中的which java获得JAVA执行路径,需要设置PATH=$JAVA_HOME/bin环境变量

  3. canal的内存设置在start.sh中第75或77行,(建议将75和77行的内存设置值保持相同)如下:

**4.**配置

properties配置分为两部分:

  • canal.properties  (系统根配置文件,/conf/canal.properties)

需要关注的配置项如下:

    1. canal.port:canal server提供socket服务的端口,建议配置32121
    1. canal.instance.detecting.enable:是否开启心跳检查,建议配置true
    1. canal.instance.detecting.sql:心跳检查sql,建议配置select 1 from 目标库.目标表
    1. canal.destinations:当前server上部署的instance列表,比如需要获取epg库的表更新则可以创建一个名为epg的instance,则配置canal.destinations = epg,同时需要在/conf/下新建epg目录,并在其中创建instance.properties即可
  1. l instance.properties  (instance级别的配置文件,每个instance一份,/conf/实例名称/ instance.properties)

需要关注的配置项如下:

    1. canal.instance.mysql.slaveId:mysql集群配置中的serverId概念,需要保证在当前mysql集群中id唯一
    1. canal.instance.master.address:mysql主库链接地址,ip:端口,如:127.0.0.1:3306
    1. canal.instance.defaultDatabaseName:mysql链接时默认数据库,建议设置成需要同步的库名
    1. canal.instance.connectionCharset:mysql 数据解析编码,建议和数据库编码方式保持一致
    1. canal.instance.filter.regex:mysql 数据解析关注的表,Perl正则表达式。多个正则之间以逗号(,)分隔,转义符需要双斜杠(\\),例如只关注mysql库里的user表的更新,则配置为mysql.user
点赞
收藏
评论区
推荐文章
blmius blmius
2年前
MySQL:[Err] 1292 - Incorrect datetime value: ‘0000-00-00 00:00:00‘ for column ‘CREATE_TIME‘ at row 1
文章目录问题用navicat导入数据时,报错:原因这是因为当前的MySQL不支持datetime为0的情况。解决修改sql\mode:sql\mode:SQLMode定义了MySQL应支持的SQL语法、数据校验等,这样可以更容易地在不同的环境中使用MySQL。全局s
Jacquelyn38 Jacquelyn38
2年前
2020年前端实用代码段,为你的工作保驾护航
有空的时候,自己总结了几个代码段,在开发中也经常使用,谢谢。1、使用解构获取json数据let jsonData  id: 1,status: "OK",data: 'a', 'b';let  id, status, data: number   jsonData;console.log(id, status, number )
皕杰报表之UUID
​在我们用皕杰报表工具设计填报报表时,如何在新增行里自动增加id呢?能新增整数排序id吗?目前可以在新增行里自动增加id,但只能用uuid函数增加UUID编码,不能新增整数排序id。uuid函数说明:获取一个UUID,可以在填报表中用来创建数据ID语法:uuid()或uuid(sep)参数说明:sep布尔值,生成的uuid中是否包含分隔符'',缺省为
Stella981 Stella981
2年前
Python3:sqlalchemy对mysql数据库操作,非sql语句
Python3:sqlalchemy对mysql数据库操作,非sql语句python3authorlizmdatetime2018020110:00:00coding:utf8'''
Stella981 Stella981
2年前
KVM调整cpu和内存
一.修改kvm虚拟机的配置1、virsheditcentos7找到“memory”和“vcpu”标签,将<namecentos7</name<uuid2220a6d1a36a4fbb8523e078b3dfe795</uuid
Easter79 Easter79
2年前
Twitter的分布式自增ID算法snowflake (Java版)
概述分布式系统中,有一些需要使用全局唯一ID的场景,这种时候为了防止ID冲突可以使用36位的UUID,但是UUID有一些缺点,首先他相对比较长,另外UUID一般是无序的。有些时候我们希望能使用一种简单一些的ID,并且希望ID能够按照时间有序生成。而twitter的snowflake解决了这种需求,最初Twitter把存储系统从MySQL迁移
Wesley13 Wesley13
2年前
mysql设置时区
mysql设置时区mysql\_query("SETtime\_zone'8:00'")ordie('时区设置失败,请联系管理员!');中国在东8区所以加8方法二:selectcount(user\_id)asdevice,CONVERT\_TZ(FROM\_UNIXTIME(reg\_time),'08:00','0
Wesley13 Wesley13
2年前
MySQL部分从库上面因为大量的临时表tmp_table造成慢查询
背景描述Time:20190124T00:08:14.70572408:00User@Host:@Id:Schema:sentrymetaLast_errno:0Killed:0Query_time:0.315758Lock_
为什么mysql不推荐使用雪花ID作为主键
作者:毛辰飞背景在mysql中设计表的时候,mysql官方推荐不要使用uuid或者不连续不重复的雪花id(long形且唯一),而是推荐连续自增的主键id,官方的推荐是auto_increment,那么为什么不建议采用uuid,使用uuid究
Python进阶者 Python进阶者
3个月前
Excel中这日期老是出来00:00:00,怎么用Pandas把这个去除
大家好,我是皮皮。一、前言前几天在Python白银交流群【上海新年人】问了一个Pandas数据筛选的问题。问题如下:这日期老是出来00:00:00,怎么把这个去除。二、实现过程后来【论草莓如何成为冻干莓】给了一个思路和代码如下:pd.toexcel之前把这