这个问题我想只要是在做数据开发的，有一定数据实时性要求、需要做数据的增量同步的公司都会遇到。19年的时候我曾经写过一点canal的文章。现在你只要看这个文章就可以了。这篇文章是一个读者推荐给我的，原地址：https://dwz.cn/XYdYpNiI，作者：混绅士我对其中的一些内容做了修改。关系型数据库和Hadoop生态的沟通越来

点击上方蓝色字体，选择“设为星标”回复”资源“获取更多资源!(https://oscimg.oschina.net/oscnet/e532094241194c3bba44bebc85c232f5.jpg)!(https://oscimg.oschina.net/oscnet/ad98f5bc49484ab4

!(https://img2018.cnblogs.com/ibeta/1577453/201911/1577453201911091027463801995267551.png)1.准备1.1.组件JDK：1.8版本及以上；ElasticSearch：6.x版本，目前貌似不支持7.x版本；

公司是做社交相关产品的，社交类产品对搜索功能需求要求就比较高，需要根据用户城市、用户ID昵称等进行搜索。项目原先的搜索接口采用SQL查询的方式实现，数据库表采用了按城市分表的方式。但随着业务的发展，搜索接口调用频次越来越高，搜索接口压力越来越大，搜索数据库经常崩溃，从而导致搜索功能经常不能使用。!(https://oscimg.oschina.n

点击上方“中间件兴趣圈”，选择“设为星标”做积极的人，越努力越幸运！!(https://oscimg.oschina.net/oscnet/c6fd38c9376ee653af3b103bc9b8f65296c.png)(https://www.oschina.net/action/GoToLink?urlhttp%3A%2F%2Fmp.wei

背景不知道是否你还在为下面的问题而困扰：当你使用了redis或者其他中间件做缓存的时候，经常发现缓存和数据库的数据不一致，只能通过定时任务或者缓存过期的方式去做一些限制。当你使用了ES做搜索工具，使用双写的那一套方法，还在为ES和数据库不是一个事务而担忧。当你需要迁移数据的时候，也还在使用双写的方法，如果是同一个数据

点击上方“中间件兴趣圈”，选择“设为星标”做积极的人，越努力越幸运！!(https://oscimg.oschina.net/oscnet/65b1a5c3587b629c19b3685264434b69949.png)(https://www.oschina.net/action/GoToLink?urlhttp%3A%2F%2Fmp.wei

点击上方“中间件兴趣圈”，选择“设为星标”做积极的人，越努力越幸运！!(https://oscimg.oschina.net/oscnet/034e6b7d680e414332a79a68829ec542244.png)(https://www.oschina.net/action/GoToLink?urlhttp%3A%2F%2Fmp.wei

点击上方“中间件兴趣圈”，选择“设为星标”做积极的人，越努力越幸运！!(https://oscimg.oschina.net/oscnet/5e255a9fa4595f0a585dbd97af6b9315b9a.png)(https://www.oschina.net/action/GoToLink?urlhttp%3A%2F%2Fmp.wei