MySQL+canal+adapter+es数据同步方案 二、MySQL开启binlog 配置MySQL服务器，启用binlog日志功能，确保数据变化得以记录。三、MySQL配置文件 调整MySQL配置文件，确保binlog日志开启状态。四、MySQL授权canal连接 为canal连接MySQL服务器的账号分配权限，使其能作为MySQL的从服务器。五、下载canal及adapter 下载...
mysql+canal+adapter+es实现数据同步
一、版本
MySQL+canal+adapter+es数据同步方案
二、MySQL开启binlog
配置MySQL服务器，启用binlog日志功能，确保数据变化得以记录。
三、MySQL配置文件
调整MySQL配置文件，确保binlog日志开启状态。
四、MySQL授权canal连接
为canal连接MySQL服务器的账号分配权限，使其能作为MySQL的从服务器。
五、下载canal及adapter
下载并解压canal和adapter相关组件，检查目录结构。
六、canal配置文件编辑
在canal配置文件中，仅需调整关键配置项以满足同步需求。
七、启动canal
运行canal启动脚本，观察日志输出。若遇到报错，检查startup.sh脚本的-Xss参数设置，必要时调整参数。
八、adapter配置与启动
编辑adapter配置文件，确保与canal及es的映射关系正确。启动adapter后，检查日志，若未见输出，尝试调整-Xss虚拟机参数。
九、解决adapter日志问题
通过调整-Xss参数至512k，解决了adapter启动无日志问题。若依然存在问题，则考虑调整源码。
十、canal源码修改
下载canal源码，修改相关配置项，如pom.xml文件，完成重新打包与编译，替换adapter插件中的jar文件。
十一、测试与验证
在MySQL中执行数据插入操作，验证adapter日志及ES数据同步情况。针对关联表场景，进行新索引构建及数据插入，确保数据完整同步。
十二、结论
通过以上步骤，实现了MySQL数据通过canal和adapter同步至ES的目标，确保了数据的一致性与实时性。针对关联表的同步，需关注ES索引的创建与数据映射关系的正确性。2024-10-10
