添加链接
link管理
链接快照平台
  • 输入网页链接,自动生成快照
  • 标签化管理网页链接

我们有需求是将部分tidb数据同步到es,考虑使用logstash,但不能同步物理删除的数据,因此考虑到使用TiCDC进行监听删除事件,按照官方文档,我过滤了insert和update事件,但发现不生效,启动同步任务的命令如下:
image 1469×68 95.8 KB

配置文件如下:

但是实践发现并不生效。

Canal-JSON 协议本是为 MySQL 设计的,其中并不包含 TiDB 专有的 CommitTS 事务唯一标识等重要字段。为了解决这个问题,TiCDC 在 Canal-JSON 协议格式中附加了 TiDB 扩展字段。在 sink-uri 中设置 enable-tidb-extension true
TiCDC Canal-JSON Protocol | PingCAP 文档中心