Skip to content

Commit

Permalink
ticdc: clarify description about compression (#17685)
Browse files Browse the repository at this point in the history
  • Loading branch information
hfxsd authored Jun 14, 2024
1 parent bb3c090 commit bc9e5cc
Showing 1 changed file with 7 additions and 3 deletions.
10 changes: 7 additions & 3 deletions ticdc/ticdc-sink-to-kafka.md
Original file line number Diff line number Diff line change
Expand Up @@ -381,12 +381,16 @@ Kafka Topic 对可以接收的消息大小有限制,该限制由 [`max.message
large-message-handle-compression = "none"
```
开启了 `large-message-handle-compression` 之后,消费者收到的消息经过特定压缩协议编码,消费者应用程序需要使用指定的压缩协议进行数据解码。
该功能和 Kafka producer 的压缩功能不同:
* `large-message-handle-compression` 中指定的压缩算法,它启用的是对单条 Kafka 消息进行压缩,并且压缩是在与消息大小限制参数比较之前进行。
* 用户可以在 `sink-uri` 中配置压缩算法,它所启用的压缩功能应用在整个发送数据请求,其中包含多条 Kafka 消息,并且压缩是在和消息大小限制参数比较之后进行的
* `large-message-handle-compression` 中指定的压缩算法是对单条 Kafka 消息进行压缩,并且压缩是在与消息大小限制参数比较之前进行。
* 你也可以同时通过 [`sink-uri`](#sink-uri-配置-kafka) 的 `compression` 参数配置压缩算法,该配置启用的压缩功能应用在整个发送数据请求,其中包含多条 Kafka 消息。
开启了 `large-message-handle-compression` 之后,消费者收到的消息经过特定压缩协议编码,消费者应用程序需要使用指定的压缩协议进行数据解码。
如果设置了 `large-message-handle-compression`,TiCDC 在收到一条消息后,先将该消息与消息大小限制参数的值进行对比,大于该消息大小限制的消息会被压缩。如果同时还设置了 [`sink-uri`](#sink-uri-配置-kafka) 的 `compression`,TiCDC 会根据 `sink-uri` 的设置,在 sink 级别再次对整个发送数据请求进行压缩。
两种压缩方法的压缩率的计算方法均为:`compression ratio = 压缩前的大小 / 压缩后的大小 * 100`
### 只发送 Handle Key
Expand Down

0 comments on commit bc9e5cc

Please sign in to comment.