所有分类
  • 所有分类
  • 未分类

Kafka消息丢失–原因/解决方案/零丢失的配置

简介

本文介绍Kafka什么时候消息会丢失、保证消息不丢失的解决方案、消息零丢失的配置。

Kafka的消息丢失是消息异常中的一种。其他异常还有:消息重复、顺序性、消息堆积等。本文只介绍消息丢失这种消息异常。

Kafka消息在生产者、Broker、消费者 都可能丢失。

生产者丢失消息

情景1:消息太大

描述

消息大小超过Broker的message.max.bytes的值。此时Broker会直接返回错误;

解决方案 

1. 指定消息的大小

Producer的max.requests.size表示生产者发送的单个消息的最大值,也可以指单个请求中所有消息的总和大小。此值必须小于Broker的message.max.bytes。

此内容查看价格为0.8自学币立即购买,VIP免费
0

评论2

请先

  1. 设置重试次数:retries //经验值:3。默认值:整形的最大值 设置重试间隔:retry.backoff.ms //经验值:20000。默认值:100 这块一看就是机翻,而且还不对
    秋风扫落叶 2023-09-19 0
    • 这里是有点问题,已修正。经验值都是对的,默认值之前没写对。
      自学精灵 2023-09-19 1
显示验证码
没有账号?注册  忘记密码?

社交账号快速登录