Note
今天是忙碌的一天
一整天都在处理现网事故、补告警和开复盘会。
今天是忙碌的一天
早上还没出门就因为一个现网事故被拉上会,这个问题还挺严重的,然后一整天都在处理这个事情
会上几十个人定位一个问题,我也跑来跑去
上午一直搞到 12 点半往后,leader 们还在开会,我和 hector 顶不住先去吃饭了
下午加告警折腾开开始开初步复盘,从 4 点开到 6 点多
然后会上直接说的就很尖锐哈哈哈
这个问题的根源是 Pulsar 这个 MQ 有个机制,就是某一条消息没有 ack,即使后面的 ack 了,还是当做没有被消费,后面的消息也会留存在 mq 中
消费者收到了非预期的消息,没有 ack 而是直接丢弃,导致后面所有的消息都堆积到 mq 里,mq 拒绝写入导致服务挂了
忙碌一天吧,其他事情一点没干
晚上没吃饭一直干到 7 点多直接下班回家