kafka rebalance protocol
kafka consumer rebalance 란? 토픽의 파티션이 다른 consumer에게로 할당될 때 이것을 consumer rebalance라고 한다. 다음과 같은 상황에서 발생한다. consumer가 그룹을 떠날 때(leave) group에 다시 들어올 때(join) topic에 파티션이 추가될 때 기본적으로 eager rebalancing이 이뤄지면 아래와 같이 전체 consumer가 할당 받은 partition을 revoke하고 다시 할당을 받는다 이때 모든 consumer는 메시지 consuming을 중지하면서 이 기간 동안 모든 처리가 멈춘다. 이걸 stop the world 라고 부른다. 기본적으로 consumer의 partition.assignment.strategy 설정을 하지 않으면 ..
개발
2022. 12. 16. 14:30