Kafka : CLI에서 Consumer Group 사용하기

1. 이전 포스트에서 Consumer 사용방법을 언급할 때 이미 Consumer Group를 이야기 했다.

  1-1 그 포스트에서 3개의 파티션을 가진 first_topic에 first_group이라는 그룹이름으로 3개의 컨슈머를 생성했다.

  1-2 그런 후 하나를 죽여 2개의 컨슈머만 남겨 두었다.

 

2. 컨슈머 그룹의 관리하기 위해서는 kafka-consumer-groups라는 명령어를 사용한다.

  2-1 아래는 한 줄의 내용을 중간에서 나누어 붙인 내용이다. 

  2-2 현재 컨슈머 그룹은 first_group 하나만 존재함을 --list 옵션으로 알 수 있고

  2-3 --group옵션으로 해당 그룹을 선택하고 --describe 옵션을 통해 해당 그룹의 상태를 알 수 있다.

    2-3-1 아래를 보통 그룹 first_group는 first_topic에 연결되어 있고 파티션은 3개가 존재한다.

    2-3-2 각 파티션에는 10개, 8개, 7개의 메시지가 있고 현재 offset은 log-end와 동일하므로 모두 읽은 것이다.

    2-3-3 만일 읽기 않은 파티션이 있다면 LAG에서 몇 개가 아직 읽혀지지 않은지를 확인할 수 있다.

  2-4 consumer-id를 보면 위의 두개는 같은 id이고 아래 하나는 다른 id를 쓰고 있다. 2개의 컨슈머를 확인할 수 있다.

  2-5 두개의 컨슈머는 1,2번 파티션은 하나의 컨슈머가 붙어서 사용하고, 3번 파티션은 다른 컨슈머가 사용한다.  

 

 

3. Offset 변경하기

  3-1 메시지를 어디까지 읽은지를 설정하는 부분이 consumer offset이다. 이것을 변경하는 명령어는 아래와 같다.

    3-1-1 그룹이름, 토픽이름을 지정하는 것은 필수이다. --reset-offsets이 있고 어떤 정책을 사용할지를 붙인다.

    3-1-2 --to-earliest는 아래를 보면 알겠지만 new-offset이 0으로 설정되어 모든 메시지를 다시 읽을 수 있다.

    3-1-3 아래의 consumer를 붙여보면 처음부터 다시 읽고 있음을 알 수 있다.

kafka-consumer-groups.bat --bootstrap-server localhost:9092 --group first_group --topic first_topic --reset-offsets --to-earliest --execute

 

 

  3-2 offset를 개수단위로 이동하려면 --shift-by 설정이 필요하다. 양수는 뒤로, 음수는 거슬로 올라가는 값이다.

    3-2-1 파티션 내의 2개의 메시지를 다시 읽고 싶은 경우

 

kafka-consumer-groups.bat --bootstrap-server localhost:9092 --group first_group --topic first_topic --reset-offsets --shift-by -2 --execute

    3-2-2 실행결과는 다음의 캡처로 알 수 있다.