Kafka : 윈도우에서 TOPIC 생성 및 관리, 서버 기동과 다운

1. 토픽을 만드는 명령어 kafka-topics

 

kafka-topics.bat --bootstrap-server localhost:9092 --topic second_topic --create --partitions 6 --replication-factor 1

 

  1-1 --bootstrap-server localhost:9092는 어떤 카프카 서버로 연결할지를 지정한다.

    1-1-1 주키퍼에 대한 환경변수 설정은 별도로 할 필요 없다.

  1-2 --create는 토픽을 생성하라는 명령어다. delete는 토픽을 삭제한 것이다.

    1-2-1 --alter는 토픽의 파티션수와 replica수를 설정한는데 사용할 수 있다.

 

kafka-topics.bat --bootstrap-server localhost:9092 --topic first_topic --alter --partitions 3

 

  1-3 --partitions은 생성하는 토픽에 몇개의 파티션을 만들 것인지를 지정한다.

  1-4 --replication-factor는 몇개의 복제를 카프카 전체에서 가질 것인지 지정한다.

    1-4-1 브로커 개수 이상을 만들 수는 없다.

  1-6 --topic은 토픽 이름을 지정하는데 사용한다.

  1-7 --list는 생성된 전체 토픽 이름을 보여준다. 이 명령을 사용할 때는 --topic을 사용하지 않는다.

 

kafka-topics.bat --bootstrap-server localhost:9092 --list

 

 

  1-8 상세한 토픽 정보를 보고 싶으면 --topic으로 특정 토픽을 지정한 후에 --describe를 붙이면 된다.

 

kafka-topics.bat --bootstrap-server localhost:9092 --topic first_topic --describe

 

 

  1-9 서버를 죽이는 명령

    1-9-1 카프카 서버를 죽이고 싶은 경우 아래 명령을 실행하면 된다.

 

kafka-server-stop.bat

 

    1-9-2 주키퍼 서버를 죽이고 싶은 경우도 비슷하다.

 

zookeeper-server-stop.bat

 

2. 토픽 생성 시 파티션의 수의 기본값은 1개이다. 이것을 바꾸는 방법은 server.properties에서 할 수 있다.

  2-1 config 폴더에 있는 server.properties를 열어 다음을 수정한다. num.partitions=3 이면 3개의 파티션을 생성한다.

  2-2 이렇게 하면 kafka-topics나 kafka-console-producer으로 토픽을 생성할 경우에 파티션이 3개가 생성된다.

 

# The default number of log partitions per topic. More partitions allow greater
# parallelism for consumption, but this will also result in more files across
# the brokers.
num.partitions=3