kafka.common.InconsistentBrokerIdException: Configured broker.id [번호] doesn't match stored broker.id [번호] in meta.properties kafka 브로커 id 변경후 기동시 발생되는 에러인데 설정값만 바꾼다고 되는게 아니고 기본 설정의 경우 /tmp/kafka-logs 디렉토리에 meta.properties 파일이 있는데 거기에 메타 정보가 들어가 있다거기에 보면 broker.id= 값이 있는데 이걸 변경한 id 로 바꾸고 기동하면 된다 zookeeper·kafka 2020.06.28
kafka sasl 인증 사용 sasl 인증은 카프카 연결시 계정과 비번을 묻는 절차가 추가 된 버전이라고 보면된다 kafka는 기본으로 사용할경우 메시지 유입과 poll시에 사용자 인증이 없어서 아무나 접근 할 경우 데이터를 다 가져갈수도 있고 무차별 생성할 수도 있기에 sasl 인증을 사용해서 인증 처리를 추가해서 사.. zookeeper·kafka 2019.06.19
kafka manager 설정 (sasl 설정 포함) 카프카를 설치 하고 테스트를 진행하면서 데이터를 땡겨갈때 이게 현재 유입된건지 과거에 남아 있던건지 헷갈리고 설정 보기도 그렇고 모니터링의 필요성이 생겨서 모니터링 툴을 알아보니 java 베이스라서 기본적으로 jmx 가 된다 물론 java 카테고리에 jmx 관련해서도 썻지만 기본적으로 jmx는 로컬에서 보는것과 remote 가 설정이 다르다 책이나 사이트에선 kafka-server-start.sh 에 export JMX_PORT 를 적으면 된다고 하지만 로컬에서만 접근이 되고 원격지에서는 안된다 설정은 밑에 글에 jmxremote 를 참고하고 여러 참조해보니 jmx 기본에 jconsole 도 되지만 유입량이나 그런건 유추가 어렵다 그중에 야후에서 오픈으로 개발해서 git 에 올려논 카프카 매니저 란게 괸.. zookeeper·kafka 2019.02.28
kafka jmx 설정 jmxremote 설정 2.11.0 기준이며 기본적으로 kafka-server-start.sh 에 export JMX_PORT=[사용할포트] 로 지정하면 간단히 사용할 수 있다고 하는데.. localhost 만 될뿐 원격지에서는 안된다..telnet으로 포트 확인을 원격지에서 해도 오픈이 되지만 jconsole 등으로 접근을 하면 데이터를 못가져온다..java 카테고리에 jmx 언.. zookeeper·kafka 2019.02.27
kafka 원격 접속 안될때 no entry found for connection 1 zookeeper 와 kafka 를 설치 후 (kafka_2.11-2.1.0) 서버에선 정상적으로 topic 생성 및 메시지 생성 확인이 다 이루어졋다 그래서 local 의 java에서도 2점대 kafka 라이브러리를 이용해서 컨슈머에서 접속 할려고 했는데(물론 포트 확인도 다 했고) topic의 리스트는 받아오는데 poll 만 하면 no entry found for .. zookeeper·kafka 2018.12.07