Message Streaming Platform/Kafka3 카프카 시작하기 with 명령어 (Apache Kafka Command) 카프카 설치하는 것에서부터 토픽 생성 및 이벤트 확인하는 것까지 정리해 보았다. STEP 1: GET KAFKA Download 에서 최신 버전의 Kafka를 다운로드 받는다. 1. wget을 이용하여 tgz 파일 다운로드 한다. $ wget https://downloads.apache.org/kafka/3.6.0/kafka_2.13-3.6.0.tgz 2. 다운받은 링크를 압축 해제 한다. $ tar -xzf kafka_2.13-3.6.0.tgz $ cd kafka_2.13-3.6.0 STEP 2: START THE KAFKA ENVIRONMENT ⚠️ NOTE: Java 8 이상의 버전이 설치 되어 있어야 한다. 카프카 실행 (Kafka with ZooKeeper) Apache Kafka는 ZooKee.. 2023. 10. 18. 2. 컨슈머 그룹 (Consumer Group) 보호되어 있는 글 입니다. 2022. 11. 21. 1. 카프카 컨슈머 소개 프로듀서가 전송한 데이터는 카프카 브로커에 적재된다. 컨슈머는 적재된 데이터를 사용하기 위해 브로커로부터 데이터를 가져와서 필요한 처리를 한다. 예를 들어, 마케팅 문자를 고객에게 보내는 기능이 있다면 컨슈머는 토픽으로부터 고객 데이터를 가져와서 문자 발송 처리를 하게 된다. 토픽에 데이터가 들어오면 컨슈머를 사용 - 컨슈머 애플리케이션 생성 컨슈머 애플리케이션 - 데이터베이스에 데이터를 저장한다던가 다른 애플리케이션과 통신. ex) SMS, EMAIL - Fetcher : 리더 파티션으로부터 레코드들을 미리 가져와서 대기. - poll() : Fetcher에 있는 레코드들을 리턴하는 레코드. - ConsumerRecords : 처리하고자 하는 레코드들의 모음. 오프셋이 포함되어 있음. 1. 카프카 클러.. 2022. 11. 21. 이전 1 다음 반응형
