[Kafka] Kafka란?

2024. 8. 19. 22:06· Operations/Kafka
목차
  1. 📌 Kafka란?
  2. 📌 이미지
  3. 📌 Kafka Connector
  4. 참고

📌 Kafka란?

pub-sub 모델의 메시지큐 방식 기반, 분산 메시징 시스템

producer는 topic에 이벤트를 게시하고, consumer는 topic을 구독해 이로부터 이벤트를 가져와 처리

  • Controller
    • 클러스터 관리: 컨트롤러는 클러스터의 메타데이터를 관리하고, 파티션과 리플리카의 상태를 모니터링
    • 리더 선출: 컨트롤러는 파티션의 리더 브로커를 선출
    • 파티션 재할당: 필요에 따라 파티션을 다른 브로커로 재할당
  • Broker
    • = Kafka 서버
    • 메시지 저장 및 전송: 클라이언트로부터 데이터를 받아 적절한 파티션에 저장하고, 소비자에게 메시지를 전달
    • 브로커 간 통신: 다른 브로커와 통신하여 데이터 복제와 같은 작업을 수행
    • replication-factor
      • https://ggop-n.tistory.com/91
      • https://www.popit.kr/kafka-운영자가-말하는-topic-replication/
      • Kafka 클러스터 broker 서버들에 총 몇개 topic 있을건지? → 안정성
      • ISR (In Sync Replication)
    • partitions
      • 개별 broker 당 몇개의 통로 ? → 병렬처리

 

 

📌 이미지

https://hub.docker.com/r/apache/kafka

  • Kafka 3.0.0부터 KRaft모드를 지원 해서 Zookeeper 없이 Kafka를 동작
  • https://www.c-sharpcorner.com/article/apache-kafka-without-zookeeper/
  • https://kafka.apache.org/documentation/#kraft
  • https://kafka.apache.org/documentation/#zk_depr

 

📌 Kafka Connector

Debezium

https://debezium.io/documentation/reference/stable/connectors/mariadb.html

https://code-run.tistory.com/39

Change Data Capture(CDC) 도구

데이터베이스의 변화를 실시간으로 감지하여 Kafka와 같은 다른 시스템으로 스트리밍하는 역할

 

 

참고

https://kafka.apache.org/

https://gruuuuu.github.io/integration/kafka-concept/

https://always-kimkim.tistory.com/entry/kafka101-message-topic-partition

https://velog.io/@holicme7/Apache-Kafka-카프카란-무엇인가

 

 

저작자표시 비영리 (새창열림)

'Operations > Kafka' 카테고리의 다른 글

[Kafka] Docker로 Kafka 구축  (0) 2024.08.19
  1. 📌 Kafka란?
  2. 📌 이미지
  3. 📌 Kafka Connector
  4. 참고
'Operations/Kafka' 카테고리의 다른 글
  • [Kafka] Docker로 Kafka 구축
혬수
혬수
혬수
수리수리 마수리
혬수
전체
오늘
어제

블로그 메뉴

  • 🏡 Home
  • 🏷️ Tag
  • Github
  • 분류 전체보기 (52)
    • Infra (8)
      • Kubernetes (5)
      • AWS (3)
    • Operations (11)
      • Docker (1)
      • ArgoCD (2)
      • Flux (1)
      • Kafka (2)
      • Keycloak (3)
    • Testing (3)
      • Jest (0)
      • Postman (1)
    • Language (5)
      • JavaScript (5)
      • TypeScript (0)
    • Framework (16)
      • React (1)
      • React Native (15)
    • KakaoTech_Bootcamp (4)
      • Weekly Scrum (3)
      • 회고 (1)
    • Etc (5)
      • Git (1)
      • MacOS (4)

인기 글

hELLO · Designed By 정상우.v4.2.2
혬수
[Kafka] Kafka란?
상단으로

티스토리툴바

개인정보

  • 티스토리 홈
  • 포럼
  • 로그인

단축키

내 블로그

내 블로그 - 관리자 홈 전환
Q
Q
새 글 쓰기
W
W

블로그 게시글

글 수정 (권한 있는 경우)
E
E
댓글 영역으로 이동
C
C

모든 영역

이 페이지의 URL 복사
S
S
맨 위로 이동
T
T
티스토리 홈 이동
H
H
단축키 안내
Shift + /
⇧ + /

* 단축키는 한글/영문 대소문자로 이용 가능하며, 티스토리 기본 도메인에서만 동작합니다.