Notice
Recent Posts
Recent Comments
Link
일 | 월 | 화 | 수 | 목 | 금 | 토 |
---|---|---|---|---|---|---|
1 | 2 | 3 | 4 | |||
5 | 6 | 7 | 8 | 9 | 10 | 11 |
12 | 13 | 14 | 15 | 16 | 17 | 18 |
19 | 20 | 21 | 22 | 23 | 24 | 25 |
26 | 27 | 28 | 29 | 30 | 31 |
Tags
- dataengineer
- Python
- scala
- 데이터엔지니어
- DataEngineering
- 스파크
- 개발자혜성
- kubernetes
- kafka
- 빅데이터
- 빅데이터플랫폼
- IT블로그
- 하둡에코시스템
- cloudera
- AWS
- Data engineering
- 하둡
- pyspark
- 클라우데라
- 데이터엔지니어링
- Terraform
- 블로그
- 개발자
- hdfs
- apache spark
- BigData
- hadoop
- Spark structured streaming
- eks
- spark
Archives
- Today
- Total
목록Kafka replication (1)
Hyesung Oh
Kafka 내부 동작 원리 이해하기 (1) Replication
시작하기에 앞서 이번 시리즈는 고승덕님의 실전 카프카 개발부터 운영까지를 스터디하며 이해한 내용을 내 나름대로 정리한 포스팅임을 밝힌다. 양질의 저서를 출판해주신 고승덕님께 깊이 감사의 말씀을 전합니다. EDA(Event Driven Architecture)에서 Kafka는 SPOF(Single Point of Failure)가 될 수 있다. 따라서 Kafka는 물론이고 Hadoop 등의 분산 시스템에서는 애플리케이션의 HA(High Availability)를 위해 내부적으로 replication 동작을 수행하게 된다. Kafka에서 Topic 생성시 replication factor 지정은 필수이다. 그 외에도 많은 기업에선 클러스터간 미러링, 서버의 지리적 분산 등의 기본적인 조치를 취하게 된다. 분..
Data Engineering/Apache Kafka
2022. 5. 31. 08:57