Notice
Recent Posts
Recent Comments
Link
일 | 월 | 화 | 수 | 목 | 금 | 토 |
---|---|---|---|---|---|---|
1 | 2 | 3 | ||||
4 | 5 | 6 | 7 | 8 | 9 | 10 |
11 | 12 | 13 | 14 | 15 | 16 | 17 |
18 | 19 | 20 | 21 | 22 | 23 | 24 |
25 | 26 | 27 | 28 | 29 | 30 | 31 |
Tags
- Data engineering
- 빅데이터
- mlops
- 개발자혜성
- recommendation system
- 데이터엔지니어
- AWS SageMaker
- 블로그
- dataengineer
- BigData
- hadoop
- 개발자
- 빅데이터플랫폼
- cloudera
- 클라우데라
- 하둡에코시스템
- eks
- pyspark
- 하둡
- redis bloom filter
- Python
- spark
- 데이터엔지니어링
- kafka
- kubernetes
- 추천시스템
- Terraform
- apache spark
- Spark structured streaming
- DataEngineering
Archives
- Today
- Total
목록Kafka replication (1)
Hyesung Oh

시작하기에 앞서 이번 시리즈는 고승덕님의 실전 카프카 개발부터 운영까지를 스터디하며 이해한 내용을 내 나름대로 정리한 포스팅임을 밝힌다. 양질의 저서를 출판해주신 고승덕님께 깊이 감사의 말씀을 전합니다. EDA(Event Driven Architecture)에서 Kafka는 SPOF(Single Point of Failure)가 될 수 있다. 따라서 Kafka는 물론이고 Hadoop 등의 분산 시스템에서는 애플리케이션의 HA(High Availability)를 위해 내부적으로 replication 동작을 수행하게 된다. Kafka에서 Topic 생성시 replication factor 지정은 필수이다. 그 외에도 많은 기업에선 클러스터간 미러링, 서버의 지리적 분산 등의 기본적인 조치를 취하게 된다. 분..
Data Engineering/Apache Kafka
2022. 5. 31. 08:57