Notice
Recent Posts
Recent Comments
Link
일 | 월 | 화 | 수 | 목 | 금 | 토 |
---|---|---|---|---|---|---|
1 | ||||||
2 | 3 | 4 | 5 | 6 | 7 | 8 |
9 | 10 | 11 | 12 | 13 | 14 | 15 |
16 | 17 | 18 | 19 | 20 | 21 | 22 |
23 | 24 | 25 | 26 | 27 | 28 |
Tags
- Python
- DataEngineering
- BigData
- Terraform
- cloudera
- 개발자혜성
- mlops
- 블로그
- spark
- 하둡에코시스템
- eks
- pyspark
- kafka
- 클라우데라
- 빅데이터
- 개발자
- 하둡
- Data engineering
- 데이터엔지니어링
- kubernetes
- dataengineer
- 데이터엔지니어
- hadoop
- 추천시스템
- redis bloom filter
- AWS SageMaker
- Spark structured streaming
- 빅데이터플랫폼
- recommendation system
- apache spark
Archives
- Today
- Total
목록Kafka replication (1)
Hyesung Oh
![](http://i1.daumcdn.net/thumb/C150x150/?fname=https://blog.kakaocdn.net/dn/bPDSKe/btrDy0vf7a4/xYOXbB9clzddISZCVhdA71/img.png)
시작하기에 앞서 이번 시리즈는 고승덕님의 실전 카프카 개발부터 운영까지를 스터디하며 이해한 내용을 내 나름대로 정리한 포스팅임을 밝힌다. 양질의 저서를 출판해주신 고승덕님께 깊이 감사의 말씀을 전합니다. EDA(Event Driven Architecture)에서 Kafka는 SPOF(Single Point of Failure)가 될 수 있다. 따라서 Kafka는 물론이고 Hadoop 등의 분산 시스템에서는 애플리케이션의 HA(High Availability)를 위해 내부적으로 replication 동작을 수행하게 된다. Kafka에서 Topic 생성시 replication factor 지정은 필수이다. 그 외에도 많은 기업에선 클러스터간 미러링, 서버의 지리적 분산 등의 기본적인 조치를 취하게 된다. 분..
Data Engineering/Apache Kafka
2022. 5. 31. 08:57