| 일 | 월 | 화 | 수 | 목 | 금 | 토 |
|---|---|---|---|---|---|---|
| 1 | 2 | 3 | 4 | |||
| 5 | 6 | 7 | 8 | 9 | 10 | 11 |
| 12 | 13 | 14 | 15 | 16 | 17 | 18 |
| 19 | 20 | 21 | 22 | 23 | 24 | 25 |
| 26 | 27 | 28 | 29 | 30 | 31 |
- apache spark
- redis bloom filter
- 데이터엔지니어링
- 데이터엔지니어
- mlops
- Terraform
- pyspark
- 하둡
- Spark structured streaming
- AWS SageMaker
- 개발자
- 블로그
- DataEngineering
- BigData
- hadoop
- 개발자혜성
- eks
- spark
- Python
- 하둡에코시스템
- kubernetes
- Data engineering
- recommendation system
- 클라우데라
- 빅데이터플랫폼
- 빅데이터
- cloudera
- dataengineer
- kafka
- 추천시스템
- Today
- Total
목록CDP (2)
Hyesung Oh
빅데이터 플랫폼 Pilot 프로젝트 04 feat. Cloudera Data Platform
1.사전 작업, CDP 설치 url 받아오기 □ Installer.bin 설치 URL 받아오기 a. TRY NOW 클릭 b. 개인정보 입력 c. install bin 파일 설치 url 받아옴 : https://archive.cloudera.com/cm7/7.1.3/cloudera-manager-installer.bin ISSUE : wget은 외부망이 막혀있어서 작동하지 않음 → 매니저님이 외부망 열어주심 2. 가상머신 환경 설정 □ 고정 IP할당 /etc/sysconfig/network-scripts/ifcfg-eth0 파일 수정 기본 세팅된 상태로 제공받음 □ 모든 서버 yum update 수행 a. sudo yum update -y □모든 서버 hosts 파일수정 a. sudo vi /etc/hos..
대표적인 하둡의 배포판 회사인 Cloudera 이번 포스트는 Cloudera의 새로운 서비스인 CDP에 대해 알아보고, 직접 설치해본 과정을 정리한 포스트입니다. 1.주제 CDP Trial Version Installation & Demonstration, PoC 2. 주제 선정 배경 2.1 Cloudera vs. Hortonworks : 차이점은 한 벤더를 다른 벤더보다 선택하는 결정적인 역할을하는 것입니다. Cloudera와 Hortonworks는 크게 다음과 같은 측면에서 다릅니다. Cloudera는 장기 목표가 기업 데이터 허브가되는 것이라고 발표했습니다. 따라서 데이터웨어 하우스의 필요성이 줄어 듭니다. 반면에 Hortonworks는 Hadoop 배포판의 공급 업체로 남아 있으며 데이터웨어 하우..