일 | 월 | 화 | 수 | 목 | 금 | 토 |
---|---|---|---|---|---|---|
1 | 2 | 3 | 4 | |||
5 | 6 | 7 | 8 | 9 | 10 | 11 |
12 | 13 | 14 | 15 | 16 | 17 | 18 |
19 | 20 | 21 | 22 | 23 | 24 | 25 |
26 | 27 | 28 | 29 | 30 | 31 |
- cloudera
- Spark structured streaming
- 데이터엔지니어링
- BigData
- pyspark
- mlops
- apache spark
- kubernetes
- dataengineer
- Terraform
- redis bloom filter
- 블로그
- spark
- kafka
- 빅데이터
- Data engineering
- AWS SageMaker
- 추천시스템
- eks
- hadoop
- 빅데이터플랫폼
- Python
- 클라우데라
- DataEngineering
- 개발자
- recommendation system
- 데이터엔지니어
- 하둡에코시스템
- 하둡
- 개발자혜성
- Today
- Total
목록Data Engineering/DevOps (5)
Hyesung Oh
ADD, COPY The path must be inside the context of the build; you cannot ADD ../something /something, because the first step of a docker build is to send the context directory (and subdirectories) to the docker daemon. If is a directory, the entire contents of the directory are copied, including filesystem metadata.The directory itself is not copied, just its contents. ADD vs COPY COPY는 로컬 파일을 Con..
EKS의 권한 제어 관련해서 궁금했던게 많았던 터라 공부하면서 내 나름대로 이해한 내용을 정리해보았다. RBAC (role based access control) K&8에서 정의할 수 있는 리소스 객체들을 이용하여 접근 제어를 하는 개념이다. 아래 리소스들을 사용한다. Role RoleBinding ServiceAccount Role이 binding된 (RoleBinding을 통해) ServiceAccount를 Pod에 할당함으로서 Pod는 지정된 Role을 사용할 수 있다. 이는 ServiceAcocunt 뿐만 아니라 User에도 동일하게 적용할 수 있다. 예제를 통해 작동원리에 대해 더 자세히 이해해보자. 개발자 A(아래 그림에서 test-user)가 kubernetes 클러스터의 특정 namespa..
TroubleShooting worker failed # redash.prod.values.yaml # 워커 수 상향 조정 adhocWorker: env: QUEUES: "queries,celery,schemas,default,periodic,scheduled_queries" WORKERS_COUNT: 6 scheduledWorker: env: QUEUES: "scheduled_queries,schemas" WORKERS_COUNT: 1 browser timeout # redash.prod.values.yaml # falsk webserver(gunicorn)의 timeout 값 상향 조정 server: env: GUNICORN_CMD_ARGS: "--timeout 600" scheduling faile..
terraform import kubernetes_config_map.aws_auth kube-system/aws-auth EKS 클러스터 생성 후 사용자 역할을 추가하기 위해 aws-auth configmap를 Terraform resource로 관리하게 되었다. 참고 resource "kubernetes_config_map" "aws_auth" { data = yamldecode(local.eks_prod_aws_auth_configmap_yaml)["data"] metadata { name = "aws-auth" namespace = "kube-system" } } aws-auth configmap의 경우 EKS 클러스터가 만들어질 때 자동으로 클러스터 생성자의 IAM Role이 systemr:ma..
Terraform이란 Terraform 공식 사이트에 소개된 내용을 한번 봅시다. Terraform is an open-source infrastructure as code software tool that enables you to safely and predictably create, change, and improve infrastructure. 즉, HashiCorp사에서 만든 인프라를 HCL 이라는 언어(코드)로 관리할 수 있게 해주는 오픈소스 소프트웨어! 따라서 * HCL: HashiCorp Configuration Language. 쉽게말해, DSL (domain specific language)와 같은 것이라 보면 된다. Mechanism 크게 세 단계로 나뉜다. refresh, plan,..