Notice
Recent Posts
Recent Comments
Link
일 | 월 | 화 | 수 | 목 | 금 | 토 |
---|---|---|---|---|---|---|
1 | 2 | 3 | 4 | |||
5 | 6 | 7 | 8 | 9 | 10 | 11 |
12 | 13 | 14 | 15 | 16 | 17 | 18 |
19 | 20 | 21 | 22 | 23 | 24 | 25 |
26 | 27 | 28 | 29 | 30 | 31 |
Tags
- 하둡에코시스템
- hadoop
- hdfs
- eks
- 스파크
- 개발자
- dataengineer
- DataEngineering
- 개발자혜성
- Data engineering
- IT블로그
- Python
- 데이터엔지니어링
- scala
- 데이터엔지니어
- apache spark
- kafka
- kubernetes
- 빅데이터
- spark
- 클라우데라
- Spark structured streaming
- BigData
- AWS
- Terraform
- pyspark
- 블로그
- 빅데이터플랫폼
- cloudera
- 하둡
Archives
- Today
- Total
목록Machine Learning (1)
Hyesung Oh
Nvidia Container Toolkit, Nvidia device plugin에 대해 알아봅시다. feat. CRI, CDI
개요 현재 팀의 Machine Learning 파이프라인의 모델 학습 워크로드는 아래와 같은 컴포넌트들로 구성되어있습니다. 출처: https://docs.nvidia.com/datacenter/cloud-native/container-toolkit/latest/index.html model.train()를 entrypoint로 하는 pod pod node의 gpu resource allocation 및 container가 사용할 device config 정보를 kubelet에 등록하는 nvidia device plugin daemonset pod container runtime 및 runc prestart hook을 통해 container에서 사용할 수 있는 device를 설정해주는 nvidia cont..
Data Engineering/MLOps
2024. 3. 30. 20:31