Notice
Recent Posts
Recent Comments
Link
일 | 월 | 화 | 수 | 목 | 금 | 토 |
---|---|---|---|---|---|---|
1 | 2 | 3 | 4 | |||
5 | 6 | 7 | 8 | 9 | 10 | 11 |
12 | 13 | 14 | 15 | 16 | 17 | 18 |
19 | 20 | 21 | 22 | 23 | 24 | 25 |
26 | 27 | 28 | 29 | 30 | 31 |
Tags
- AWS
- spark
- DataEngineering
- 빅데이터플랫폼
- 데이터엔지니어
- Spark structured streaming
- Terraform
- hadoop
- 하둡
- dataengineer
- scala
- 개발자
- 스파크
- Python
- kafka
- apache spark
- hdfs
- cloudera
- Data engineering
- 하둡에코시스템
- 블로그
- 개발자혜성
- 클라우데라
- eks
- 빅데이터
- kubernetes
- 데이터엔지니어링
- IT블로그
- BigData
- pyspark
Archives
- Today
- Total
목록nvida device plugin (1)
Hyesung Oh
Nvidia Container Toolkit, Nvidia device plugin에 대해 알아봅시다. feat. CRI, CDI
개요 현재 팀의 Machine Learning 파이프라인의 모델 학습 워크로드는 아래와 같은 컴포넌트들로 구성되어있습니다. 출처: https://docs.nvidia.com/datacenter/cloud-native/container-toolkit/latest/index.html model.train()를 entrypoint로 하는 pod pod node의 gpu resource allocation 및 container가 사용할 device config 정보를 kubelet에 등록하는 nvidia device plugin daemonset pod container runtime 및 runc prestart hook을 통해 container에서 사용할 수 있는 device를 설정해주는 nvidia cont..
Data Engineering/MLOps
2024. 3. 30. 20:31