| 일 | 월 | 화 | 수 | 목 | 금 | 토 |
|---|---|---|---|---|---|---|
| 1 | 2 | 3 | 4 | 5 | 6 | |
| 7 | 8 | 9 | 10 | 11 | 12 | 13 |
| 14 | 15 | 16 | 17 | 18 | 19 | 20 |
| 21 | 22 | 23 | 24 | 25 | 26 | 27 |
| 28 | 29 | 30 | 31 |
- Data engineering
- Python
- 개발자혜성
- 블로그
- cloudera
- BigData
- 데이터엔지니어링
- 하둡에코시스템
- dataengineer
- apache spark
- eks
- hadoop
- 하둡
- 클라우데라
- Terraform
- 빅데이터플랫폼
- mlops
- kafka
- redis bloom filter
- recommendation system
- AWS SageMaker
- Spark structured streaming
- 데이터엔지니어
- pyspark
- 개발자
- kubernetes
- 빅데이터
- 추천시스템
- spark
- DataEngineering
- Today
- Total
목록2024/07 (2)
Hyesung Oh
CPython 톺아보기 - Tokenizer, AST, bytecode, PyCodeObject, PyFrameObject + TorchDynamo
TL;DR메이저 스크립트 언어의 실체는 대부분 C++이며(Python, Javascript 등), PyTorch와 같은 Python deep learning framework을 사용하더라도 성능 최적화 시에는 결국 C++ 구현체를 사용하게 됩니다. Python은 C++로 짜여진 Stack Machine 이라 표현하기도 합니다.우리가 입력한 Python 코드의 실행흐름을 주요 컴포넌트 관점에서 대략적으로 표현하면 아래와 같습니다.: Python Code -> tokenizing -> AST -> python byte code(pyc) -> PyCodeObject -> PyFrameObject -> PyFrameEx구문분석 이후 생성한 AST를 바탕으로 byte code를 생성하고 이를 PyCodeObjec..
추론 최적화 시리즈 [1] Bert4rec Pytorch module을 Torch-Tensorrt로 compile 하여 Tritonserver로 실시간 추론하기
TL;DR지난 추천 시스템 고도화 시리즈의 실시간 추론 편 마지막 단락에서 계획 중인 사이드 프로젝트에 대해 말씀드렸었는데요, 운이 좋게도 사내 추천 시스템에 실시간 추론을 도입하여 사용자에게 조금 더 다이내믹한 탐색 경험을 제공하자는 방향성이 논의되어 사내 PoC Task로 진행해 보게 되었습니다 :).https://surgach.tistory.com/139 e-commerce 추천 시스템 고도화 하기 시리즈 [3] Realtime inference서론지난 게시글에서는 end-to-end 추천 파이프라인에서 꼭 필요했던 기능들을 적용하며 개선한 과정을 소개했습니다. https://surgach.tistory.com/138 e-commerce 추천 시스템 고도화 하기 시리즈 [2] AWS Sagsurg..