| 일 | 월 | 화 | 수 | 목 | 금 | 토 |
|---|---|---|---|---|---|---|
| 1 | 2 | 3 | 4 | 5 | 6 | |
| 7 | 8 | 9 | 10 | 11 | 12 | 13 |
| 14 | 15 | 16 | 17 | 18 | 19 | 20 |
| 21 | 22 | 23 | 24 | 25 | 26 | 27 |
| 28 | 29 | 30 |
- Spark structured streaming
- 빅데이터플랫폼
- cloudera
- 데이터엔지니어
- Data engineering
- hdfs
- 스파크
- hadoop
- 블로그
- 데이터엔지니어링
- Terraform
- eks
- 클라우데라
- pyspark
- 빅데이터
- AWS
- Python
- kubernetes
- dataengineer
- DataEngineering
- 하둡에코시스템
- spark
- IT블로그
- 개발자혜성
- apache spark
- scala
- 개발자
- kafka
- BigData
- 하둡
- Today
- Total
목록스파크 (2)
Hyesung Oh
Pyspark 도입 후 고도화하기/ 1. 프로젝트 구조
Scala Spark에서 Pyspark로의 이전을 진행하며 겪었던 시행착오와 고민들을 공유하고자 합니다. 프로젝트 구조 spark 아래에 core, tasks, util 폴더를 두었습니다. tasks: spark-submit 호출시 PY_FILE로 넘겨주는 python file이며 spark context를 초기화하며 pyspark dataframe api를 이용하여 비즈니스로직을 구현합니다. core: 모든 Spark application에서 데이터 로드, 처리, 적재시 공통적으로 사용되는 논리적인 개념을 추상화한 모듈을 정의했습니다. 아래에서 자세히 다루겠습니다. util: tasks 또는 core에서 공통적으로 사용되는 패턴 또는 utility 기능들을 정의했습니다. 1. tasks - app - ..
apache spark official github repo: github.com/apache/spark 1. 이해의 출발 지점은 바로, 우리가 spark-shell REPL를 사용하기 위해 실행하는 bin/spark-shell 스크립트 # Shell script for starting the Spark Shell REPL cygwin=false case "$(uname)" in CYGWIN*) cygwin=true;; esac * cygwin: window에서 linux터미널을 사용할 수 있게 해주는 오픈소스 현재 터미널이 linux이면 true, window이면 false정도로 이해했다. function main() { if $cygwin; then # Workaround for issue invol..