45 Posts Tagged: “DataEngineering”
![cover-dataengineering]()
Spark on Kubernetes: 커스텀 스케줄러 (1)
June 08, 2023
3 min read
Spark 3.4 버전부터 Customized K8S Scheduler 기능이 GA…
![cover-dataengineering]()
Spark on Kubernetes: 스팟 인스턴스 사용을 위한 기능들
July 23, 2022
3 min read
스팟 인스턴스 유형을 사용하면 온디맨드에 비해 70~9…
![cover-dataengineering]()
Airflow worker에 KEDA AutoScaler 적용한 후기
June 24, 2022
4 min read
Airflow…
![cover-dataengineering]()
컨테이너 환경을 위한 초기화 시스템 (tini, dumb-init)
May 27, 2022
5 min read
쿠버네티스 기반의 데이터플랫폼을 운영하다보면 이미지의 에 , 과 같은 명령어를 사용하는 경우가 많습니다. 예를 들어 Airflow에서는 dumb…
![cover-dataengineering]()
JupyterHub에 Tensorboard 연동하기
October 23, 2021
1 min read
이 글에서는 JupyterHub 사용자 환경에 tensorboard를 proxy…
![cover-dataengineering]()
JupyterHub on Kubernetes
October 23, 2021
4 min read
일반적으로 JupyterHub를 Kubernetes 환경에 배포할 때 Helm Chart를 많이 사용합니다. 이 글에서는 zero-to…
