45 Posts Tagged: “DataEngineering”
![cover-dataengineering]()
Raft consensus algorithm
September 01, 2018
2 min read
Consensus란 분산 시스템에서 노드 간의 상태를 공유하는 알고리즘을 말합니다. 가장 유명한 알고리즘으로 Paxos…
![cover-dataengineering]()
AWS에 Hadoop MR 어플리케이션 환경 구축하기
June 13, 2018
4 min read
…
![cover-datascience]()
Data Science inconvenient truth
April 01, 2018
1 min read
데이터과학의 불편한 진실 Data is never clean (데이터는 절대 깨끗하지 않다) You will spend most of your…
![cover-dataengineering]()
제플린 노트북 자동 실행 스크립트 만들기
September 13, 2017
1 min read
제플린 노트북을 사용하다보면 가끔 제플린 어플리케이션을 재시작해야 하는 경우가 있습니다. 이 때, view 또는 udf…
![cover-dataengineering]()
AWS EMR에서 S3 사용 시 주의사항
September 09, 2017
3 min read
AWS EMR에서 Spark을 사용하는 경우, S…
![cover-dataengineering]()
Spark의 Shuffling 이해하기
August 25, 2017
2 min read
효율적인 Spark Application을 개발하기 위해 Shuffling…
