![cover-dataengineering]()
Spark DataFrame을 MySQL에 저장하는 방법
July 17, 2017
1 min read
Spark에서 MySQL에 접근하고 DataFrame을 read, write 하는 방법에 대해 정리해보았습니다. 참고로 저는 Spark 2.…
![cover-dataengineering]()
Spark 2.2.0 릴리즈 업데이트 정리
July 14, 2017
2 min read
7월 11일 약 2개월 만에 Spark 2.2.…
![cover-develop]()
Scala의 빌드 도구 SBT
July 08, 2017
1 min read
Scala에는 SBT라는 빌드 도구가 있습니다. SBT는 의존성 관리에 Apache ivy를 사용합니다. SBT SBT…
![cover-dataengineering]()
AWS EMR step을 이용한 Spark Batch 작업
July 02, 2017
1 min read
AWS EMR은 특정 작업을 등록할 수 있는 step 이라는 기능을 제공합니다. 예를 들어 매일 새벽에 클러스터에서 돌려야하는 Batch…
![cover-dataengineering]()
Spark의 Random Sampling에 대하여
June 20, 2017
1 min read
데이터를 분석하다보면 임의의 샘플을 추출해야 하는 상황이 생깁니다. 그래서 이번에는 Spark…
![cover-dataengineering]()
Spark의 Temporary View에 대하여
June 16, 2017
2 min read
SQL의 View 처럼 Spark에서도 View를 지원합니다. 이 포스팅에서는 Spark 2.1.…
