Spark의 Shuffling 이해하기
August 25, 2017
2 min read
효율적인 Spark Application을 개발하기 위해 Shuffling…
Spark groupByKey vs reduceByKey
August 22, 2017
1 min read
Spark Application 성능 개선을 위한 에 대해 알아보겠습니다. groupByKey vs reduceBykey…
Hive Metastore 구축 관련 문제와 해결과정
August 11, 2017
2 min read
Hive Metastore를 구축하면서 겪은 이슈와 해결과정을 기록해두려고 합니다. 사용 환경은 Spark 2.1.1, Hive 2.1.…
Bagging과 Boosting 그리고 Stacking
July 19, 2017
2 min read
오늘은 머신러닝 성능을 최대로 끌어올릴 수 있는 앙상블 기법에 대해 정리해보았습니다. Ensemble, Hybrid Method…
Spark DataFrame을 MySQL에 저장하는 방법
July 17, 2017
1 min read
Spark에서 MySQL에 접근하고 DataFrame을 read, write 하는 방법에 대해 정리해보았습니다. 참고로 저는 Spark 2.…
Spark 2.2.0 릴리즈 업데이트 정리
July 14, 2017
2 min read
7월 11일 약 2개월 만에 Spark 2.2.…