Apache Airflow에 기여하면서 배운 점들

​ Apache Airflow는 코드를 통해 워크플로우를 관리하고 모니터링 할 수 있도록 도와주는 플랫폼이다. Airflow 프로젝트에 대한 설명은 다른 글에서도 많이 다루기 때문에 생략하고 이 글에서는 처음으로... »

Kafka Connect로 S3에 데이터를 저장해보자

​ Kafka에는 정말 유용한 컴포넌트들이 존재합니다. 오늘은 그 중 하나인 Kafka-Connect에 대해 알아보고, Confluent에서 제공하는 Kafka-Connect-S3를 활용하여 S3로 데이터를 저장하는 방법에 대해 정리해보려고 합니다. ​ Kafka... »

17-18년 블로그 회고 및 다짐

​ 지킬 블로그로 이사한지도 벌써 2년이 다 되어 간다. 항상 이 맘때쯤이면 글쓰는 횟수가 줄어들고 블로그를 또 이사하고 싶은 욕구가 생긴다. 하지만 지금 운영하고 있는 블로그도... »

Raft consensus algorithm

​ Consensus란 분산 시스템에서 노드 간의 상태를 공유하는 알고리즘을 말합니다. 가장 유명한 알고리즘으로 Paxos가 있고, Zookeeper에서 사용하는 Zab이 있습니다. Raft는 이해하기 어려운 기존의 알고리즘과 달리 쉽게... »

포트폴리오의 기대수익률과 변동성 계산

​ 흔히 투자자들 사이에 내려오는 격언 중에 “계란을 한 바구니에 담지 말라”라는 말이 있습니다. 하나의 자산에 올인하는 것보다 다양한 자산에 분산 투자하여 리스크를 최소화하라는 말입니다. 그렇다면... »

Structuring Your TensorFlow Models

​ 이 글은 저자의 허락을 받아 번역한 글 입니다. 원문 링크 TensorFlow에서 모델을 정의하다보면 어느새 많은 양의 코드가 생성된 경험이 있을 것 입니다. 어떻게 하면 가독성과... »