Apache Airflow
매일 자정에 A DB에서 데이터를 퍼와 가공한 뒤 B DB로 밀어 넣어야 하는 복잡하게 얽힌 수백 개의 파이프라인(ETL) 스케줄을, 개발자 친화적인 파이썬 코드로 우아하게 작성하고 모니터링할 수 있게 해주는 에어비앤비(Airbnb) 출신의 워크플로우 지휘자
Apache Flink
스파크(Spark)가 데이터를 짧게 모아서 끊어 치는 방식이라면, 플링크는 수도꼭지에서 물이 콸콸 쏟아지듯 실시간으로 들어오는 끊임없는 데이터 스트림을 1밀리초의 지연도 허용하지 않고 즉시 연산해 버리는 극강의 스트리밍 처리 엔진
Apache Hadoop
한 대의 슈퍼컴퓨터로 감당 안 되는 페타바이트급 우주적 용량의 빅데이터를 수천 대의 싸구려 일반 컴퓨터에 쪼개어 분산 저장(HDFS)하고 병렬로 처리할 수 있게 길을 열어준 데이터 혁명의 시초이자 거대한 생태계
Apache Spark
기존 하둡(Hadoop)의 느려 터진 디스크 기반 맵리듀스(MapReduce) 처리 방식을 버리고, 거대한 데이터를 메모리(RAM) 위로 끌어올려 병렬로 연산함으로써 분석 처리 속도를 100배 이상 진화시킨 빅데이터 혁명의 상징
Memcached
레디스(Redis)와 쌍벽을 이루는 초경량 고성능 분산 메모리 객체 캐싱 시스템으로, 하드디스크 DB에서 매번 똑같은 쿼리를 가져오느라 지친 웹서버를 위해 메모리에 데이터를 임시로 담아두어 로딩 속도를 비약적으로 펌핑시킵니다
Neo4j
표(Table) 구조로는 도저히 쿼리할 수 없는 페이스북 친구의 친구 추천, 보이스피싱 사기꾼의 자금 세탁 흐름 등 복잡하게 얽힌 네트워크 관계망을 점(Node)과 선(Edge)으로 직관적으로 저장하는 그래프 데이터베이스 1위 툴
Apache Cassandra
과거 페이스북(Facebook)이 미친 듯이 쏟아지는 메시지 데이터를 감당하기 위해 만들어낸 분산형 NoSQL 데이터베이스로, 서버를 수천 대로 수평 확장해도 성능 저하 없이 미친 쓰기(Write) 속도를 보장하는 맷집 깡패
SQLite
거창하게 서버 프로세스를 띄울 필요 없이, 안드로이드 아이폰 앱이나 로컬 PC 프로그램 안에 파일 하나로 쏙 들어가 작동하는 세계에서 가장 널리 쓰이는 내장형 C 라이브러리 관계형 데이터베이스
Envoy Proxy
승차 공유 앱 리프트(Lyft)에서 수백 개의 마이크로서비스 통신 지옥을 다스리기 위해 개발하여 클라우드 네이티브 컴퓨팅 재단(CNCF)을 평정한 초고성능 C++ 엣지 및 서비스 프록시
Traefik
도커(Docker)와 쿠버네티스 같은 마이크로서비스 환경에 찰떡같이 맞춰져서, 새로운 컨테이너 서버가 하나 뜰 때마다 사람이 설정 파일을 안 건드려도 알아서 라우팅 경로를 찾아 연결해 주는 모던 리버스 프록시