2011년 이래로 카프카(Kafka)는 크게 성장해왔다. 포춘(Fortune)지 선정 500대 기업 중 3분의 1 이상이 아파치 카프카를 사용한다. 여기에는 10대 여행사와 10대 은행 중 7개, 10대 보험사 중 8개, 10대 통신사 중 9개 기업이 포함된다. 링크드인(LinkedIn), 우버(Uber), 트위터(Twitter), 스포티파이(Spotify), 페이팔(Paypal), 넷플릭스(Netflix) 등이 아파치 카프카를 사용해 각각 하루에 1조 개에 육박하는 메시지를 처리한다.
요즘에는 실시간 데이터 스트리밍과 데이터 수집, 또는 실시간 데이터 분석을 위해 아파치 카프카를 사용한다. 다른 한편에서는 시스템을 더욱 견고하게 만들기 위해 마이크로서비스 아키텍처를 구성하는 데 카프카를 사용한다. 또한 이벤트 생성과 처리를 관리하기 위한 복합 이벤트 처리(CEP, Complex Event Processing)와 사물인터넷 자동화 시스템에 사용하기도 한다.
오늘날 스트리밍 분야에서는 전쟁이 벌어지고 있다. 카프카 스트림, 스파크 스트리밍, Akka 스트리밍, 아파치 플링크, 아파치 스톰, 아파치 빔, 아마존 키네시스 등 몇몇의 경쟁자들이 치열한 경쟁 상태에 있다. 여러 평가 요소가 있겠지만 주로 최고의 성능으로 승자가 결정된다.
아파치 카프카를 선택하는 이유로 상당수가 사용하기 쉽다는 점을 든다. 카프카는 배우기도 쉽고 구현하는 방법도 어렵지 않다. 유지보수도 간단하며, 대부분의 경쟁자들과는 달리 기술을 익히는 데 장애물이 되는 변화도 완만하다.
이 책은 실용적이다. 아파치 카프카의 이론적인 구조를 설명하는 데 머무르지 않고 실습에 도움을 주는 데 중점을 두고 있다. 이 책은 요리책(cookbook)이다. 아파치 카프카로 스트리밍 아키텍처를 구현하면서 만나는 일상적인 문제의 해결책을 실용적인 레시피 형태로 다룬다. 전반부에서는 프로그래밍에 대한 내용을, 후반부에서는 아파치 카프카의 관리에 대한 내용을 다룬다.
이 책은 실무적인 가이드로서 SMACK 기술을 사용해 빠른 데이터 처리를 위한 효율적인 데이터 분석 시스템을 만들 수 있게 해준다.
먼저 SMACK을 소개하고 언제 사용해야 할지 설명하고, 스칼라를 사용해 기능적 사고와 문제 해결 방법을 익힌다. 이어서 아카 아키텍처를 이해하게 될 것이다.
또한, 데이터 구조 아키텍처를 개선하고 아파치 스파크를 사용한 자원을 최적화하는 방법을 알게 될 것이다.
다음으로 아파치 카산드라를 사용해 데이터베이스에서 선형 확장성을 수행하는 방법을 배우게 될 것이다. 아파치 카프카를 사용해 높은 처리량의 분산 메시징 시스템을 파악할 수 있다. 아파치 메소스를 통해 저렴하면서도 효과적인 클러스터 인프라를 구축하는 방법을 설명한다.
마지막으로 몇 가지 연구 사례를 통해 SMACK의 다양한 측면을 깊이 살펴볼 것이다. 책을 다 읽고 나면 SMACK의 모든 컴포넌트를 통합할 수 있을 것이고, SMACK 스택으로 매우 효과적이고 빠르게 데이터를 처리할 수 있을 것이다.
