• Standby Task

    Standby Task Standby Task란 KafkaStreams는 State Store를 제공한다. 스트림 프로세싱 어플리케이션에서는 데이터를 저장하고 조회하기 위해서 State Store를 사용한다. 이는 Stateful Operation을 구현하기 위해 꼭 필요한 기능이다. KafkaStreams 내의 모든 Task들은 하나 이상의 State Store를 가질 수 있다. State Store에 데이터를 저장하거나 조회하기 위해 API를 통해 접근할 수 있다. State Store의...


  • Replying KafkaTemplate

    Replying KafkaTemplate ReplyingKafkaTemplate은 KafkaTemplate의 하위 클래스이다. ReplyingKafkaTemplate는 요청 / 응답 semantics을 제공한다. ReplyingKafkaTemplate는 sendAndReceive(ProducerRecord<K, V> record); 메소드를 추가로 가진다. RequestReplyFuture<K, V, R> sendAndReceive(ProducerRecord<K, V> record); 리턴값은 RequestReplyFuture이다. RequestReplyFuture는 ListenableFuture의 구현체이다. ListenableFuture는 비동기적으로 결과 혹은 예외가 채워진다. 또한 RequestReplyFuture는 sendFuture라는 속성을 가진다. sendFuture는 KafkaTemplate.send()의 결과이다. 따라서 sendFuture를 사용해서 send 연산의 결과를...


  • Avro, Compatibility

    Data Serialization and Evolution 네트워크를 통해 데이터를 전송하거나 파일에 저장할 때 데이터를 바이트로 인코딩해야 한다. 데이터 직렬화 영역은 오랜 역사가 있지만 지난 몇년 동안 상당히 발전했다. 초기에는 Java 직렬화와 같은 프로그래밍 언어 전용 직렬화를 사용했기 때문에 다른 언어에서 해당 데이터를 읽기 어려웠다. 그런 다음 JSON과 같이 언어에 구애받지 않는 형식으로...


  • Spring Boot Compression

    Spring Boot Compression Spring Boot Compression Spring boot에서는 Http Response Body를 압축할 수 있는 기능을 제공한다. 그 설정은 아래와 같다. server.compression.enabled=false server.compression.excluded-user-agents= server.compression.mime-types=text/html,text/xml,text/plain,text/css,text/javascript,application/javascript server.compression.min-response-size=2048 server.compression.enabled (기본값 : false) : 응답 압축을 사용할지 여부 server.compression.excluded-user-agents (기본값 : 빈 리스트) : 압축에서 제외할 사용자 에이전트 목록 server.compression.mime-types : 압축해야 하는 MIME 타입...


  • Embedded Kafka Cluster

    EmbeddedKafkaCluster KafkaStreams의 소스 코드를 보면 Integration Test 작성을 위해서 EmbeddedKafkaCluster를 많이 사용하는것을 볼 수 있다. EmbeddedKafkaCluster를 사용하면 마치 로컬에서 Kafka Broker를 실행시키는 것과 같은 효과를 얻을 수 있다. public class StreamIntegrationTest { private static final int NUM_BROKERS = 1; @ClassRule public static final EmbeddedKafkaCluster CLUSTER = new EmbeddedKafkaCluster(NUM_BROKERS); @Before public...