kafka 자바 예제

아파치 카프카의 아키텍처는 매우 간단하여 일부 시스템에서 더 나은 성능과 처리량을 초래할 수 있습니다. Kafka의 모든 주제는 간단한 로그 파일과 같습니다. 생산자가 메시지를 게시하면 Kafka 서버는 지정된 주제에 대해 로그 파일의 끝에 메시지를 부호지정합니다. 또한 서버는 각 메시지를 영구적으로 식별하는 데 사용되는 숫자인 오프셋을 할당합니다. 메시지 수가 증가하면 각 오프셋의 값이 증가합니다. 예를 들어 생산자가 세 개의 메시지를 게시하는 경우 첫 번째 메시지는 1의 오프셋을, 두 번째는 오프셋2, 세 번째 는 3의 오프셋을 얻을 수 있습니다. KafkaProducer 클래스는 이전에 보낸 모든 메시지가 실제로 완료되었는지 확인하는 플러시 메서드를 제공합니다. 플러시 방법의 구문은 다음과 같습니다 – 이제 우리는 카프카에 사용되는 일반적인 용어와 주제에 대한 정보를 볼 수있는 기본 명령을 알고, 작업 예제로 시작하자. KafkaProducer 클래스는 파티션을 제공합니다주어진 주제에 대한 파티션 메타 데이터를 얻는 데 도움이 방법. 사용자 지정 분할에 사용할 수 있습니다. 이 메서드의 서명은 다음과 같습니다 – 메시지가 비동기적으로 전송될 때 메시지가 성공적으로 전송되고 Kafka Server에서 승인될 때 호출되는 onComplete() 메서드를 구현하는 콜백 클래스를 제공해야 합니다. 콜백 목적을 위해 여기에 데모콜백 클래스를 제공했습니다.

Kafka는 비동기 작업에 사용하는 콜백 인터페이스를 정의합니다. 콜백 인터페이스를 사용하면 요청이 완료되면 코드를 실행할 수 있습니다. 콜백은 백그라운드 I/O 스레드에서 실행되므로 빠르게 작동해야 합니다(차단하지 마십시오). 온완료(레코드 메타데이터 메타데이터, 예외 예외)는 비동기 작업이 완료되면 호출됩니다. 작업이 성공한 경우 메타데이터가 설정(null이 아님)되고 작업에 오류가 있는 경우 예외가 설정(null이 아님)됩니다. KafkaConsumer 클래스는 아래 표에 나열된 다음과 같은 중요한 메서드를 가지고 있습니다. 이 문서에서는 windows 로컬 컴퓨터에서 kafka를 설정하고 maven 프로젝트를 사용하여 Java에서 Kafka 소비자 및 생산자를 만드는 방법에 대해 설명했습니다. 아래의 코멘트 섹션에서 의견을 공유할 수 있습니다. 이 아파치 카프카 튜토리얼에서, 우리는 자바 예제 프로그램과 아파치 카프카에서 프로듀서를 배울 것이다. 다음은 아파치 카프카에서 간단한 프로듀서 예제를 작성하는 단계별 프로세스입니다. 기본적으로 버퍼에 사용되지 않는 추가 공간이 있더라도 버퍼를 즉시 보낼 수 있습니다. 그러나 요청 수를 줄이려면 linger.ms 0보다 큰 것으로 설정할 수 있습니다.

이렇게 하면 생산자가 동일한 일괄 처리를 채우기 위해 더 많은 레코드가 도착할 수 있도록 요청을 보내기 전에 해당 밀리초까지 기다려야 합니다. 이는 TCP의 Nagle 알고리즘과 유사합니다. 예를 들어 위의 코드 조각에서 느린 시간을 1밀리초로 설정했기 때문에 단일 요청으로 100개의 레코드가 모두 전송될 수 있습니다. 그러나 이 설정은 버퍼를 채우지 않은 경우 더 많은 레코드가 도착할 때까지 요청에 1밀리초의 대기 시간을 추가합니다.

Tento obsah bol zaradený v Nezaradené. Zálohujte si trvalý odkaz.