Kafka용 Openflow Connector의 성능 조정¶

메시지 특성¶

메시지 크기

메시지가 클수록 처리량이 늘어날 수 있지만 메시지당 메모리와 처리 시간이 더 많이 필요할 수 있습니다.

메시지 형식

JSON 메시지는 일반적으로 스키마 추론과 다른 직렬화/역직렬화로 인해 AVRO 메시지에 비해 더 많은 처리 오버헤드가 필요합니다.

메시지 볼륨

메시지 양이 많을수록 병렬 처리와 더 큰 배치 크기의 이점을 누릴 수 있습니다.

Kafka 구성¶

파티션 수

파티션이 많을수록 병렬성을 높일 수 있지만 컨슈머 구성에 대한 신중한 조정이 필요합니다.

압축

메시지 압축은 네트워크 대역폭을 줄일 수 있지만, CPU 오버헤드가 증가합니다.

flowfile 최적화¶

flowfile 크기

성능을 최적화하려면 flowfile은 개별 작은 메시지를 포함하지 않고 1~10 MB 범위여야 합니다. flowfile이 클수록 개별 파일 작업 횟수를 최소화하여 처리 오버헤드를 줄이고 처리량을 개선할 수 있습니다. 기본 설정은 허용 가능한 크기 범위의 flowfile을 생성합니다. 처리량이 적을 때는 작은 flowfile이 예상됩니다.

처리량이 많은 작은 flowfile이 관찰되는 경우 Snowflake 지원 으로 문의하여 도움을 받으십시오.

네트워크 및 인프라¶

네트워크 지연 시간

Kafka 브로커와 Openflow 간의 지연 시간이 짧아지면 전반적인 성능이 향상됩니다.

대역폭

처리량이 많은 시나리오에서는 충분한 네트워크 대역폭이 중요합니다.

프로세서 동시 작업 조정하기¶

프로세서 성능을 최적화하려면 ConsumeKafka 및 PutSnowpipeStreaming 프로세서 모두에 대한 동시 작업 수를 조정할 수 있습니다. 동시 작업을 사용하면 프로세서가 여러 스레드를 동시에 실행할 수 있으므로 대용량 시나리오의 처리량이 향상됩니다.

프로세서의 동시 작업을 조정하려면 다음 작업을 수행하십시오.

1. Openflow 캔버스에서 프로세서를 마우스 오른쪽 버튼으로 클릭합니다.

2. 컨텍스트 메뉴에서 Configure 를 선택합니다.

3. Scheduling 탭으로 이동합니다.

4. Concurrent tasks 필드에 원하는 동시 작업 수를 입력합니다.

5. Apply 를 선택하여 구성을 저장합니다.

PutSnowpipeStreaming 프로세서에서 최대 배치 크기 조정하기¶

PutSnowpipeStreaming 프로세서의 최대 배치 크기 매개 변수는 단일 배치에서 처리되는 레코드의 수를 제어합니다. 이 매개 변수를 조정하면 메모리 사용량과 처리량을 최적화하는 데 도움이 됩니다.

최대 배치 크기는 평균 레코드 크기에 따라 미세 조정하여 총 배치 크기(최대 배치 크기 × 평균 레코드 크기)가 4 MB 정도가 되고, 최적의 성능을 위해 16 MB 를 초과하지 않도록 해야 합니다.

예: 평균 레코드 크기가 1KB 인 경우 최대 배치 크기는 4,000으로 설정해야 합니다.

최대 배치 크기를 조정하려면 다음을 수행합니다

1. PutSnowpipeStreaming 프로세서를 마우스 오른쪽 버튼으로 클릭합니다.

2. 컨텍스트 메뉴에서 Configure 를 선택합니다.

3. Properties 탭으로 이동합니다.

4. Max Batch Size 속성의 위치를 찾습니다.

5. 평균 레코드 크기를 기준으로 계산된 값을 입력합니다.

6. Apply 를 선택하여 변경 사항을 저장합니다.

일반적인 성능 병목 현상¶