[Kubernetes] NodeSelector 설정

보호되어 있는 글입니다.

• format_list_bulleted 기타
• · 2024. 4. 9.

[Airflow] Nifi Trigger Operator 만들기

airflow에서 nifi processor로 trigger를 보내야 했다. 사실 nifi에서 restAPI를 지원해주기 때문에 NIFI ETL 자체를 시작하는 것은 큰 문제가 안됐지만 nifi 작업 이후에 airflow에서 후속 task가 있다면 ETL이 어느 시점에 끝나는 지를 확인하는 게 어려웠다. NIFI는 processor 단위로 데이터를 처리하며, flowfile이 processor에 인풋되면 바로 처리 후 output stream으로 내보내기 때문에 종료 시점을 명확히 알 수가 없었다. 아래 블로그에서 airflow에서 nifi 를 트리거할 수 있는 방법을 소개했지만 시작 노드를 `GenerateFlowFile`로 설정해야 하는 등 제약조건이 있었다. https://towardsdatasci..

• format_list_bulleted 데이터
• · 2024. 4. 4.

[Spark] Spark Structured Streaming - Fault Tolerance

Background 실시간 stream 처리는 지속적인 input stream의 특성 상 중단되지 않고 24시간 실행되므로 여러 오류 원인으로 failure이 발생할 수 있다. input stream이 작성된 코드로 처리될 수 없는 경우 (잘못된 형식의 데이터) 시스템/cluster 오류의 경우 Spark Streaming에서의 Fault Tolerance 정의 스파크의 목표는 end-to-end Exactly Once 보장이다. (참고) At Most Once: 각 레코드는 한 번만 처리되거나 아예 처리되지 않는다. At Least Once: 각 레코드가 한 번 이상 처리된다. 데이터가 손실되지 않도록 보장하므로 At Most Once보다 강력하지만 중복이 있을 수 있다. Exactly Once: 각 ..

• format_list_bulleted 데이터/Spark
• · 2024. 4. 4.

[Spark] Spark Structured Streaming 개요

Spark Streaming 이란 core spark API의 확장 프로그램으로 분산 스트림 처리 프로세싱을 지원한다. streaming 타입으로는 아래와 같이 두 종류가 있는데 spark streaming은 RDD 베이스 엔진으로, 2.x버전까지 지원하고 이후 더이상 업데이트 되지 않는 레거시 프로젝트이다. Spark Streaming 종류 Spark Streaming: RDD 기반의 micro-batch 수행 Spark Structured Streaming: Dataframe 기반 micro-batch 수행, 저지연 처리 모드를 도입함으로써 실시간에 가까운 처리가 가능해짐. Spark Structured Streaming 프로그래밍 모델 structured streaming에서는 트리거 간격마다 수신..

• format_list_bulleted 데이터/Spark
• · 2024. 4. 4.

[Spark] Accumulator와 Broadcast (공유변수)

참고: https://spark.apache.org/docs/latest/rdd-programming-guide.html#shared-variables 공유변수 스파크에서는 분산하여 병렬처리하기 위해 데이터를 분할해서(파티셔닝) 여러 머신에서 동시에 처리한다. 이때 사용된 모든 변수는 배포될 때 복사된 복사본으로 작동하는데, 이러한 변수의 업데이트는 driver에 다시 전달되지 않는다. 그러나 어떤 조건(?) 을 가지고 있어야 데이터를 처리할 수 있는 경우가 발생하는데, 이럴때 제한된 유형의 공유 변수를 사용하여 병렬 처리 후 원하는 값을 받을 수 있다. Broadcast Variable 브로드캐스트 변수를 사용하면 변수의 복사본을 전달하는게 아닌, Read Only 변수를 각 워커 노드에 캐시된 상태로..

• format_list_bulleted 데이터/Spark
• · 2024. 4. 1.

[Spark] SQL Hint

SQL Hint 참고: https://spark.apache.org/docs/latest/sql-ref-syntax-qry-select-hints.html 문법 /*+ hint [ , ... ] */ 파티셔닝 힌트 파티셔닝 전략을 제안할 수 있다. COALESCE `coalesce` dataset API와 동일하다. 매개변수는 파티션 개수이고, 지정된 파티션 수로 줄일 수 있다. SELECT /*+ COALESCE(3) */ * FROM t; REPARTITION `repartition` dataset API 와 동일하다.파티션 개수, 컬럼명을 매개변수로 사용할 수 있고 지정된 수의 파티션으로 다시 분할하는데에 사용된다. SELECT /*+ REPARTITION(3) */ * FROM t; SELECT ..

• format_list_bulleted 데이터/Spark
• · 2024. 4. 1.