🐥

https://www.youtube.com/watch?v=7y9gNwqLNtU위 동영상 정리함 hive -> iceberg로 변경한 사례 Line 데이터 플랫폼의 기존 방식데이터 플랫폼의 특징데이터의 크기/종류/활용 규모가 크다머신 수: 5000 대+데이터 크기: 290 PB+하이브 테이블 수: 4만개 (모두 external table)log ingestion rate: 초당 17.5M+하루에 구동되는 job 수: 15만+플랫폼 사용자 수: 700+ Query ProcessingSQL 기반, spark, hive, trino, flink를 분산 sql 쿼리 엔진으로 사용데이터파일이 어디에 있는지, 어떻게 읽고 쓸수있는지에 대한 정보 필요쿼리에 대한 테이블을 어떻게 관리할지는 테이블 포맷에 의해 정의됨 *..

스트리밍 쿼리에서의 집계는 보통 현재시간부터 T시간 전까지 집계된 데이터를 의미한다. 그런데 예를들어 지난 15초 동안의 집계 데이터라고 하면 15초의 시간은 언제부터 언제까지인지 의문이 생길 수 있다. 스트림 처리에서 바라보는 시간은 다양한 기준이 있다. 스트림 처리에서의 시간 관점 이벤트 시간 (event time) 데이터 의존적인 타임스템프로, 데이터 내에 존재하는 데이터 발생 시간이다. 데이터 의존적이기 때문에 어떠한 값을 타임스탬프로 넣을 것인지는 다르겠지만 주로 이벤트가 발생한 시간을 많이 사용한다. windowing 에 사용할 수 있는 아주 적절한 시간 중 하나이다. 수집 시간 (ingestion time) 스트림 처리 엔진에 데이터가 처음으로 수집된, 즉 들어온 시간을 나타낸다. 처리 시간..

streaming 코드를 작성하면서 filter, count 등 여러가지 연산자를 사용할 수 있다.과거 데이터의 정보가 필요없는 stateless 연산자와, 과거의 데이터가 필요해 데이터 유지가 필요한 statefull 연산자로 나눌 수 있다.Stateless Trasformation과거의 데이터와 상관 없이 현재의 데이터만 사용하는 연산자Stateful Transfmraion이전 배치의 데이터의 유지가 필요한 연산자예: aggreagion, counter, join, group, windowing 등Stateless Transformation각 배치를 이전 배치를 참조하지 않고 독립적으로 처리한다. -> 배치의 출력이 해당 배치의 데이터만을 기반으로 함을 의미select, filter, map, fla..

airflow에서 nifi processor로 trigger를 보내야 했다. 사실 nifi에서 restAPI를 지원해주기 때문에 NIFI ETL 자체를 시작하는 것은 큰 문제가 안됐지만 nifi 작업 이후에 airflow에서 후속 task가 있다면 ETL이 어느 시점에 끝나는 지를 확인하는 게 어려웠다. NIFI는 processor 단위로 데이터를 처리하며, flowfile이 processor에 인풋되면 바로 처리 후 output stream으로 내보내기 때문에 종료 시점을 명확히 알 수가 없었다. 아래 블로그에서 airflow에서 nifi 를 트리거할 수 있는 방법을 소개했지만 시작 노드를 `GenerateFlowFile`로 설정해야 하는 등 제약조건이 있었다. https://towardsdatasci..

Background 실시간 stream 처리는 지속적인 input stream의 특성 상 중단되지 않고 24시간 실행되므로 여러 오류 원인으로 failure이 발생할 수 있다. input stream이 작성된 코드로 처리될 수 없는 경우 (잘못된 형식의 데이터) 시스템/cluster 오류의 경우 Spark Streaming에서의 Fault Tolerance 정의 스파크의 목표는 end-to-end Exactly Once 보장이다. (참고) At Most Once: 각 레코드는 한 번만 처리되거나 아예 처리되지 않는다. At Least Once: 각 레코드가 한 번 이상 처리된다. 데이터가 손실되지 않도록 보장하므로 At Most Once보다 강력하지만 중복이 있을 수 있다. Exactly Once: 각 ..