🐥

스트리밍 쿼리에서의 집계는 보통 현재시간부터 T시간 전까지 집계된 데이터를 의미한다. 그런데 예를들어 지난 15초 동안의 집계 데이터라고 하면 15초의 시간은 언제부터 언제까지인지 의문이 생길 수 있다. 스트림 처리에서 바라보는 시간은 다양한 기준이 있다. 스트림 처리에서의 시간 관점 이벤트 시간 (event time) 데이터 의존적인 타임스템프로, 데이터 내에 존재하는 데이터 발생 시간이다. 데이터 의존적이기 때문에 어떠한 값을 타임스탬프로 넣을 것인지는 다르겠지만 주로 이벤트가 발생한 시간을 많이 사용한다. windowing 에 사용할 수 있는 아주 적절한 시간 중 하나이다. 수집 시간 (ingestion time) 스트림 처리 엔진에 데이터가 처음으로 수집된, 즉 들어온 시간을 나타낸다. 처리 시간..

streaming 코드를 작성하면서 filter, count 등 여러가지 연산자를 사용할 수 있다.과거 데이터의 정보가 필요없는 stateless 연산자와, 과거의 데이터가 필요해 데이터 유지가 필요한 statefull 연산자로 나눌 수 있다.Stateless Trasformation과거의 데이터와 상관 없이 현재의 데이터만 사용하는 연산자Stateful Transfmraion이전 배치의 데이터의 유지가 필요한 연산자예: aggreagion, counter, join, group, windowing 등Stateless Transformation각 배치를 이전 배치를 참조하지 않고 독립적으로 처리한다. -> 배치의 출력이 해당 배치의 데이터만을 기반으로 함을 의미select, filter, map, fla..

Background 실시간 stream 처리는 지속적인 input stream의 특성 상 중단되지 않고 24시간 실행되므로 여러 오류 원인으로 failure이 발생할 수 있다. input stream이 작성된 코드로 처리될 수 없는 경우 (잘못된 형식의 데이터) 시스템/cluster 오류의 경우 Spark Streaming에서의 Fault Tolerance 정의 스파크의 목표는 end-to-end Exactly Once 보장이다. (참고) At Most Once: 각 레코드는 한 번만 처리되거나 아예 처리되지 않는다. At Least Once: 각 레코드가 한 번 이상 처리된다. 데이터가 손실되지 않도록 보장하므로 At Most Once보다 강력하지만 중복이 있을 수 있다. Exactly Once: 각 ..

Spark Streaming 이란 core spark API의 확장 프로그램으로 분산 스트림 처리 프로세싱을 지원한다. streaming 타입으로는 아래와 같이 두 종류가 있는데 spark streaming은 RDD 베이스 엔진으로, 2.x버전까지 지원하고 이후 더이상 업데이트 되지 않는 레거시 프로젝트이다. Spark Streaming 종류 Spark Streaming: RDD 기반의 micro-batch 수행 Spark Structured Streaming: Dataframe 기반 micro-batch 수행, 저지연 처리 모드를 도입함으로써 실시간에 가까운 처리가 가능해짐. Spark Structured Streaming 프로그래밍 모델 structured streaming에서는 트리거 간격마다 수신..

참고: https://spark.apache.org/docs/latest/rdd-programming-guide.html#shared-variables 공유변수 스파크에서는 분산하여 병렬처리하기 위해 데이터를 분할해서(파티셔닝) 여러 머신에서 동시에 처리한다. 이때 사용된 모든 변수는 배포될 때 복사된 복사본으로 작동하는데, 이러한 변수의 업데이트는 driver에 다시 전달되지 않는다. 그러나 어떤 조건(?) 을 가지고 있어야 데이터를 처리할 수 있는 경우가 발생하는데, 이럴때 제한된 유형의 공유 변수를 사용하여 병렬 처리 후 원하는 값을 받을 수 있다. Broadcast Variable 브로드캐스트 변수를 사용하면 변수의 복사본을 전달하는게 아닌, Read Only 변수를 각 워커 노드에 캐시된 상태로..