🐥

Spark Streaming 이란 core spark API의 확장 프로그램으로 분산 스트림 처리 프로세싱을 지원한다. streaming 타입으로는 아래와 같이 두 종류가 있는데 spark streaming은 RDD 베이스 엔진으로, 2.x버전까지 지원하고 이후 더이상 업데이트 되지 않는 레거시 프로젝트이다. Spark Streaming 종류 Spark Streaming: RDD 기반의 micro-batch 수행 Spark Structured Streaming: Dataframe 기반 micro-batch 수행, 저지연 처리 모드를 도입함으로써 실시간에 가까운 처리가 가능해짐. Spark Structured Streaming 프로그래밍 모델 structured streaming에서는 트리거 간격마다 수신..

참고: https://spark.apache.org/docs/latest/rdd-programming-guide.html#shared-variables 공유변수 스파크에서는 분산하여 병렬처리하기 위해 데이터를 분할해서(파티셔닝) 여러 머신에서 동시에 처리한다. 이때 사용된 모든 변수는 배포될 때 복사된 복사본으로 작동하는데, 이러한 변수의 업데이트는 driver에 다시 전달되지 않는다. 그러나 어떤 조건(?) 을 가지고 있어야 데이터를 처리할 수 있는 경우가 발생하는데, 이럴때 제한된 유형의 공유 변수를 사용하여 병렬 처리 후 원하는 값을 받을 수 있다. Broadcast Variable 브로드캐스트 변수를 사용하면 변수의 복사본을 전달하는게 아닌, Read Only 변수를 각 워커 노드에 캐시된 상태로..

SQL Hint 참고: https://spark.apache.org/docs/latest/sql-ref-syntax-qry-select-hints.html 문법 /*+ hint [ , ... ] */ 파티셔닝 힌트 파티셔닝 전략을 제안할 수 있다. COALESCE `coalesce` dataset API와 동일하다. 매개변수는 파티션 개수이고, 지정된 파티션 수로 줄일 수 있다. SELECT /*+ COALESCE(3) */ * FROM t; REPARTITION `repartition` dataset API 와 동일하다.파티션 개수, 컬럼명을 매개변수로 사용할 수 있고 지정된 수의 파티션으로 다시 분할하는데에 사용된다. SELECT /*+ REPARTITION(3) */ * FROM t; SELECT ..

Application 스케쥴링 관련하여 https://community.cloudera.com/t5/Community-Articles/Dynamic-Allocation-in-Apache-Spark/ta-p/368095 이쪽에 정리가 잘 되어 있다. SRA(Static Resource Allocation) spark 어플리케이션은 실행되기 전 어플리케이션에서 사용할 리소스를 미리 예약해둔다. 이 리소스의 양은 고정되어서 런타임중에는 변경이 불가능하다. 만약 할당된 것보다 더 많은 리소스가 필요하다면 실행시간이 길어지거나 실패할 수 있다. 리소스가 고정되어 있기 때문에 만약 할당된 리소스가 어플리케이션에서 사용되지 않는다면 비효율적인 리소스 활용으로 이어지게 된다. 또한 런타임중에 리소스를 조정하는것이 불가..

스파크로 데이터를 처리하면 action 연산자 수행 시에 데이터가 로드된다. 반복된 동일한 연산을 한다면 매번 action 때 로드하지 않고 cache()와 persist()를 사용하여 데이터를 메모리에 상주시킬 수 있다. 캐시된 데이터는 storage memory에 보관된다. 1. cache() 와 persist() cache와 persist 모두 동일한데 persist에서는 storageLevel을 설정해줄 수 있다는 점에서 차이가 있다. `cache()`는 Dataframe 의 경우`persist(storageLevel=MEMORY_AND_DISK)` , RDD의 경우 ` persist(storageLevel=MEMORY_ONLY)` 와 같은 함수이다. https://spark.apache.org/..