🐥

참고: https://spark.apache.org/docs/latest/rdd-programming-guide.html#shared-variables 공유변수 스파크에서는 분산하여 병렬처리하기 위해 데이터를 분할해서(파티셔닝) 여러 머신에서 동시에 처리한다. 이때 사용된 모든 변수는 배포될 때 복사된 복사본으로 작동하는데, 이러한 변수의 업데이트는 driver에 다시 전달되지 않는다. 그러나 어떤 조건(?) 을 가지고 있어야 데이터를 처리할 수 있는 경우가 발생하는데, 이럴때 제한된 유형의 공유 변수를 사용하여 병렬 처리 후 원하는 값을 받을 수 있다. Broadcast Variable 브로드캐스트 변수를 사용하면 변수의 복사본을 전달하는게 아닌, Read Only 변수를 각 워커 노드에 캐시된 상태로..

SQL Hint 참고: https://spark.apache.org/docs/latest/sql-ref-syntax-qry-select-hints.html 문법 /*+ hint [ , ... ] */ 파티셔닝 힌트 파티셔닝 전략을 제안할 수 있다. COALESCE `coalesce` dataset API와 동일하다. 매개변수는 파티션 개수이고, 지정된 파티션 수로 줄일 수 있다. SELECT /*+ COALESCE(3) */ * FROM t; REPARTITION `repartition` dataset API 와 동일하다.파티션 개수, 컬럼명을 매개변수로 사용할 수 있고 지정된 수의 파티션으로 다시 분할하는데에 사용된다. SELECT /*+ REPARTITION(3) */ * FROM t; SELECT ..

Application 스케쥴링 관련하여 https://community.cloudera.com/t5/Community-Articles/Dynamic-Allocation-in-Apache-Spark/ta-p/368095 이쪽에 정리가 잘 되어 있다. SRA(Static Resource Allocation) spark 어플리케이션은 실행되기 전 어플리케이션에서 사용할 리소스를 미리 예약해둔다. 이 리소스의 양은 고정되어서 런타임중에는 변경이 불가능하다. 만약 할당된 것보다 더 많은 리소스가 필요하다면 실행시간이 길어지거나 실패할 수 있다. 리소스가 고정되어 있기 때문에 만약 할당된 리소스가 어플리케이션에서 사용되지 않는다면 비효율적인 리소스 활용으로 이어지게 된다. 또한 런타임중에 리소스를 조정하는것이 불가..

spark를 통해 연산을 하다 보면 파티션이 과다하게 많거나 너무 적은 상황이 있을 수 있다. 이럴 때에는 repartition과 coalesce를 통해 파티션 개수를 지정해줄 수 있다. `repartition()`과 `coalesce()` 모두 파티션 개수를 설정해주는 함수이다. 파티션의 개수를 조정해주지만 `coalesce()`는 파티션의 개수를 줄이는 것만 가능하다는 점에서 차이점이 있다. 1. 실행 예시 repartition과 coalesce의 가장 큰 차이점은 shuffle 수행 여부에 있다. `coalesce`를 사용해서 파티션 수를 줄인 경우, stage2에서 coalesce 가 수행되는 것을 확인할 수 있다. load df1 load df2 df3 = df1.join(df2, some_co..

스파크로 데이터를 처리하면 action 연산자 수행 시에 데이터가 로드된다. 반복된 동일한 연산을 한다면 매번 action 때 로드하지 않고 cache()와 persist()를 사용하여 데이터를 메모리에 상주시킬 수 있다. 캐시된 데이터는 storage memory에 보관된다. 1. cache() 와 persist() cache와 persist 모두 동일한데 persist에서는 storageLevel을 설정해줄 수 있다는 점에서 차이가 있다. `cache()`는 Dataframe 의 경우`persist(storageLevel=MEMORY_AND_DISK)` , RDD의 경우 ` persist(storageLevel=MEMORY_ONLY)` 와 같은 함수이다. https://spark.apache.org/..