🐥

SQL Hint 참고: https://spark.apache.org/docs/latest/sql-ref-syntax-qry-select-hints.html 문법 /*+ hint [ , ... ] */ 파티셔닝 힌트 파티셔닝 전략을 제안할 수 있다. COALESCE `coalesce` dataset API와 동일하다. 매개변수는 파티션 개수이고, 지정된 파티션 수로 줄일 수 있다. SELECT /*+ COALESCE(3) */ * FROM t; REPARTITION `repartition` dataset API 와 동일하다.파티션 개수, 컬럼명을 매개변수로 사용할 수 있고 지정된 수의 파티션으로 다시 분할하는데에 사용된다. SELECT /*+ REPARTITION(3) */ * FROM t; SELECT ..

Application 스케쥴링 관련하여 https://community.cloudera.com/t5/Community-Articles/Dynamic-Allocation-in-Apache-Spark/ta-p/368095 이쪽에 정리가 잘 되어 있다. SRA(Static Resource Allocation) spark 어플리케이션은 실행되기 전 어플리케이션에서 사용할 리소스를 미리 예약해둔다. 이 리소스의 양은 고정되어서 런타임중에는 변경이 불가능하다. 만약 할당된 것보다 더 많은 리소스가 필요하다면 실행시간이 길어지거나 실패할 수 있다. 리소스가 고정되어 있기 때문에 만약 할당된 리소스가 어플리케이션에서 사용되지 않는다면 비효율적인 리소스 활용으로 이어지게 된다. 또한 런타임중에 리소스를 조정하는것이 불가..

스파크로 데이터를 처리하면 action 연산자 수행 시에 데이터가 로드된다. 반복된 동일한 연산을 한다면 매번 action 때 로드하지 않고 cache()와 persist()를 사용하여 데이터를 메모리에 상주시킬 수 있다. 캐시된 데이터는 storage memory에 보관된다. 1. cache() 와 persist() cache와 persist 모두 동일한데 persist에서는 storageLevel을 설정해줄 수 있다는 점에서 차이가 있다. `cache()`는 Dataframe 의 경우`persist(storageLevel=MEMORY_AND_DISK)` , RDD의 경우 ` persist(storageLevel=MEMORY_ONLY)` 와 같은 함수이다. https://spark.apache.org/..

분산 환경에서는 고르지 못한 리소스, 데이터 로드 등 task 실행 속도가 느려지는 상황이 많이 있다. Speculative Execution 한 단계에서 여러 작업의 실행 시간이 다를 수 있다. 다른 task와 비교하여 특히 느리게 실행되는 Task가 있을 수 있는데, 클러스터 내 노드의 구성 성능 차이, 네트워크 변동 등의 이유가 있을 수 있다. speculative execution은 동일한 단계에 오랫동안 완료되지 않는 작업이 있을 경우, 다른 노드에서 동일한 작업을 시작하고, 먼저 완료되는 task를 성공처리하고, 이외의 다른 시도는 종료한다. 클러스터 내 노드 간 성능 차이가 있는 경우 speculative execution 기능을 활성화하는 것이 좋다. 주요 구성 옵션 spark.specul..

보호되어 있는 글입니다.