🐥

Spark 2.x 에서는 rule-based/cost-based의 방식으로 쿼리를 최적화한다. Spark 3.0부터는 런타임에 최적화할 수 있는 AQE가 도입되었고, Spark 3.2 부터는 AQE 활성화가 디폴트 버전이다. AQE에서는 쿼리를 최적화하기 위해 크게 아래의 세 가지의 기능을 지원한다. Coalescing Post shuffle partitions Switching join strategies Optimizing Skew Join Coalescing Shuffle Partitions 셔플 파티션의 수를 최적화해주는 기능이다. 셔플은 스파크 어플리케이션의 성능에 매우 큰 역할을 차지하고, 기존에는 사용자가 셔플 크기 및 파티션을 직접 확인하며 수동으로 파티션 수를 조정해주어야 했다. AQE에..

참고: https://community.cloudera.com/t5/Community-Articles/Spark-Memory-Management/ta-p/317794 Spark Executor Memory 구조 Executor Container의 메모리 구조는 이미지와 같이 크게 Memory Inside of JVM: spark.executor.memory Memory Outside of JVM: spark.yarn.executor.MemroyOverHead 로 나뉜다. Object의 읽기/쓰기 속도는 `on-heap > off-heap > disk` 순서로 빠르다. Memory Inside of JVM (=On-Heap Memory = In-Memory) java GC 관리 하에 있는 메모리 영역이다...

graphX는 스파크에서 graph computation을 수행하기 위한 Spark API이다. 스파크 문서에 설명되어 있는 GraphX의 장점은 아래와 같다. Flexibility 단일 시스템 내에서 ETA, 분석, 그래프 계산을 통합할 수 있다. RDD/Dataframe에서 그래프로 효율적인 변환이 가능하며, Pregel API로 사용자 정의 반복 그래프 알고리즘을 작성할 수 있다. Speed 실제 그래프 컴퓨팅 목적으로 만들어진 시스템 (specialized graph processing system)과 비교하여 비슷한 성능을 보인다. Algorithm 다양한 알고리즘이 있다. PageRank Connected components Label propagation SVD++ Strongly conne..

스파크에서 Join 시에는 상황에 따라 Shuffle 연산을 수행해야 하고, 이는 executor 사이의 방대한 데이터 이동을 야기한다. 스파크에서 사용되는 조인의 방식은 아래와 같다. 1. Broadcast Hash Join 두 개의 데이터를 조인할 때 한 쪽이 매우 작고 한 쪽은 매우 큰 사이즈의 데이터일 때, 더 작은 쪽의 데이터가 Driver에 의해 모든 executor로 복사되는 방식이다. 사이즈가 작은 테이블의 키 값을 해시 테이블로 만든다. 해시 테이블의 값을 큰 테이블 파티션에 복사해준다. 각 파티션 내부에서 조인을 진행한다. 이 방식은 shuffle을 생략할 수 있기 때문에 데이터 이동에 따른 코스트가 사라진다. 모든 executor에 데이터를 복사하기 때문에 복사하려는 dataset이 ..

준비물: 인터넷이 되는 vm, rpm 1. rpm 패키지 다운로드 yum install --downloadonly --downloaddir=$다운로드받을경로 $패키지명 # 예시 yum install --downloadonly --downloaddir=./test librdkafka-devel-0.11.4-1.el7.x86_64 패키지 명은 정확하게 적어줘야한다. 이렇게 사용하는 이유는 의존패키지까지 알아서 다운로드 받아주기 때문이다. 예를들어 `librdkafka-devel`의 경우에는 아래와 같이 두 개의 rpm 파일이 받아진다. (디펜던시때문에) librdkafka-0.11.4-1.el7.x86_64.rpm librdkafka-devel-0.11.4-1.el7.x86_64.rpm 2. 설치하려는 서버..