🐥

스파크에서 데이터 구조 종류에는 세 개가 있다. RDD: spark 1.0 도입 Dataframe: spark 1.3 도입 Dataset: spark 1.6 도입 참고로 spark 2.0부터 dataframe api는 datasets과 통합되었다. (스칼라와 자바에서) ` Unifying DataFrames and Datasets in Scala/Java: Starting in Spark 2.0, DataFrame is just a type alias for Dataset of Row. ` 1. RDD란? Reillient Distributed Data로 풀어쓰여지는 RDD는 회복력 있는/불변의 분산 데이터 정도로 해석될 수 있다. 스파크의 가장 기본적인 데이터 단위이다. 불변의 특성 RDD는 이름(Re..

spark-submit 이란? spark-submit은 스파크 application을 클러스터에 배포할 때 사용하는 스크립트이다. 이 스크립트는 application에서 사용하는 리소스를 제어하는 여러 플래그를 제공한다. spark-submit 옵션 ./bin/spark-submit \ --class \ --master \ --deploy-mode \ --conf = \ ... # other options \ [application-arguments] --py-files file1.py,file2.py,file3.zip my_python_file.py 위의 spark-submit 주요 옵션 예시의 플래그 값들을 하나씩 살펴보면 아래와 같다. master 플래그 (cluster manager) spark ..

Spark 2.x 에서는 rule-based/cost-based의 방식으로 쿼리를 최적화한다. Spark 3.0부터는 런타임에 최적화할 수 있는 AQE가 도입되었고, Spark 3.2 부터는 AQE 활성화가 디폴트 버전이다. AQE에서는 쿼리를 최적화하기 위해 크게 아래의 세 가지의 기능을 지원한다. Coalescing Post shuffle partitions Switching join strategies Optimizing Skew Join Coalescing Shuffle Partitions 셔플 파티션의 수를 최적화해주는 기능이다. 셔플은 스파크 어플리케이션의 성능에 매우 큰 역할을 차지하고, 기존에는 사용자가 셔플 크기 및 파티션을 직접 확인하며 수동으로 파티션 수를 조정해주어야 했다. AQE에..

참고: https://community.cloudera.com/t5/Community-Articles/Spark-Memory-Management/ta-p/317794 Spark Executor Memory 구조 Executor Container의 메모리 구조는 이미지와 같이 크게 Memory Inside of JVM: spark.executor.memory Memory Outside of JVM: spark.yarn.executor.MemroyOverHead 로 나뉜다. Object의 읽기/쓰기 속도는 `on-heap > off-heap > disk` 순서로 빠르다. Memory Inside of JVM (=On-Heap Memory = In-Memory) java GC 관리 하에 있는 메모리 영역이다...

graphX는 스파크에서 graph computation을 수행하기 위한 Spark API이다. 스파크 문서에 설명되어 있는 GraphX의 장점은 아래와 같다. Flexibility 단일 시스템 내에서 ETA, 분석, 그래프 계산을 통합할 수 있다. RDD/Dataframe에서 그래프로 효율적인 변환이 가능하며, Pregel API로 사용자 정의 반복 그래프 알고리즘을 작성할 수 있다. Speed 실제 그래프 컴퓨팅 목적으로 만들어진 시스템 (specialized graph processing system)과 비교하여 비슷한 성능을 보인다. Algorithm 다양한 알고리즘이 있다. PageRank Connected components Label propagation SVD++ Strongly conne..