'데이터' 카테고리의 글 목록 (3 Page)

[Spark] Logical Plan 과 Physical Plan

보호되어 있는 글입니다.

format_list_bulleted 데이터/Spark
· 2024. 3. 25.

[Spark] RDD vs Dataframe

스파크에서 데이터 구조 종류에는 세 개가 있다. RDD: spark 1.0 도입 Dataframe: spark 1.3 도입 Dataset: spark 1.6 도입 참고로 spark 2.0부터 dataframe api는 datasets과 통합되었다. (스칼라와 자바에서) ` Unifying DataFrames and Datasets in Scala/Java: Starting in Spark 2.0, DataFrame is just a type alias for Dataset of Row. ` 1. RDD란? Reillient Distributed Data로 풀어쓰여지는 RDD는 회복력 있는/불변의 분산 데이터 정도로 해석될 수 있다. 스파크의 가장 기본적인 데이터 단위이다. 불변의 특성 RDD는 이름(Re..

format_list_bulleted 데이터/Spark
· 2024. 3. 24.

[Spark] spark-submit 과 옵션

spark-submit 이란? spark-submit은 스파크 application을 클러스터에 배포할 때 사용하는 스크립트이다. 이 스크립트는 application에서 사용하는 리소스를 제어하는 여러 플래그를 제공한다. spark-submit 옵션 ./bin/spark-submit \ --class \ --master \ --deploy-mode \ --conf = \ ... # other options \ [application-arguments] --py-files file1.py,file2.py,file3.zip my_python_file.py 위의 spark-submit 주요 옵션 예시의 플래그 값들을 하나씩 살펴보면 아래와 같다. master 플래그 (cluster manager) spark ..

format_list_bulleted 데이터/Spark
· 2024. 3. 24.

[Spark] Adaptive Query Execution(AQE)

Spark 2.x 에서는 rule-based/cost-based의 방식으로 쿼리를 최적화한다. Spark 3.0부터는 런타임에 최적화할 수 있는 AQE가 도입되었고, Spark 3.2 부터는 AQE 활성화가 디폴트 버전이다. AQE에서는 쿼리를 최적화하기 위해 크게 아래의 세 가지의 기능을 지원한다. Coalescing Post shuffle partitions Switching join strategies Optimizing Skew Join Coalescing Shuffle Partitions 셔플 파티션의 수를 최적화해주는 기능이다. 셔플은 스파크 어플리케이션의 성능에 매우 큰 역할을 차지하고, 기존에는 사용자가 셔플 크기 및 파티션을 직접 확인하며 수동으로 파티션 수를 조정해주어야 했다. AQE에..

format_list_bulleted 데이터/Spark
· 2024. 3. 23.

[Spark] 스파크의 Executor Memory 구조

참고: https://community.cloudera.com/t5/Community-Articles/Spark-Memory-Management/ta-p/317794 Spark Executor Memory 구조 Executor Container의 메모리 구조는 이미지와 같이 크게 Memory Inside of JVM: spark.executor.memory Memory Outside of JVM: spark.yarn.executor.MemroyOverHead 로 나뉜다. Object의 읽기/쓰기 속도는 `on-heap > off-heap > disk` 순서로 빠르다. Memory Inside of JVM (=On-Heap Memory = In-Memory) java GC 관리 하에 있는 메모리 영역이다...

format_list_bulleted 데이터/Spark
· 2024. 3. 23.

[Spark] GraphX

graphX는 스파크에서 graph computation을 수행하기 위한 Spark API이다. 스파크 문서에 설명되어 있는 GraphX의 장점은 아래와 같다. Flexibility 단일 시스템 내에서 ETA, 분석, 그래프 계산을 통합할 수 있다. RDD/Dataframe에서 그래프로 효율적인 변환이 가능하며, Pregel API로 사용자 정의 반복 그래프 알고리즘을 작성할 수 있다. Speed 실제 그래프 컴퓨팅 목적으로 만들어진 시스템 (specialized graph processing system)과 비교하여 비슷한 성능을 보인다. Algorithm 다양한 알고리즘이 있다. PageRank Connected components Label propagation SVD++ Strongly conne..

format_list_bulleted 데이터/Spark
· 2024. 3. 18.