[Spark] RDD vs Dataframe

스파크에서 데이터 구조 종류에는 세 개가 있다.

• RDD: spark 1.0 도입
• Dataframe: spark 1.3 도입
• Dataset: spark 1.6 도입

참고로 spark 2.0부터 dataframe api는 datasets과 통합되었다. (스칼라와 자바에서)

` Unifying DataFrames and Datasets in Scala/Java: Starting in Spark 2.0, DataFrame is just a type alias for Dataset of Row. `

출처: https://www.databricks.com/blog/2016/07/14/a-tale-of-three-apache-spark-apis-rdds-dataframes-and-datasets.html

 

1. RDD란?

Reillient Distributed Data로 풀어쓰여지는 RDD는 회복력 있는/불변의 분산 데이터 정도로 해석될 수 있다.

스파크의 가장 기본적인 데이터 단위이다.

 

불변의 특성

RDD는 이름(Reillient)에서도 알 수 있듯이 불변(Read only)의 특징을 가진다.

Spark Lineage (출처: https://sparkbyexamples.com/spark/what-is-lineage-graph-in-spark/)

예를들어 어떠한 RDD 연산이 위와 같은 DAG(=lineage)의 순서로 수행된다고 가정하면,

RDD는 read only 이기 때문에 한 단계의 연산을 거칠 때마다 기존 source RDD를 modify하는 것이 아닌 새로운 RDD를 생성한다. 

이와 같은 특성덕분에 중간 단계에서 노드 간 커넥션 등의 이슈로 RDD가 소실되었더라도, DAG를 통해 다시 복기하고 복구될 수 있다.(=fault tolerant)

 

Lazy Evaluation (느긋한 연산)

RDD의 연산에는 크게 두 가지의 종류가 있는데, Transformation 과 Action이다.

Transformation과 Action 연산의 종류는 아래의 문서에 잘 나열되어 있다.

https://spark.apache.org/docs/latest/rdd-programming-guide.html#transformations

 

Transformation

새로운 RDD를 리턴한다. 단순히 어떠한 연산인지를 기록할 뿐이고, 실제로는 아무런 연산도 수행되지 않는다.

Action

실제 데이터 처리를 수행하는 연산자이다. 기록된 모든 Transformation 작업을 수행한다. 실제 데이터를 리턴해준다.

 

 

Transformation 연산이 아무리 많이 있어도 실제 Action 연산자가 있기 전까지는 아무런 연산도 수행되지 않는데, 이러한 동작 방식을 Lazy evaluation으로 부르고, RDD 동작의 핵심이 된다.

위의 Spark Lineage를 예로 들면 Filter/Aggregate 에서는 실제 어떠한 연산도 수행되지 않고 일종의 메타데이터만 기록되다가, 마지막 Output을 만들기 위한 Action 연산자가 호출될 때 실제 연산이 수행되는 것이다.

 

2. Dataframe & Datasets

Dataframe은 extended RDD로, RDD의 상위 개념에 속한다.

RDD는 non-structured data 형태를 다루지만, dataframe은 테이블과 같은 형태의 스키마를 가지고 있는 structured data 구조이다

 

Dataset은 extension of Dataframe으로 DataFrame = row 타입의 Dataset ( Dataset[Row] ) 이다. 

python을 사용해서 dataset의 개념이 좀 어려웠는데, Dataframe에서 Dataset으로 변환하는 방식을 살펴보니 느낌이 왔다.

case class Person(name: String, age: Int) // 데이터 타입 정의
val Persondf = spark.read.... // 데이터프레임 로드
val PersonDS = df.as[Person] // Dataset으로 변환

Dataframe을 생성시에는 Person 객체를 Row타입을 직렬화한 바이너리 구조로 변환한다.

Dataset 생성시에는 인코더(encoder)가 런타임 시에 Person 객체를 바이너리 구조로 생성한다. DatasetAPI 사용 시에 스파크는 Dataset에 접근할 때 Row 포맷이 아닌 사용자 정의 데이터타입을 반환한다.

• 장점: 사용자에게 유연성 제공
• 단점: 사용자 정의 데이터 타입으로의 변환작업이 있기 때문에 Dataframe 대비 느린 성능

Dataset은 JVM을 이용하는 스칼라와 자바에서만 사용할 수 있다.

datasets의 type-safety

위 표에서 볼 수 있다시피, Dataset은 JVM 타입의 객체로 데이터가 표현되기 때문에 type-safety를 제공하고, 컴파일 시점에서 타입을 검사할 수 있어 analysis error를 발견할 수 있다.

 

 

3. 사용 시기

일반적으로 각 API 별로 장단점이 명확해서 사용되어야 하는 케이스를 아래와 같이 정리해볼 수 있을 것 같다.

RDD

Low-Level API를 사용해야 할 때

원천데이터가 unstructured 형태일 때

스키마를 신경쓰고 싶지 않을 때

최적화를 신경쓰지 않을 때

데이터를 함수형 프로그래밍으로 조작하고 싶을 때 (udf 등)

 

Dataframe

데이터 추상화가 필요할 때, 도메인별 API를 사용하고 싶을 때

단순화된 API를 사용하고 싶을 때, 간결한 코드를 작성하고 싶을 때

 

Dataset

dataframe이 필요한 상황에서 추가로 타입 안정성이 필요할 때

dataframe 대비 느린 성능을 감수할 수 있을 때

 

참고: https://www.databricks.com/blog/2016/07/14/a-tale-of-three-apache-spark-apis-rdds-dataframes-and-datasets.html

 

 

[추가] Spark RDD/Dataframe API Category

위에서도 설명했다시피, 스파크의 API는 크게 transformations와 actions로 나뉜다.

1. Transformation

데이터를 변환할 때 사용하는 API. action 전까지는 모든 transformation은 실행되지 않는다.

1-1. narrow dependency

데이터가 여러개의 파티션으로 나뉘어져서 병렬적으로 수행될 수 있는 API.

분산처리가 가능하기 때문에 상대적으로 낮은 비용의 transformation이다.

RDD에는 `map()`, `mapPartition()`, `flatMap()`, `filter()`, `union()` 이 있고,

Dataframe에는 `select()`, `filter()`, `withColumn()`, `drop()`, `where()` 등이 있다.

 

1-2. wide dependency

모든 데이터를 모아서 처리해야 하는 API.

한꺼번에 모아서 처리되기 때문에 narrow 에 비해서는 높은 비용의 transformation이다.

RDD에는 `groupByKey()`, `aggregateByKey()`, `sortByKey()`, `reduceByKey()`, `aggregate()`, `join()`, `repartitions()` 등이 있고,

Dataframe에는 `groupBy()`, `join()`, `agg()`, `cube()`, `rollup()`, `repartitions()` 등이 있다.

 

2. Action

실제로 job이 시작되는 연산이다. action 단계에서 실제로 모든 연산이 수행되기 때문에 staging이라고 볼 수 있다. 

스파크는 staging 단위로 logical plan을 작성하기 때문에 action이 어떤 순간에 수행되냐에 따라 optimization 방식이 달라질 수 있다.

RDD에는 `collect()`, `count()`, `first()`, `take()`, `reduce()`, `saveAsTextFile()` 등이 있고,

Dataframe에는 `show()`, `head()`, `count()`, `collect()` 등이 있다.