[Spark] GraphX

graphX는 스파크에서 graph computation을 수행하기 위한 Spark API이다.

 

스파크 문서에 설명되어 있는 GraphX의 장점은 아래와 같다.

 

Flexibility

단일 시스템 내에서 ETA, 분석, 그래프 계산을 통합할 수 있다. RDD/Dataframe에서 그래프로 효율적인 변환이 가능하며, Pregel API로 사용자 정의 반복 그래프 알고리즘을 작성할 수 있다.

Speed

실제 그래프 컴퓨팅 목적으로 만들어진 시스템 (specialized graph processing system)과 비교하여 비슷한 성능을 보인다.

Algorithm

다양한 알고리즘이 있다.

• PageRank
• Connected components
• Label propagation
• SVD++
• Strongly connected components
• Triangle Count

 

GraphX는 아쉽게도 Scala에서만 지원하고 있다. 

다른 언어로 graphX를 사용하고 싶다면 GraphFrames 패키지를 주입해서 사용하면 된다.