[Spark] spark-submit 과 옵션

spark-submit 이란?

spark-submit은 스파크 application을 클러스터에 배포할 때 사용하는 스크립트이다.

이 스크립트는 application에서 사용하는 리소스를 제어하는 여러 플래그를 제공한다.

bin 디렉토리 내의 실행 파일

 

spark-submit 옵션

./bin/spark-submit \
  --class <main-class> \
  --master <master-url> \
  --deploy-mode <deploy-mode> \
  --conf <key>=<value> \
  ... # other options
  <application-jar> \
  [application-arguments]
    --py-files file1.py,file2.py,file3.zip
    my_python_file.py

위의 spark-submit 주요 옵션 예시의 플래그 값들을 하나씩 살펴보면 아래와 같다.

 

master 플래그 (cluster manager)

spark application의 자원을 할당받기 위해 어떤 cluster manager를 사용할 것인지를 설정한다.

master 플래그 값	설명
local[*]	로컬 모드에서 머신이 갖고 있는 만큼의 코어로 실행한다.
local[N]	로컬 모드에서 N개의 코어로 실행한다.
local	로컬 모드에서 싱글 코어로 실행한다.
yarn	yarn 클러스터에 접속한다. 모든 워커노드에 하둡 설정 디렉토리를 `HADOOP_CONF_DIR` 이나 `YARN_CONF_DIR `환경변수로 설정해주어야 한다.
spark://host:port or mesos://host:pord	스파크(standalone)/메소스 클러스터의 지정한 포트로 접속한다.
k8s://host:port	쿠버네티스로 실행한다.

 

deploy mode (배포 방법)

application 실행 시 할당받을 리소스의 물리적 위치를 설정한다.

스파크의 deploy mode 는 아래의 세 가지이다.

deploy-mode	설명
local mode	스파크 어플리케이션이 단일 머신에서 실행될 때 사용하는 배포 모드이다.
client mode	spark driver는 클러스터 외부(gateway machine or edge node)에서 실행된다. spark executors는 클러스터에서 실행된다.
cluster mode	spark driver와 executors 모두 클러스터 워커 노드에서 실행된다.

client와 cluster mode의 가장 큰 차이점은 driver의 실행 위치이다.

client mode

client mode의 경우 application master는 단순히 노드 매니저에게 자원 요청만 한다. 클라이언트 머신 위에서 driver가 실행되기 때문에 바로 사용중인 리소스 및 로그를 확인할 수 있고, 개발 시 대화형 디버깅을 할 때 주로 사용되는 모드이다.

https://docs.cloudera.com/runtime/7.2.17/running-spark-applications/topics/spark-yarn-deployment-modes.html

 

cluster mode

driver가 클러스터 내부에서 실행되며, 컴파일된 jar/python script 등을 cluster manager에게 전송한다.

driver가 application master 상에서 동작되어서 로그를 바로 확인하기 힘들다. 주로 운영환경에서 사용되는 배포 방식이다.

https://docs.cloudera.com/runtime/7.2.17/running-spark-applications/topics/spark-yarn-deployment-modes.html

 

 

Application Properties Config

아래는 다양한 어플리케이션 속성이다. `--conf <key1>=<value1> --conf <key2>=<value2>` 형태로 사용된다.

자주 쓰이는 플래그들만 정리했고, 다른 설정값들은 아래의 링크를 참고하면 된다.

보통 `sparkConf` 클래스를 통해서도 동일하게 설정 가능하다.

참고:https://spark.apache.org/docs/latest/configuration.html#application-propertieshttps://spark.apache.org/docs/latest/configuration.html

property name	default	설명
spark.driver.cores	1	driver가 사용할 코어 수로, cluster 모드에서만 유효하다.
spark.driver.memory	1g	driver가 사용할 메모리 크기이다. * client mode에서는 application이 sparkContext가 초기화되는 순간 driver JVM이 이미 시작된 상태이기 때문에 SparkConf 로 설정 불가하다. spark-submit 때 함께 제공하거나 spark-defaults.conf로 값을 설정해주어야 한다.
spark.executor.memory	1g	executor의 메모리 크기이다.
spark.driver.memoryOverhead	driverMemory*0.1 (최소 384m)	cluster 모드에서 driver당 할당할 오프힙 메모리의 크기 yarn, kubernetes에서만 지원하는 옵션이다.
spark.executor.cores	1

 

[참고] spark configuration 적용 우선순위

spark config를 적용하는 여러 방법과 우선순위는 아래와 같다.

• 1순위: SparkConf 클래스에서 설정 (`set()` 함수 사용)
• 2순위: spark-submit/spark-shell 실행 시 함께 제공하는 플래그 값
• 3순위: conf/spark-defaults.conf 설정값

 

기타 옵션

flag	설명
--class	main이 있는 클래스를 지정한다. (java, scala 프로그램 배포의 경우)
--jars	어플리케이션의 classPath에 있어야 할 경우 Jar 파일 목록이다. 외부 jar파일을 사용한다면 이 옵션으로 지정해주어야 한다.
--packages	컴마 구분자의 driver/executor classPath에 포함할 jar의 maven coordinates이다. 탐색 순서는 아래와 같다 local maven -> maven central -> remote repositories
--py-files	컴마 구분자의 PYTHONPATH에 들어가야 하는 .zip, .egg, .py 파일 목록들이다. client deploy mode에서는 로컬 파일을 가리켜야 하고, cluster deploy mode에서는 로컬파일이거나(모든 executor 내에 존재해야 함), 클러스터 내부에서 볼 수 있는 URL 형태여야 한다.
--repositories	packages에 지정된 maven 좌표를 검색하기 위한 컴마 구분자의 remote repository 목록이다.
--driver-class-path	드라이버에 classPath  목록이며, --jars를 사용하여 추가된 jar들은 자동으로 classPath에 포함된다.

참고: https://docs.cloudera.com/runtime/7.2.15/running-spark-applications/topics/spark-submit-options.html