[Spark] spark에서 s3 접근하기 (ACCESS_KEY, SECRET_KEY)

2.4.4 이하와 2.4.5 이상 버전에서 하둡 configuration 설정하는게 좀 다른 듯 하다.

 

Spark 버전 2.4.4 이하 

spark = SparkSession.builder.appName("myapp") \
	.config("some.config", "some.value") \
    .getOrCreate()

# signature V4 를 사용하는 리전일 경우 아래 property 설정
spark.sparkContext.setSystemProperty("com.amazonaws.services.s3.enableV4", "true")

# s3 정보 설정
spark.sparkContext._jsc.hadoopConfiguration().set(f"fs.s3a.bucket.{mybucket}.endpoint", my_s3_url)
spark.sparkContext._jsc.hadoopConfiguration().set(f"fs.s3a.bucket.{mybucket}.access.key", my_access_key)
spark.sparkContext._jsc.hadoopConfiguration().set(f"fs.s3a.bucket.{mybucket}.secret.key", secret_key)

2.4.4 이하는 스파크에서 하둡 configuration에 접근하려면 _jsc object (java spark context) 를 통해서 해야한다.

중간에 fs.s3a.bucekt.버킷명. ... 이런식으로 키값을 준 이유는 서로 다른 키를 가진 여러개의 버킷에 접근하기 위함이다.

(참고: https://hadoop.apache.org/docs/r2.8.0/hadoop-aws/tools/hadoop-aws/index.html#Configurations_different_S3_buckets)

 

 

 

Spark 버전 2.4.5 이상

conf = SparkConf()
conf.set('spark.hadoop.fs.s3a.endpoint', my_s3_url)
conf.set('spark.hadoop.fs.s3a.access.key', my_access_key)
conf.set('spark.hadoop.fs.s3a.secret.key', my_secret_key

spark = SparkSession.builder.appName("myapp") \
	.config("some.config", "some.value") \
    .getOrCreate()

2.4.5부터는 hadoop configure를 설정하기 위해 _jsc 대신 그냥 `SparkConf.set()`을 사용해서 설정할 수 있다.

(참고: https://spark.apache.org/docs/latest/configuration.html#custom-hadoophive-configuration)

 

 

[참고] ACCESS_KEY, SECRET_KEY 가져오는 방법

스크립트에 키 값을 박아놓을 수는 없어 서치해보니 boto3 라이브러리를 사용하거나 spark config에 넣어주는 듯 하다.

boto3 라이브러리 사용

boto client에서 자격증명을 확인하는 순서

(참고: https://boto3.amazonaws.com/v1/documentation/api/latest/guide/credentials.html#configuring-credentials)

위 항목중에 하나로 자격증명을 관리하고 있다면 아래와 같이 boto 라이브러리를 사용하면 된다.

import boto3

# default profile인 경우 profile_name 생략 가능
boto_session = boto3.Session(profile_name='my-profile')
credentials = boto_session.get_credentials()
access_key = credentials.access_key
secret_key = credentials.secret_key

이 방법은 cluster deploy mode 에서는 사용하지 못할 것 같다.

spark-defaults.conf 에 설정

1회성 스크립트에 매번 boto3을 이용해 access key와 secret key를 넣는게 4줄이지만 귀찮을 수 있다.

그럴 때는 spark 설치 경로에 있는 spark-defaults.conf 설정파일을 수정하면 될 듯 하다.

파일을 열어보면 "spark." 으로 시작하는 여러가지 설정값들이 있는데 위에서 스파크 코드 내에서 설정했던 spark.hadoop.fs.s3a.access.key 같은 값들을 여기에 집어넣어주면 된다. 

 

 

* 추가참고!

pyspark가 submit되고 sparkcontext intialize 시점에 sparkContext는 Py4J를 통해 java gateway를 초기화 함 (JVM에 연결)

`sc._jvm`: JVM의 게이트웨이

`sc._jsc`: 해당 JVM의 spark context에 대한 프록시

일반적으로 `_jsc` 멤버를 사용하는 것은 비추라고 한다. 

추가로 python으로 정의된 udf의 경우 jvm 객체만으로는 실행될 수가 없어서 python subprocess를 실행함 -> 데이터 전송 부하가 있어 병목현상 발생 

최대한 dataframeapi로만 코드를 작성하는게 좋음

이부분은 나중에 추가 정리 하기