🐥

분산 환경에서는 고르지 못한 리소스, 데이터 로드 등 task 실행 속도가 느려지는 상황이 많이 있다. Speculative Execution 한 단계에서 여러 작업의 실행 시간이 다를 수 있다. 다른 task와 비교하여 특히 느리게 실행되는 Task가 있을 수 있는데, 클러스터 내 노드의 구성 성능 차이, 네트워크 변동 등의 이유가 있을 수 있다. speculative execution은 동일한 단계에 오랫동안 완료되지 않는 작업이 있을 경우, 다른 노드에서 동일한 작업을 시작하고, 먼저 완료되는 task를 성공처리하고, 이외의 다른 시도는 종료한다. 클러스터 내 노드 간 성능 차이가 있는 경우 speculative execution 기능을 활성화하는 것이 좋다. 주요 구성 옵션 spark.specul..

버전정보 Airflow 2.5.3 Python 3.8 왜인지는 모르겠지만 2.5.3 버전을 사용하고 있는 환경에서는 telegram provider 설치는 되는데 connection type 리스트에는 안떴다 ㅠ (버전호환성도 다 맞춤) 2.6.3 버전으로 올리고 provider 재설치 후 다시 확인해보니 operator가 잘 동작하는 건 확인했는데.. 어쨌든 2.5.3 버전에서 사용하기 위해 request 라이브러리를 이용해서 post 요청을 보내는 방식으로 Webhook을 만들었다. 1. Telegram Connection 생성 이건 그냥 hook에서 connection 정보 어떻게 가져올지 상황에 맞게 설정하면 될 듯 하다. 나같은 경우는 그냥 http connection type을 사용했다. `H..

보호되어 있는 글입니다.

스파크에서 데이터 구조 종류에는 세 개가 있다. RDD: spark 1.0 도입 Dataframe: spark 1.3 도입 Dataset: spark 1.6 도입 참고로 spark 2.0부터 dataframe api는 datasets과 통합되었다. (스칼라와 자바에서) ` Unifying DataFrames and Datasets in Scala/Java: Starting in Spark 2.0, DataFrame is just a type alias for Dataset of Row. ` 1. RDD란? Reillient Distributed Data로 풀어쓰여지는 RDD는 회복력 있는/불변의 분산 데이터 정도로 해석될 수 있다. 스파크의 가장 기본적인 데이터 단위이다. 불변의 특성 RDD는 이름(Re..

spark-submit 이란? spark-submit은 스파크 application을 클러스터에 배포할 때 사용하는 스크립트이다. 이 스크립트는 application에서 사용하는 리소스를 제어하는 여러 플래그를 제공한다. spark-submit 옵션 ./bin/spark-submit \ --class \ --master \ --deploy-mode \ --conf = \ ... # other options \ [application-arguments] --py-files file1.py,file2.py,file3.zip my_python_file.py 위의 spark-submit 주요 옵션 예시의 플래그 값들을 하나씩 살펴보면 아래와 같다. master 플래그 (cluster manager) spark ..