🐥

Spark on KubernetesSpark에서는 cluster manager로 kubernetes를 지원한다(2.3 버전부터). kubernetes가 관리하는 클러스터에서 spark가 실행되고, 네이티브 kubernetes 스케줄러를 사용한다. 장점컨테이너 기반 워크로드쿠버네티스의 HPA를 사용해 executor 수를 자덩으로 조정할 수 있다.작업 및 배포 관리 유현성단점초기 설정 복잡성kubernetes 스케줄링 문제: third party scheduler를 사용해야 함kubernetes 클러스터의 상태에 spark 성능 및 가용성에 영향을 받음복잡한 모니터링 및 로깅 - spark 자체 로그, pod 로그, 시스템 로그, 이벤트 로그 등...data locality - kubernetes에서는 s..

중앙 집중식 로깅일반적으로 분산환경에서 마이크로서비스를 운영하면 각 서비스에서 발생한 로그 파일들은 파편화되어 각각 저장된다.서로 다른 개별 서비스에서 발생하는 로그를 연결지어 처음부터 끝까지 순서대로 추적하는 것은 어렵다.따라서 로그의 출처에 상관없이 모든 로그를 중앙 집중적으로 저장, 분석해야 하며, 서비스 실행 환경에서 분리하여 관리되어야 한다. 장점여러 서버나 어플리케이션에서 생성된 로그를 한 곳에 수집하기 때문에 다양한 시스템의 상태를 한 번에 파악할 수 있다.모든 로그 데이터를 통합하여 저장하므로 관리가 용이해진다. (보통 용량이 크고 확장 가능한 DB나 클라우드 스토리지사용)중앙에서 로그를 한 번에 검색하고 분석할 수 있으므로 이벤트를 추적하기가 쉬워지고, 문제 해결 시간이 단축된다.단점단일..