Spark, Trino on kubernetes

Spark on KubernetesSpark에서는 cluster manager로 kubernetes를 지원한다(2.3 버전부터). kubernetes가 관리하는 클러스터에서 spark가 실행되고, 네이티브 kubernetes 스케줄러를 사용한다. 장점컨테이너 기반 워크로드쿠버네티스의 HPA를 사용해 executor 수를 자덩으로 조정할 수 있다.작업 및 배포 관리 유현성단점초기 설정 복잡성kubernetes 스케줄링 문제: third party scheduler를 사용해야 함kubernetes 클러스터의 상태에 spark 성능 및 가용성에 영향을 받음복잡한 모니터링 및 로깅 - spark 자체 로그, pod 로그, 시스템 로그, 이벤트 로그 등...data locality - kubernetes에서는 s..

• format_list_bulleted 카테고리 없음
• · 2024. 10. 9.

중앙 집중식 로깅 시스템 (EFK stack)

중앙 집중식 로깅일반적으로 분산환경에서 마이크로서비스를 운영하면 각 서비스에서 발생한 로그 파일들은 파편화되어 각각 저장된다.서로 다른 개별 서비스에서 발생하는 로그를 연결지어 처음부터 끝까지 순서대로 추적하는 것은 어렵다.따라서 로그의 출처에 상관없이 모든 로그를 중앙 집중적으로 저장, 분석해야 하며, 서비스 실행 환경에서 분리하여 관리되어야 한다. 장점여러 서버나 어플리케이션에서 생성된 로그를 한 곳에 수집하기 때문에 다양한 시스템의 상태를 한 번에 파악할 수 있다.모든 로그 데이터를 통합하여 저장하므로 관리가 용이해진다. (보통 용량이 크고 확장 가능한 DB나 클라우드 스토리지사용)중앙에서 로그를 한 번에 검색하고 분석할 수 있으므로 이벤트를 추적하기가 쉬워지고, 문제 해결 시간이 단축된다.단점단일..

• format_list_bulleted 기타
• · 2024. 10. 9.

[Apache Nifi] Mysql DB 연결하기

1. Mysql 연결 jdbc 다운로드https://dev.mysql.com/downloads/connector/j/홈페이지에서 환경에 맞는 jdbc를 다운로드 받아 압축파일 내에 있는 .jar 파일을 Nifi 실행 서버에 위치시킨다.여러 노드로 클러스터링되어 있다면 모두 동일 위치에 넣어주어야 한다.  2. DBCPConnectionPool 생성Nifi > 우클릭 > Configure > Controller Services에서 DBCPConnectionPool 추가 후 설정에서 아래의 항목을 채워주면 된다.Database Connection URL: jdbc:mysql://주소:port/db명Database Driver Class Name: com.mysql.jdbc.DriverDatabase Driv..

• format_list_bulleted 기타
• · 2024. 7. 15.

Apache Iceberg 사용 사례 (LINE Data Platform에서 Apache Iceberg 도입)

https://www.youtube.com/watch?v=7y9gNwqLNtU위 동영상 정리함 hive -> iceberg로 변경한 사례 Line 데이터 플랫폼의 기존 방식데이터 플랫폼의 특징데이터의 크기/종류/활용 규모가 크다머신 수: 5000 대+데이터 크기: 290 PB+하이브 테이블 수: 4만개 (모두 external table)log ingestion rate: 초당 17.5M+하루에 구동되는 job 수: 15만+플랫폼 사용자 수: 700+ Query ProcessingSQL 기반, spark, hive, trino, flink를 분산 sql 쿼리 엔진으로 사용데이터파일이 어디에 있는지, 어떻게 읽고 쓸수있는지에 대한 정보 필요쿼리에 대한 테이블을 어떻게 관리할지는 테이블 포맷에 의해 정의됨 *..

• format_list_bulleted 데이터/하둡
• · 2024. 5. 23.

[Spark] 스파크 스트리밍의 이벤트 시간 처리와 Watermark

스트리밍 쿼리에서의 집계는 보통 현재시간부터 T시간 전까지 집계된 데이터를 의미한다. 그런데 예를들어 지난 15초 동안의 집계 데이터라고 하면 15초의 시간은 언제부터 언제까지인지 의문이 생길 수 있다. 스트림 처리에서 바라보는 시간은 다양한 기준이 있다. 스트림 처리에서의 시간 관점 이벤트 시간 (event time) 데이터 의존적인 타임스템프로, 데이터 내에 존재하는 데이터 발생 시간이다. 데이터 의존적이기 때문에 어떠한 값을 타임스탬프로 넣을 것인지는 다르겠지만 주로 이벤트가 발생한 시간을 많이 사용한다. windowing 에 사용할 수 있는 아주 적절한 시간 중 하나이다. 수집 시간 (ingestion time) 스트림 처리 엔진에 데이터가 처음으로 수집된, 즉 들어온 시간을 나타낸다. 처리 시간..

• format_list_bulleted 데이터/Spark
• · 2024. 4. 21.

[Spark] Structured Streaming - stateful transformation과 Window operation

streaming 코드를 작성하면서 filter, count 등 여러가지 연산자를 사용할 수 있다.과거 데이터의 정보가 필요없는 stateless 연산자와, 과거의 데이터가 필요해 데이터 유지가 필요한 statefull 연산자로 나눌 수 있다.Stateless Trasformation과거의 데이터와 상관 없이 현재의 데이터만 사용하는 연산자Stateful Transfmraion이전 배치의 데이터의 유지가 필요한 연산자예: aggreagion, counter, join, group, windowing 등Stateless Transformation각 배치를 이전 배치를 참조하지 않고 독립적으로 처리한다. -> 배치의 출력이 해당 배치의 데이터만을 기반으로 함을 의미select, filter, map, fla..

• format_list_bulleted 데이터/Spark
• · 2024. 4. 16.