하둡 에코시스템

하둡, 하둡 에코시스템

1. 하둡
   대용량으로 데이터를 분산처리할 수 있는 오픈소스 프레임워크
   대량으로 확장가능하기 때문에 빅데이터를 처리하는 데에 사용
   컴퓨팅 분석 워크로드를 병렬로 처리, 높은 수준의 내구성, 가용성, 확장성 제공
2. 하둡 2.0
   YARN 추가
   MapReduce 이외에 Spark, Giraph 등 다른 분산 처리 모델 수행 가능
3. 하둡 에코 시스템
   하둡을 이루고 있는 다양한 서브 프로젝트들의 모임
   하둡의 활용성을 높이기 위해 여러가지 소프트웨어가 추가되었다.

 

데이터 수집

데이터 수집 종류

1. 스트리밍 데이터 수집
   로그 데이터를 수집한다.
   
   i. Chukwa
   대규모 분산 시스템 모니터링을 위한 데이터 로그 수집 솔루션
   분산되어 있는 노드들의 로그 데이터를 수집
   모니터링 로그, 어플리케이션 로그, 하둡 로그 등 분산 시스템 모니터링을 위한 다양한 데이터를 수집한다.
   
   ii. Flume
   대량의 로그 데이터를 수집해 전송할 수 있는 솔루션
   연속적으로 생성되는 데이터 스트림을 수집하고 전송, HDFS에 저장
   클러스터의 모든 장치로부터 로그 파일을 수집하고 HDFS와 같은 중앙 저장소에 저장하는 로깅 시스템에 적합
   
   iii. scribe
   대량의 서버로부터 실시간으로 스트리밍 로그 수집
   다른 로그 수집 시스템보다 비교적 간단한 구조
   → Message queue에 쌓인 메시지를 DB에 저장, 저장 실패 시 로컬에 저장 후 DB가 복구되었을 때 다시 DB에 저장하는 부분까지만 보장하므로 구조가 간단하다.
   c++로 개발되어 다른 시스템보다 3~5배 빠른 성능
   facebook에서 개발했으나 현재 facebook에서 사용하지 않고 발전이 거의 없는 상태이다.
   
   
2. DBMS 데이터 수집
   한 DBMS 저장소에서 다른 저장소로 전송한다.
   
   i. Sqoop
   RDB처럼 구조화된 데이터 저장소 간 대량 데이터를 전송하는 솔루션
   병렬화된 데이터 전송을 통해 빠른 성능을 보장
   
   ii. Hiho
   Sqoop과 마찬가지로 대용량 데이터 전송 솔루션
   하지만 Oracle과 MySQL의 데이터 전송만 지원
   
   
3. 분산 메시지 처리
   i. Kafka
   대용량의 실시간 로그 처리에 특화된 분산 메시징 시스템
   로그데이터, 이벤트 메시지 등 API로 호출할 때 보내는 데이터들을 처리
   데이터 손실을 막기 위해서 디스크에 저장

kafka cluster는 중간에서 broker 역할을 수행.
broker의 분산 처리는 zookeeper가 수행하므로 kafka를 사용하기 위해서는 반드시 zookeeper가 실행되어야 한다.

 

 

데이터베이스와 데이터 저장

1. HDFS
   GFS 기반 하둡의 대표적인 파일 시스템
   대용량의 파일을 저장할 수 있다.
   
   < 특징 >
   파일을 block 단위로 분할해서 보관 → 블록을 사용해 스토리지의 서브 시스템을 단순하게 만듦. 블록 사이즈는 기본적으로 64mb 혹은 128mb.
   블록을 여러 노드에 분할해서 저장(기본 복제 개수 = 3) → 분산 파일 시스템
   범용 하드웨어를 사용해 좋은 확장성
   파일 시스템에 접근하기 위한 쉘 스크립트 제공
   변경을 허용하지 않는 엄격한 아키텍쳐이며 Write-once, read-many case에 적합하다.
   
   data node는 실제로 분산된 데이터(블록)를 저장
   name node는 data들에 대한 metadata 저장
   → 외부에서 특정 데이터에 접근하고자 할 때는 Name node의 metadata를 읽고 데이터에 대한 위치를 찾아 data node에 접근해야 한다.
   job tracker는 TaskTracker의 리소스를 관리하고, MapReduce job을 배포/스케쥴링/모니터링 하는 역할을 한다.
   TastTracker는 Task들을 실제로 처리하는 역할이다.
   
   
   
2. HBase
   HDFS 위에 만들어진 NoSQL 분산 데이터베이스
   < 특징 >
   컬럼패밀리로 구성된 스키마 없는 데이터베이스 → 조인, 인덱스가 없음
   HDFS에 대한 실시간 랜덤 읽기/쓰기 기능 제공
   
   
3. Kudu
   하둡 플랫폼용으로 개발된 컬럼 기반 스토리지
   < 특징 >
   Primary Key를 제공하고 내부적으로 B+ 트리로 저장되어 있으 밀리초 수준의 빠른 액세스 가능
   순차 읽기, 랜덤 읽기 모두 효율적
   간단한 CRUD 연산 등은 제공하나 join, group by와 같은 복잡한 연산은 제공하지 않아 impala와 같은 별도의 질의처리엔진 필요
   
   
4. 파일 포맷
   i. Parquet
   중첩된 데이터를 효율적으로 저장할 수 있는 컬럼 기준 저장 포맷
   컬럼 기반이므로 인코딩 효율과 쿼리 성능이 높음
   스키마는 파일 마지막에 저장
   
   ii. Avro
   데이터 직렬화 포맷
   직렬화: 데이터 구조나 오브젝트 상태를 동일하거나 다른 컴퓨터 환경에 저장하고 나중에 재구성할 수 있는 포맷으로 변환하는 과정
   파싱할 수 있는 데이터를 만들어 다른 하둡 시스템과 주고받을 수 있다.
   스키마는 json, 데이터는 바이너리 포맷으로 인코딩
   스키마는 헤더에 저장
   row 기반으로 저장되므로 full scan 쿼리가 많거나 write가 많은 경우에 사용하는 편이 유리

 

데이터 처리

1. MapReduce
   하둡 클러스터의 데이터를 처리하기 위한 시스템. Map(매핑) + Reduce(처리)
   기존의 MR1에서는 리소스 관리, 스케줄링, MapReduce job이 모두 MapReduce 클러스터 안에서 수행되었기 때문에 연동문제와 병목 현상이 생긴다. → YARN 등장
   
   
2. Yarn
   데이터 처리 작업을 실행하기 위한 클러스터 자원과 스케쥴링을 위한 프레임워크
   MapReduce로부터 리소스 관리와 잡 스케쥴링 역할을 Yarn과 분리했다.
   
   i. ResourceManager
   Yarn 클러스터의 master 서버. 클러스터 전체의 리소스를 관리하고 할당(스케쥴링)한다.
   ii. NodeManager
   Yarn 클러스터의 worker 서버. ResourceManager를 제외한 모든 서버에 올라가 있으며 Container를 fork 시키고 실행, 모니터링한다.
   
   ResourceManager 하나와 여러개의 ApplicationMaster로 구성되어 병목현상을 방지한다.
   Global ResourceManager가 존재해 자원활용도가 높고 속도가 빠르다.
   Yarn이 스케쥴링과 자원관리를 담당하므로 MapReduce 이외의 다른 분산 처리 플랫폼을 사용할 수 있다.
   
   MapReduce with Yarn
   
   

   1	client가 ResourceManager(RM)에게 job ID를 요청한다. RM은 job ID를 client에게 넘겨준다. 이후 RM에게 job 실행을 요청한다.
   2	RM이 job queue에서 해당 job을 선택하면 NodeManager(NM)에게 ApplicationMaster(AM)의 실행을 요청한다.
   3	AM을 실행한다.
   4	HDFS로부터 데이터를 가져와 split하고 split 당 한 개의 map(task)을 만든다. 이떄 AM은 어떻게 맵리듀스를 처리할 것인지 결정하는데, job이 작다면 새로운 컨테이너를 할당받고 실행하는 것이 오버헤드가 더 크기 때문에 같은 노드 안에서 돌리기로 결정
   5	job이 작지 않다면 RM에게 리소스 요청. RM은 splits가 어디에 위치해 있는지 여러 정보(NM의 heartbeats 등)을 토대로 어떤 리소스를 할당할 지 결정한다. 적절한 노드가 없다면 랜덤으로 할당한다. 그리고 해당 노드에 대한 정보를 AM에게 전달한다.
   6	AM은 할당받은 NM에게 container 실행을 요청한다.
   7	NM이 container를 실행하면 YARN child가 실행된다. YARN child는 사용자의 코드를 분리하기 위해 다른 시스템과 분리되어서 실행된다. Yarn child는 HDFS에서 필요한 job resources를 검색하고 코드와 함께 맵 혹은 리듀스를 수행한다.

   
   
   job이 실행된 후에 yarn child는 AM에게 3초에 한 번씩 progress report를 보낸다. AM은 이 report들을 합쳐서 client에게 바로 보낸다. 이 과정을 통해 client는 작업 진행에 대해 모니터링 할 수 있다.
   
   
   
3. Spark
   고송 범용 분산 컴퓨팅 플랫폼
   In-memory 컴퓨팅으로 빠른 처리 속도를 보여준다. → 실시간 분석 가능
   일괄 처리 기능, 실시간 데이터 처리 기능, 머신 러닝 알고리즘 등 다양한 기능과 알고리즘을 단일 프레임워크로 통합해 사용자가 사용하기 편리하다.
   Lazy Execution으로 데이터 처리 속도가 빠르다.
   
   분산 데이터 자료구조
   i. RDD
   Immutable data로 데이터 수정이 어렵다.
   transformation/action api를 지원한다.
   transformation 과정을 DAG로 저장한다. → 장애 발생 시 DAG를 통해 복구 가능 (Fault Tolerance)
   
   ii. Dataframe/Dataset
   Spark 2.0부터 두 api가 병합됨
   RDD와 유사한 특징을 가지며 스키마가 있다.
   컴파일 시점에 에러를 찾을 수 있다.
   스키마가 있기 때문에 action 단계에서 쿼리 최적화가 가능하다.
   
   
   
4. Mahout
   기계학습 어플리케이션 개발환경을 빠르게 구축할 수 있는 머신러닝을 위한 프레임워크
   스파크를 사용한다면 MLlib을 사용하는게 더 좋을 것 같다.
   
   
5. Pig
   하둡을 기반으로 대용량 데이터 집합을 분석하기 위한 플랫폼
   자체언어 'Pig Latin'을 통해 복잡한  MapReduce 프로그래밍을 피하고 쉽게 스크립트를 작성할 수 있다.
   Pig 엔진 내에서 Pig Latin 스크립트를 해석해 MapReduce로 변환
   그러나 맵리듀스를 효율적으로 동작하도록 하게 하기 위해서는 어차피 맵리듀스를 이해해야 한다.

 

SQL on Hadoop

대화형 질의 처리: 수 초~수 분이 걸리는 짧은 시간의 쿼리 처리에 적합

데이터 웨어하우스: 수 시간이 걸리는 비교적 긴 시간의 쿼리 처리에 적합

 

1. Hive
   하둡에 저장된 데이터를 쉽게 처리할 수 있는 데이터 웨어하우스 패키지이며 데이터 요약, 쿼리, 분석을 제공하기 위해 하둡 위에 구축
   맵리듀스의 상위 언어이며 정형화된 데이터 처리를 지원한다.
   SQL과 같은 쿼리가 내부적으로 맵리듀스 잡으로 변환되어 실행된다.
   
   
2. Impala
   HDFS에서 동작하는 즉각적인 실시간 SQL 질의 시스템
   CPU 부하가 감소해 감소한 대역폭 만큼 I/O를 수행할 수 있아 I/O 쿼리의 경우 Hive보다 3~4배 더 좋은 성능을 보인다.
   맵리듀스 프레임워크로의 실행이 비효율적인 쿼리(1개 이상의 join 등)에서는 7~45배 좋은 성능을 보인다.
   프로세스
   i. impalad process: 분산 질의 엔진 역할을 담당하며, 데이터 노드 위에서 쿼리에 대한 계획 설계오 ㅏ쿼리 처리 작업을 한다.
   ii. impala state store: 각 데이터 노드에서 수행되는 impalad process에 대한 메타데이터를 유지하고 변경시 업데이트하는 프로세스이다.
   
   기존 맵리듀스 대신 impalad 프로세스가 클러스터 내 모든 데이터 노드 위에서 질의를 처리하므로 맵리듀스를 사용하는 Hive보다 좋은 성능을 보인다.

 

기타 프레임워크

1. Zookeeper (분산 코디네이터)
   하나의 서버에서 모든 작업이 진행되면 그 서버가 SPOF가 될 수 있으므로 분선 서버 관리 기술이 필요한데, zookeeper가 제공
   분산 환경에서 아래와 같은 서버 간 상호 조정이 필요한 다양한 서비스를 제공한다.
        * 하나의 서버에 서비스가 집중되지 않도록 알맞게 분산해 동시 처리
        * 서버끼리의 처리 결과를 동기화 해 데이터 안정성을 보장
        * 운영 서버 실패시 다른 대기 운영 서버를 이용
        * 분산환경을 구성하는 서버의 환경 설정 관리
   
   
2. Oozie (워크플로우)
   Workflow scheduler 프레임워크로 맵리듀스 잡을 연결할 때 각 잡들의 시작과 종결, 분기조건 등을 자동화/스케쥴링하는 솔루션
   아래와 같은 서비스를 제공한다.
        * Scheduling: 특정 시간/간격에 액션 수행
        * Coordinating: 이전 액션 완료 후 다음 액션 시작
        * Managing: 액션 수행 시간/단계 저장 등
   
   
3. Zeppeling (데이터 시각화)
   웹 기반 워크 스페이스에 다양한 솔루션의 API, 쿼리 등의 실행 결과를 웹에 보여준다.
   
   
4. Hue (모니터링)
   하둡 에코 시스템의 지원을 위한 웹 인터페이스를 제공
   → 시각화 도구, job scheduling을 위한 인터페이스, 하둡 모니터링 등 제공