Python을 통해 impala 접속

pip 설치: https://quackstudy.tistory.com/13?category=801005 1. impyla 라이브러리 사용 #pip install impyla from impala.dbapi import connect HOST = "host_ip" PORT = 21050 #default conn = connect(host=HOST, port=PORT) cursor = conn.cursor() query = "select * from default.table1 where some condition" cursor.execute(query) conn.close() 2. pyodbc 라이브러리 사용 1) cloudera odbc driver for impala 설치 https://docs.info..

• format_list_bulleted 데이터/하둡
• · 2022. 3. 3.

Apache Kafka

카프카 분산시스템 메시지 처리 broker의 모임 = kafka cluster zookeeper: 클러스터 서버들이 공유하는 데이터 관리 → broker에 분산 처리된 메시지 큐의 정보 관리(카프카의 노드 관리, topic의 offset 정보 저장) broker: kafka server/ 한 클러스터 내에서 여러개의 kafka server(broker)가 동작한다. topic: 메시지가 생성되고 소비되는 주제. 다른 토픽들과 isolation (구독한 consumer에게만 보여짐) partition: 파란 네모들 한 줄. topic 내에서 메시지가 분산되어 저장되는 단위. 한 topic에 있는 n개의 partition에 메시지가 분산되어 저장. partition 내에서는 queue 형태로 순서 보장 (o..

• format_list_bulleted 데이터/하둡
• · 2022. 2. 11.

Apache Flink

Apache Flink streaming dataflow 엔진을 기반으로 한 스트리밍&배치 플랫폼 streaming mode: native 방식이 아니기 때문에 스트림 처리에 대해 spark 보다 low latency를 보인다 * spark는 micro-batch 방식을 통해 스트림 데이터 처리 exactly-once 보장 low-level building block stateful and timely stream processing을 제공 process function을 통해 datastream API에 임베디드 되어 있음 ← 이쪽은 많은 유저에게는 필요가 없을 것이고, core API를 많이 쓸 듯하다. core API datastream API (bounded/unbounded stream) / d..

• format_list_bulleted 데이터/하둡
• · 2022. 2. 11.

하둡 에코시스템

하둡, 하둡 에코시스템 하둡 대용량으로 데이터를 분산처리할 수 있는 오픈소스 프레임워크 대량으로 확장가능하기 때문에 빅데이터를 처리하는 데에 사용 컴퓨팅 분석 워크로드를 병렬로 처리, 높은 수준의 내구성, 가용성, 확장성 제공 하둡 2.0 YARN 추가 MapReduce 이외에 Spark, Giraph 등 다른 분산 처리 모델 수행 가능 하둡 에코 시스템 하둡을 이루고 있는 다양한 서브 프로젝트들의 모임 하둡의 활용성을 높이기 위해 여러가지 소프트웨어가 추가되었다. 데이터 수집 스트리밍 데이터 수집 로그 데이터를 수집한다. i. Chukwa 대규모 분산 시스템 모니터링을 위한 데이터 로그 수집 솔루션 분산되어 있는 노드들의 로그 데이터를 수집 모니터링 로그, 어플리케이션 로그, 하둡 로그 등 분산 시스템..

• format_list_bulleted 데이터/하둡
• · 2022. 2. 11.