🐥

카프카 분산시스템 메시지 처리 broker의 모임 = kafka cluster zookeeper: 클러스터 서버들이 공유하는 데이터 관리 → broker에 분산 처리된 메시지 큐의 정보 관리(카프카의 노드 관리, topic의 offset 정보 저장) broker: kafka server/ 한 클러스터 내에서 여러개의 kafka server(broker)가 동작한다. topic: 메시지가 생성되고 소비되는 주제. 다른 토픽들과 isolation (구독한 consumer에게만 보여짐) partition: 파란 네모들 한 줄. topic 내에서 메시지가 분산되어 저장되는 단위. 한 topic에 있는 n개의 partition에 메시지가 분산되어 저장. partition 내에서는 queue 형태로 순서 보장 (o..

Apache Flink streaming dataflow 엔진을 기반으로 한 스트리밍&배치 플랫폼 streaming mode: native 방식이 아니기 때문에 스트림 처리에 대해 spark 보다 low latency를 보인다 * spark는 micro-batch 방식을 통해 스트림 데이터 처리 exactly-once 보장 low-level building block stateful and timely stream processing을 제공 process function을 통해 datastream API에 임베디드 되어 있음 ← 이쪽은 많은 유저에게는 필요가 없을 것이고, core API를 많이 쓸 듯하다. core API datastream API (bounded/unbounded stream) / d..

하둡, 하둡 에코시스템 하둡 대용량으로 데이터를 분산처리할 수 있는 오픈소스 프레임워크 대량으로 확장가능하기 때문에 빅데이터를 처리하는 데에 사용 컴퓨팅 분석 워크로드를 병렬로 처리, 높은 수준의 내구성, 가용성, 확장성 제공 하둡 2.0 YARN 추가 MapReduce 이외에 Spark, Giraph 등 다른 분산 처리 모델 수행 가능 하둡 에코 시스템 하둡을 이루고 있는 다양한 서브 프로젝트들의 모임 하둡의 활용성을 높이기 위해 여러가지 소프트웨어가 추가되었다. 데이터 수집 스트리밍 데이터 수집 로그 데이터를 수집한다. i. Chukwa 대규모 분산 시스템 모니터링을 위한 데이터 로그 수집 솔루션 분산되어 있는 노드들의 로그 데이터를 수집 모니터링 로그, 어플리케이션 로그, 하둡 로그 등 분산 시스템..

github.com/apache/spark/blob/master/sql/core/src/main/scala/org/apache/spark/sql/execution/datasources/parquet/ParquetSchemaConverter.scala#L139 위 코드에서 보면 `typenotsupported`인 type들이 몇몇 있다. 파케이 스키마가 unsupported type을 포함하고 있으면 Dataframe으로 읽어올 수가 없다. org.apache.spark.sql.AnalysisException: Parquet type not supported Caused by: org.apache.spark.sql.AnalysisException: Parquet type not supported: INT3..

Least Square Regression X의 first column에 1 추가 X에 대한 prediction은 다음과 같다.(solution) 위의 식에서 w*를 구하면 test set에 대해서도 prediction을 구할 수 있다. % Least Square Regression % wL = (XX'*XX)^-1*XX'*y_train YLresult = Xg*wL; Ridge Square Regression least square prediction에서 w의 크기를 제한하기 위한 term이 추가되었다. solution: RMSE Root-Mean-Square Error