'데이터/하둡' 카테고리의 글 목록

Apache Iceberg 사용 사례 (LINE Data Platform에서 Apache Iceberg 도입)

https://www.youtube.com/watch?v=7y9gNwqLNtU위 동영상 정리함 hive -> iceberg로 변경한 사례 Line 데이터 플랫폼의 기존 방식데이터 플랫폼의 특징데이터의 크기/종류/활용 규모가 크다머신 수: 5000 대+데이터 크기: 290 PB+하이브 테이블 수: 4만개 (모두 external table)log ingestion rate: 초당 17.5M+하루에 구동되는 job 수: 15만+플랫폼 사용자 수: 700+ Query ProcessingSQL 기반, spark, hive, trino, flink를 분산 sql 쿼리 엔진으로 사용데이터파일이 어디에 있는지, 어떻게 읽고 쓸수있는지에 대한 정보 필요쿼리에 대한 테이블을 어떻게 관리할지는 테이블 포맷에 의해 정의됨 *..

format_list_bulleted 데이터/하둡
· 2024. 5. 23.

[Hue] SSL 적용 방법

간단하게 hue-desktop-site를 수정하면 된다. (ambari로 설정) 클라우데라도 크게 다르지는 않은 것 같다. 참조: https://docs.cloudera.com/documentation/enterprise/6/6.3/topics/cm_sg_ssl_hue.html#concept_cxx_mmd_s4 1. SSL enabled default값 false 에서 true로 변경 2. ssl_certificate pem 파일 인증서 경로 설정 3. SSL carcerts 최상위 CA 인증서 pem파일 경로 설정 4. SSL Password 인증서의 비밀번호 이부분은 비밀번호로 설정파일에 박혀있지 않게 하려면 SSL password script로 스크립트 파일 설정을 하면 된다. 5. SSL Priv..

format_list_bulleted 데이터/하둡
· 2023. 6. 8.

[Hive] set hive.msck.repair.batch.size 명령어 사용 불가 조치

set hive.msck.repair.batch.size=1; set hive.msck.path.validation=ignore; Hive 에서 위 명령어 사용 시에 아래와 같은 오류가 발생했다. Error: Error while processing statement: Cannot modify hive.msck.path.validation at runtime. It is not in list of params that are allowed to be modified at runtime (state=42000,code=1) hive-site에 아래 설정값 추가 후 정상 동작 확인함 key: hive.security.authorization.sqlstd.confwhitelist.append value: h..

format_list_bulleted 데이터/하둡
· 2023. 4. 21.

hive s3 데이터 조회 시 Unknown error 255 Root cause: ConnectionPoolTimeoutException: Timeout waiting for connection from pool 발생

CREATE EXTERNAL TABLE some_table ( some columns... ) STORED AS SOME_FILE_FORMAT LOCATION 's3a://s3_bucket/my_s3_path/' 위와 같이 s3 경로를 참조하는 테이블 생성 후 조회 시 아래의 에러 발생했다. Disk I/O error on "my_server_info" Failed to open HDFS file s3a:"my_s3_file" Error(255): Unknown error 255 Root cause: ConnectionPoolTimeoutException: Timeout waiting for connection from pool https://docs.cloudera.com/documentation/en..

format_list_bulleted 데이터/하둡
· 2022. 10. 5.

parquet 파일 정보 보기

[parquet-tools] parquet-tools schema myfile.parquet --> 파케이파일 스키마 출력 parquet-tools meta myfile.parquet --> 메타데이터 출력 parquet-tools cat myfile.parquet --> 파일 내용 출력

format_list_bulleted 데이터/하둡
· 2022. 10. 5.

[CM] Yarn Node Manager 추가 시 ava.lang.IllegalArgumentException: java.net.UnknownHostException: HOSTNAME

yarn 에 들어가있는 어플리케이션이 하나도 안돌고 대기중이어서 Resorce Manager 역할 로그를 봤더니 아래와 같은 에러메시지 확인.. Error trying to assign container token and NM token to an updated container CONTAINER_NAME java.lang.IllegalArgumentException: java.net.UnknownHostException: HOST_NAME at org.apache.hadoop.security.SecurityUtil.buildTokenService(SecurityUtil.java:445) at org.apache.hadoop.yarn.server.utils.BuilderUtils.newContainerT..

format_list_bulleted 데이터/하둡
· 2022. 5. 13.