🐥

https://www.youtube.com/watch?v=7y9gNwqLNtU위 동영상 정리함 hive -> iceberg로 변경한 사례 Line 데이터 플랫폼의 기존 방식데이터 플랫폼의 특징데이터의 크기/종류/활용 규모가 크다머신 수: 5000 대+데이터 크기: 290 PB+하이브 테이블 수: 4만개 (모두 external table)log ingestion rate: 초당 17.5M+하루에 구동되는 job 수: 15만+플랫폼 사용자 수: 700+ Query ProcessingSQL 기반, spark, hive, trino, flink를 분산 sql 쿼리 엔진으로 사용데이터파일이 어디에 있는지, 어떻게 읽고 쓸수있는지에 대한 정보 필요쿼리에 대한 테이블을 어떻게 관리할지는 테이블 포맷에 의해 정의됨 *..

간단하게 hue-desktop-site를 수정하면 된다. (ambari로 설정) 클라우데라도 크게 다르지는 않은 것 같다. 참조: https://docs.cloudera.com/documentation/enterprise/6/6.3/topics/cm_sg_ssl_hue.html#concept_cxx_mmd_s4 1. SSL enabled default값 false 에서 true로 변경 2. ssl_certificate pem 파일 인증서 경로 설정 3. SSL carcerts 최상위 CA 인증서 pem파일 경로 설정 4. SSL Password 인증서의 비밀번호 이부분은 비밀번호로 설정파일에 박혀있지 않게 하려면 SSL password script로 스크립트 파일 설정을 하면 된다. 5. SSL Priv..

set hive.msck.repair.batch.size=1; set hive.msck.path.validation=ignore; Hive 에서 위 명령어 사용 시에 아래와 같은 오류가 발생했다. Error: Error while processing statement: Cannot modify hive.msck.path.validation at runtime. It is not in list of params that are allowed to be modified at runtime (state=42000,code=1)​ hive-site에 아래 설정값 추가 후 정상 동작 확인함 key: hive.security.authorization.sqlstd.confwhitelist.append value: h..

CREATE EXTERNAL TABLE some_table ( some columns... ) STORED AS SOME_FILE_FORMAT LOCATION 's3a://s3_bucket/my_s3_path/' 위와 같이 s3 경로를 참조하는 테이블 생성 후 조회 시 아래의 에러 발생했다. Disk I/O error on "my_server_info" Failed to open HDFS file s3a:"my_s3_file" Error(255): Unknown error 255 Root cause: ConnectionPoolTimeoutException: Timeout waiting for connection from pool https://docs.cloudera.com/documentation/en..

[parquet-tools] parquet-tools schema myfile.parquet --> 파케이파일 스키마 출력 parquet-tools meta myfile.parquet --> 메타데이터 출력 parquet-tools cat myfile.parquet --> 파일 내용 출력