🐥

set hive.msck.repair.batch.size=1; set hive.msck.path.validation=ignore; Hive 에서 위 명령어 사용 시에 아래와 같은 오류가 발생했다. Error: Error while processing statement: Cannot modify hive.msck.path.validation at runtime. It is not in list of params that are allowed to be modified at runtime (state=42000,code=1)​ hive-site에 아래 설정값 추가 후 정상 동작 확인함 key: hive.security.authorization.sqlstd.confwhitelist.append value: h..

io.trino.spi.TrinoException: testserver-1:9083: java.net.SocketTimeoutException: Read timed out at io.trino.plugin.hive.metastore.thrift.ThriftHiveMetastore.getPartitionNamesByFilter(ThriftHiveMetastore.java:1080) at io.trino.plugin.hive.metastore.thrift.BridgingHiveMetastore.getPartitionNamesByFilter(BridgingHiveMetastore.java:335) at io.trino.plugin.hive.metastore.ForwardingHiveMetastore.getPa..

cat 결과 출력 바로 되지..

https://parquet.apache.org/docs/file-format/ File Format Documentation about the Parquet File Format. parquet.apache.org 평소와 같이 파이썬에서 parquet 포맷의 파일 로드하려는데 자꾸 parquet이 아니라는 에러가 발생했다. parquet 파일이 아닐리가 없는데.. 하다가 parquet의 구조에 대해서 알아보게 되었다. 문제의 파일은 마지막의 Magic Number 4byte 중 2byte가 없었다. 아마 파일 쓰다가 중간에 프로세스가 끊긴 듯 하다. 파일 자체가 잘못된 건 아니라 그냥 마지막 2개 byte만 추가했다. 아래와 같이 head와 tail에 정상적으로 magic number가 쓰인 파일의 경..

CREATE EXTERNAL TABLE some_table ( some columns... ) STORED AS SOME_FILE_FORMAT LOCATION 's3a://s3_bucket/my_s3_path/' 위와 같이 s3 경로를 참조하는 테이블 생성 후 조회 시 아래의 에러 발생했다. Disk I/O error on "my_server_info" Failed to open HDFS file s3a:"my_s3_file" Error(255): Unknown error 255 Root cause: ConnectionPoolTimeoutException: Timeout waiting for connection from pool https://docs.cloudera.com/documentation/en..