🐥

뮨제상황 dataframe 두 개를 조인하려는데 아래와 같은 워닝이 주르륵 발생하더니 오류를 출력하고 어플리케이션이 종료됐다. ... 23/05/22 04:39:35 WARN TaskMemoryManager: Failed to allocate a page (2097152 bytes), try again. 23/05/22 04:39:35 WARN TaskMemoryManager: Failed to allocate a page (2097152 bytes), try again. 23/05/22 04:39:35 WARN TaskMemoryManager: Failed to allocate a page (2097152 bytes), try again. 23/05/22 04:39:36 WARN TaskMemoryMa..

data_3 = hc.read.\ csv('/my/path/partition={PARTITION}/*'.format(PARTITION=my_partition), header=False, schema=customSchema) # header가 있을 경우 schema는 따로 없어도 됨 (header=True)

set hive.msck.repair.batch.size=1; set hive.msck.path.validation=ignore; Hive 에서 위 명령어 사용 시에 아래와 같은 오류가 발생했다. Error: Error while processing statement: Cannot modify hive.msck.path.validation at runtime. It is not in list of params that are allowed to be modified at runtime (state=42000,code=1)​ hive-site에 아래 설정값 추가 후 정상 동작 확인함 key: hive.security.authorization.sqlstd.confwhitelist.append value: h..

io.trino.spi.TrinoException: testserver-1:9083: java.net.SocketTimeoutException: Read timed out at io.trino.plugin.hive.metastore.thrift.ThriftHiveMetastore.getPartitionNamesByFilter(ThriftHiveMetastore.java:1080) at io.trino.plugin.hive.metastore.thrift.BridgingHiveMetastore.getPartitionNamesByFilter(BridgingHiveMetastore.java:335) at io.trino.plugin.hive.metastore.ForwardingHiveMetastore.getPa..

https://parquet.apache.org/docs/file-format/ File Format Documentation about the Parquet File Format. parquet.apache.org 평소와 같이 파이썬에서 parquet 포맷의 파일 로드하려는데 자꾸 parquet이 아니라는 에러가 발생했다. parquet 파일이 아닐리가 없는데.. 하다가 parquet의 구조에 대해서 알아보게 되었다. 문제의 파일은 마지막의 Magic Number 4byte 중 2byte가 없었다. 아마 파일 쓰다가 중간에 프로세스가 끊긴 듯 하다. 파일 자체가 잘못된 건 아니라 그냥 마지막 2개 byte만 추가했다. 아래와 같이 head와 tail에 정상적으로 magic number가 쓰인 파일의 경..