parquet 파일 구조

 

https://parquet.apache.org/docs/file-format/

File Format

평소와 같이 파이썬에서 parquet 포맷의 파일 로드하려는데 자꾸 parquet이 아니라는 에러가 발생했다.

parquet 파일이 아닐리가 없는데.. 하다가 parquet의 구조에 대해서 알아보게 되었다.

 

문제의 파일은 마지막의 Magic Number 4byte 중 2byte가 없었다. 아마 파일 쓰다가 중간에 프로세스가 끊긴 듯 하다.

파일 자체가 잘못된 건 아니라 그냥 마지막 2개 byte만 추가했다.

아래와 같이 head와 tail에 정상적으로 magic number가 쓰인 파일의 경우 정상적으로 로드됨을 확인할 수 있었다.

[testuser@test-server-1 ~]$ hexdump -C testfile.parquet | head -n 1
00000000  50 41 52 31 15 04 15 10  15 32 4c 15 02 15 04 12  |PAR1.....2L.....|
[testuser@test-server-1 ~]$ hexdump -C testfile.parquet | tail -n 3
002197a0  00 00 1c 00 00 1c 00 00  00 ed 07 00 00 50 41 52  |.............PAR|
002197b0  31                                                |1|
002197b1