🐥
[Spark] CSV 파일 로드하기 본문
data_3 = hc.read.\
csv('/my/path/partition={PARTITION}/*'.format(PARTITION=my_partition), header=False, schema=customSchema)
# header가 있을 경우 schema는 따로 없어도 됨 (header=True)
'데이터 > Spark' 카테고리의 다른 글
| [Spark] spark에서 s3 접근하기 (ACCESS_KEY, SECRET_KEY) (0) | 2023.12.19 |
|---|---|
| [Spark] s3 데이터 dataframe으로 로드하기 (0) | 2023.06.01 |
| [Spark] TaskMemoryManager: Failed to allocate a page (2097152 bytes), try again. 오류 발생 시 해결 방법 (0) | 2023.05.22 |
| [Spark] 데이터 로드 시 partition 경로를 column으로 가져오기 (0) | 2022.04.27 |
| [Spark]Parquet type not supported인 parquet file을 읽는 방법 - StructType을 사용해서 Custom Schema로 로드) (0) | 2020.10.21 |