[centos 7] telnet을 사용할 수 없을 때 port 오픈 확인

보호되어 있는 글입니다.

• format_list_bulleted linux
• · 2023. 3. 2.

parquet 파일 구조

https://parquet.apache.org/docs/file-format/ File Format Documentation about the Parquet File Format. parquet.apache.org 평소와 같이 파이썬에서 parquet 포맷의 파일 로드하려는데 자꾸 parquet이 아니라는 에러가 발생했다. parquet 파일이 아닐리가 없는데.. 하다가 parquet의 구조에 대해서 알아보게 되었다. 문제의 파일은 마지막의 Magic Number 4byte 중 2byte가 없었다. 아마 파일 쓰다가 중간에 프로세스가 끊긴 듯 하다. 파일 자체가 잘못된 건 아니라 그냥 마지막 2개 byte만 추가했다. 아래와 같이 head와 tail에 정상적으로 magic number가 쓰인 파일의 경..

• format_list_bulleted 데이터
• · 2022. 11. 9.

hive s3 데이터 조회 시 Unknown error 255 Root cause: ConnectionPoolTimeoutException: Timeout waiting for connection from pool 발생

CREATE EXTERNAL TABLE some_table ( some columns... ) STORED AS SOME_FILE_FORMAT LOCATION 's3a://s3_bucket/my_s3_path/' 위와 같이 s3 경로를 참조하는 테이블 생성 후 조회 시 아래의 에러 발생했다. Disk I/O error on "my_server_info" Failed to open HDFS file s3a:"my_s3_file" Error(255): Unknown error 255 Root cause: ConnectionPoolTimeoutException: Timeout waiting for connection from pool https://docs.cloudera.com/documentation/en..

• format_list_bulleted 데이터/하둡
• · 2022. 10. 5.

parquet 파일 정보 보기

[parquet-tools] parquet-tools schema myfile.parquet --> 파케이파일 스키마 출력 parquet-tools meta myfile.parquet --> 메타데이터 출력 parquet-tools cat myfile.parquet --> 파일 내용 출력

• format_list_bulleted 데이터/하둡
• · 2022. 10. 5.

[CM] Yarn Node Manager 추가 시 ava.lang.IllegalArgumentException: java.net.UnknownHostException: HOSTNAME

yarn 에 들어가있는 어플리케이션이 하나도 안돌고 대기중이어서 Resorce Manager 역할 로그를 봤더니 아래와 같은 에러메시지 확인.. Error trying to assign container token and NM token to an updated container CONTAINER_NAME java.lang.IllegalArgumentException: java.net.UnknownHostException: HOST_NAME at org.apache.hadoop.security.SecurityUtil.buildTokenService(SecurityUtil.java:445) at org.apache.hadoop.yarn.server.utils.BuilderUtils.newContainerT..

• format_list_bulleted 데이터/하둡
• · 2022. 5. 13.

[Spark] 데이터 로드 시 partition 경로를 column으로 가져오기

sparkConf = SpartConf().setAppName("test") sc = SparkContext.getOrCreate(conf=spartConf) hc = HiveContext(sc) df = hc.read.option("basePath", '/Path-to-data/')\ .parquet('/Path-to-data/') /Path-to-data/partition1=x/partition2=y 디렉토리가 이런 구조로 되어있을 때 위와 같이 데이터 로드 시 basePath 옵션을 추가하면 파티션 정보(위의 코드에서는 partition1, partition2) 가 dataframe의 컬럼으로 로드된다.

• format_list_bulleted 데이터/Spark
• · 2022. 4. 27.