🐥

[parquet-tools] parquet-tools schema myfile.parquet --> 파케이파일 스키마 출력 parquet-tools meta myfile.parquet --> 메타데이터 출력 parquet-tools cat myfile.parquet --> 파일 내용 출력

yarn 에 들어가있는 어플리케이션이 하나도 안돌고 대기중이어서 Resorce Manager 역할 로그를 봤더니 아래와 같은 에러메시지 확인.. Error trying to assign container token and NM token to an updated container CONTAINER_NAME java.lang.IllegalArgumentException: java.net.UnknownHostException: HOST_NAME at org.apache.hadoop.security.SecurityUtil.buildTokenService(SecurityUtil.java:445) at org.apache.hadoop.yarn.server.utils.BuilderUtils.newContainerT..

sparkConf = SpartConf().setAppName("test") sc = SparkContext.getOrCreate(conf=spartConf) hc = HiveContext(sc) df = hc.read.option("basePath", '/Path-to-data/')\ .parquet('/Path-to-data/') /Path-to-data/partition1=x/partition2=y 디렉토리가 이런 구조로 되어있을 때 위와 같이 데이터 로드 시 basePath 옵션을 추가하면 파티션 정보(위의 코드에서는 partition1, partition2) 가 dataframe의 컬럼으로 로드된다.

https://velog.io/@andrewyoon10/VSCode%EC%97%90%EC%84%9C-CC-%EC%BB%B4%ED%8C%8C%EC%9D%BC-%EB%B0%8F-%EB%94%94%EB%B2%84%EA%B9%85-%ED%99%98%EA%B2%BD-%EB%A7%8C%EB%93%A4%EA%B8%B0 VSCode에서 C/C++ 컴파일 및 디버깅 환경 만들기 이번에는 Winodows에서 Visual Studio Code에디터에서 C/C++코드를 컴파일 및 디버깅하기 위한 기본적인 개발환경 구축에 대해서 포스팅 해보겠습니다. 단계별로 진행되며, 따라하시다 잘 안되는 부분이 velog.io https://webnautes.tistory.com/1158 https://urakasumi.tistory.com..

pip 설치: https://quackstudy.tistory.com/13?category=801005 1. impyla 라이브러리 사용 #pip install impyla from impala.dbapi import connect HOST = "host_ip" PORT = 21050 #default conn = connect(host=HOST, port=PORT) cursor = conn.cursor() query = "select * from default.table1 where some condition" cursor.execute(query) conn.close() 2. pyodbc 라이브러리 사용 1) cloudera odbc driver for impala 설치 https://docs.info..