인터넷 안되는 환경에서 yum 패키지 설치하기

보호되어 있는 글입니다.

• format_list_bulleted linux
• · 2024. 3. 12.

[Spark] spark에서 s3 접근하기 (ACCESS_KEY, SECRET_KEY)

2.4.4 이하와 2.4.5 이상 버전에서 하둡 configuration 설정하는게 좀 다른 듯 하다. Spark 버전 2.4.4 이하 spark = SparkSession.builder.appName("myapp") \ .config("some.config", "some.value") \ .getOrCreate() # signature V4 를 사용하는 리전일 경우 아래 property 설정 spark.sparkContext.setSystemProperty("com.amazonaws.services.s3.enableV4", "true") # s3 정보 설정 spark.sparkContext._jsc.hadoopConfiguration().set(f"fs.s3a.bucket.{mybucket}.endpo..

• format_list_bulleted 데이터/Spark
• · 2023. 12. 19.

파일 수정 시간 초단위 확인

ls --time-style='+%Y%m%d %H:%M:%S' -l

• format_list_bulleted linux
• · 2023. 10. 12.

[Kafka] kafka produce 하기 (with C)

처음엔 그냥 파이썬으로 파일을 읽어서 카프카 메시지를 보내려 했는데 생각보다 느렸다.. 카프카로 보내야하는 파일을 생성하는 코드가 c/c++로 되어있기도 하고 메시지 생성 즉시 바로 보내면 더 빨라질 것 같아 C로 작성해봤다. 1. librdkafka 패키지 다운로드 나는 centos 써서 아래와 같이 설치했다. yum install librdkafka-devel 다른 운영체제는 아래 github 페이지 참고 https://github.com/confluentinc/librdkafka#installation 2. librdkafka 설치 위치 확인 설치 위치 확인하는 방법 참고: https://quackstudy.tistory.com/entry/CentOS-yum%EC%9C%BC%EB%A1%9C-%EC%..

• format_list_bulleted 데이터
• · 2023. 8. 31.

[CentOS] yum으로 설치한 패키지 설치 경로 확인하는 방법

보호되어 있는 글입니다.

• format_list_bulleted linux
• · 2023. 8. 28.

[airflow] mariadb를 external database로 사용 시 데이터베이스 관련 오류 (column doesn't exist)

정확히 어떤 오류 문구였는지는 db 옵션값을 이미 수정해버려서 재현은 어렵지만 airflow 스케쥴러에서 db를 쿼리할 때 syntax error가 난다는 오류였다. (대충 아래 오류 느낌..) db init을 하는데 select 절에 있는 컬럼들이 group by 절에 없는 오류 "table.column" doesn't exist. airflow에서는 공식적으로 mariadb를 지원하지 않는다. (참고: https://airflow.apache.org/docs/apache-airflow/stable/howto/set-up-database.html) Despite big similarities between MariaDB and MySQL, we DO NOT support MariaDB as a back..

• format_list_bulleted 데이터/database
• · 2023. 8. 14.