AWS SAA-C03 합격 후기

SAA 시험을 응시하게 되었다.22년 9월에 C03으로 변경되었고 약 1년정도 되어 덤프도 많이 모인 것 같다. 1. 준비 기간약 2주 2. 준비 방법AWS에 대한 배경지식은 없었다고 생각함준비는 인터넷에서 합격 후기 글들에 나온대로 udemy 인강 + dump 를 참고했다. 강의 수강 강의를 수강함 udemy: https://www.udemy.com/course/best-aws-certified-solutions-architect-associate/총 33시간이었는데 놀아버려서.. 선택과 집중으로 들었다. Dump 오답노트dump 풀이 총 2.5(?)회독 (+오답노트) 처음에는 얻어온 덤프를 보려 했는데 답도 뭔가 이상하고 왜 이게 답인지 이해가 안되는 부분이 많아서 결국 디스커션을 쉽게 볼 수 있는 ..

• format_list_bulleted aws
• · 2023. 8. 2.

[docker] 간단한 명령어 정리

1. docker 로그인 docker login $dockerhub_address -u $my_id -p $my_password 2. docker pull docker pull $docker_image:$tag # ex docker pull quay.io/prometheus/statsd-exporter:v0.22.8 3. docker image 확인 위에서 pull 한 패키지가 확인된다. [root@test-server /]# docker images REPOSITORY TAG IMAGE ID CREATED SIZE quay.io/prometheus/statsd-exporter v0.22.8 601019e98ed2 9 months ago 17.1MB 4. tag 설정(변경) private registry..

• format_list_bulleted linux
• · 2023. 6. 30.

Python을 통해 trino 접속

from trino.dbapi import connect from trino.auth import BasicAuthentication PORT = my_trino_port CATALOG = "my_trino_catalog" HOST = "my_trino_host" SCHEMA = "my_trino_database" conn = connect( user="my_trino_username", port=PORT, host=HOST, catalog=CATALOG, schema=SCHEMA, auth=BasicAuthentication("my_trino_username", "my_trino_password"), http_scheme="https", verify = False ) cur=conn.cursor() c..

• format_list_bulleted 데이터
• · 2023. 6. 16.

[SSL] SSL 인증서에 대해서.. (HTTPS)

도메인 사용을 위해 ssl 인증서를 적용하게 되었다. 정말 1도 몰라서 넘 힘들었다 그래서 적용 과정 중에 알게 된 몇가지를 정리해봤다. SSL/TLS https 프로토콜을 사용하려면 인증이 필요하다. https는 요청/응답을 보낼 때 암호화를 하게 되는데, 이때 제공되는 보안계층이 SSL이다. SSL 개발 후에 표준화되면서 TLS라는 이름으로 변경되었다. 두 용어 모두 혼용해서 사용되지만 SSL로 더 많이 불리는 듯 하다. SSL 3.0 = TLS 1.0 CA (= Certificate Authority) 클라이언트가 접속하려는 서버가 신뢰할 수 있는지를 보증해줘야하는데, 이 보증을 해주는 민간 기업이다. 공인된 신뢰도있는 기업들만 CA가 될 수 있다. 브라우저에서는 이 보증된 CA 목록과 CA의 공개..

• format_list_bulleted 기타
• · 2023. 6. 9.

[Hue] SSL 적용 방법

간단하게 hue-desktop-site를 수정하면 된다. (ambari로 설정) 클라우데라도 크게 다르지는 않은 것 같다. 참조: https://docs.cloudera.com/documentation/enterprise/6/6.3/topics/cm_sg_ssl_hue.html#concept_cxx_mmd_s4 1. SSL enabled default값 false 에서 true로 변경 2. ssl_certificate pem 파일 인증서 경로 설정 3. SSL carcerts 최상위 CA 인증서 pem파일 경로 설정 4. SSL Password 인증서의 비밀번호 이부분은 비밀번호로 설정파일에 박혀있지 않게 하려면 SSL password script로 스크립트 파일 설정을 하면 된다. 5. SSL Priv..

• format_list_bulleted 데이터/하둡
• · 2023. 6. 8.

[Spark] s3 데이터 dataframe으로 로드하기

sparksession을 사용하여 가져올 수 있다. (Spark 2.0 이상) import pyspark from pyspark.sql import SparkSession spark = SparkSession.builder.appName("s3test").config("spark.some.config.option", True).getOrCreate() df = spark.read.parquet("s3a://my-bucket/my/s3/path") schema, option등 HiveContext를 이용하여 hdfs 파일을 로드할 때와 동일하게 옵션도 줄 수 있음 참고: https://stackoverflow.com/questions/44629156/how-to-read-parquet-data-from-s..

• format_list_bulleted 데이터/Spark
• · 2023. 6. 1.