[airflow] mariadb를 external database로 사용 시 데이터베이스 관련 오류 (column doesn't exist)

정확히 어떤 오류 문구였는지는 db 옵션값을 이미 수정해버려서 재현은 어렵지만

airflow 스케쥴러에서 db를 쿼리할 때 syntax error가 난다는 오류였다. (대충 아래 오류 느낌..)

db init을 하는데 select 절에 있는 컬럼들이 group by 절에 없는 오류
"table.column" doesn't exist.

airflow에서는 공식적으로 mariadb를 지원하지 않는다.

(참고: https://airflow.apache.org/docs/apache-airflow/stable/howto/set-up-database.html)

Despite big similarities between MariaDB and MySQL, we DO NOT support MariaDB as a backend for Airflow.

mysql과 mariadb의 group by 사용법을 확인해보니 실제로 아래와 같은 차이점이 있었다.

 

[mysql]

select A, B, C

from some_table

group by A

-> 가능

 

[mariadb]

select A, B, C

from some_table

group by A

-> 불가능. select 절에 있는 모든 컬럼이 group by 절에 있어야 함

 

어쨌든 mariadb와 연결해야하는 상황이었고 내가 사용한 방법은 아래와 같다.

(참고: https://mariadb.com/kb/en/sql-mode/#only_full_group_by)

SELECT @@SQL_MODE, @@GLOBAL.SQL_MODE;

위 변수들을 확인 시에 아래와 같은 옵션을 확인할 수 있다.

이중에 ONLY_FULL_GROUP_BY 삭제한 리스트를 적용시켜 주면 된다.

PIPES_AS_CONCAT,STRICT_TRANS_TABLES,ONLY_FULL_GROUP_BY,ERROR_FOR_DIVISION_BY_ZERO,NO_AUTO_CREATE_USER,NO_ENGINE_SUBSTITUTION

 

`@@SQL_MODE`는 현재 세션에만 적용되는 옵션들이어서 세션을 나가면 초기화된다.
`GLOBAL.SQL_MODE`로 적용시켜주어야 한다.
혹시 모르니 `SQL_MODE` 에서 먼저 적용 후 문제가 되었던 쿼리가 정상 동작하는지 확인해보고 `GLOBAL.SQL_MODE` 를 변경하는 것을 추천한다.