[Spark] SQL Hint

SQL Hint

참고: https://spark.apache.org/docs/latest/sql-ref-syntax-qry-select-hints.html

문법

/*+ hint [ , ... ] */

 

파티셔닝 힌트

파티셔닝 전략을 제안할 수 있다. 

COALESCE

`coalesce` dataset API와 동일하다. 매개변수는 파티션 개수이고, 지정된 파티션 수로 줄일 수 있다.

SELECT /*+ COALESCE(3) */ * FROM t;

 

REPARTITION

`repartition` dataset API 와 동일하다.파티션 개수, 컬럼명을 매개변수로 사용할 수 있고 지정된 수의 파티션으로 다시 분할하는데에 사용된다.

SELECT /*+ REPARTITION(3) */ * FROM t;

SELECT /*+ REPARTITION(c) */ * FROM t;

SELECT /*+ REPARTITION(3, c) */ * FROM t;

 

REPARTITION_BY_RANGE

지정된 수의 파티션으로 분할하는데에 사용된다. `repartitionByRange` api와 동일하다.

SELECT /*+ REPARTITION_BY_RANGE(c) */ * FROM t;

SELECT /*+ REPARTITION_BY_RANGE(3, c) */ * FROM t;

 

REBALANCE

SQL Hint에서만 사용할 수 있다. 쿼리 결과 Output 파티션의 균형을 재조정하는데에 사용된다. 모든 파티션이 적절한 크기가 되도록 한다. 컬럼명을 매개변수로 사용한다면 설정한 컬럼을 기준으로 쿼리 결과를 최선의 노력으로 분할한다. skewed data라면 REBALANCE를 사용할 수 있다. AQE가 활성화되지 않았다면 무시되는 힌트이다.

SELECT /*+ REBALANCE */ * FROM t;

SELECT /*+ REBALANCE(3) */ * FROM t;

SELECT /*+ REBALANCE(c) */ * FROM t;

SELECT /*+ REBALANCE(3, c) */ * FROM t;

 

여러 힌트를 제시한다면 가장 왼쪽에 있는 Hint를 선택한다. (아래의 경우 REPARTITION)

-- multiple partitioning hints
EXPLAIN EXTENDED SELECT /*+ REPARTITION(100), COALESCE(500), REPARTITION_BY_RANGE(3, c) */ * FROM t;
== Parsed Logical Plan ==
'UnresolvedHint REPARTITION, [100]
+- 'UnresolvedHint COALESCE, [500]
   +- 'UnresolvedHint REPARTITION_BY_RANGE, [3, 'c]
      +- 'Project [*]
         +- 'UnresolvedRelation [t]

== Analyzed Logical Plan ==
name: string, c: int
Repartition 100, true
+- Repartition 500, false
   +- RepartitionByExpression [c#30 ASC NULLS FIRST], 3
      +- Project [name#29, c#30]
         +- SubqueryAlias spark_catalog.default.t
            +- Relation[name#29,c#30] parquet

== Optimized Logical Plan ==
Repartition 100, true
+- Relation[name#29,c#30] parquet

== Physical Plan ==
Exchange RoundRobinPartitioning(100), false, [id=#121]
+- *(1) ColumnarToRow
   +- FileScan parquet default.t[name#29,c#30] Batched: true, DataFilters: [], Format: Parquet,
      Location: CatalogFileIndex[file:/spark/spark-warehouse/t], PartitionFilters: [],
      PushedFilters: [], ReadSchema: struct<name:string>

 

 

조인 힌트

조인 전략을 제안할 수 있다.

Spark3.0 이전에는 broadcast join hint만 지원되었으나 3.0부터는 `MERGE`, `SHUFFLE_HASH`, `SHUFFLE_REPLICATE_NL` 이 추가되었다.

 

특정 전략을 지원하지 않는 조인 타입이 있을 수 있기 때문에 힌트를 제공한다고 무조건 제공된 전략을 사용한다고 보장받을 수 없다.

 

BROADCAST

브로드케스트 조인을 제안한다. 조인 위치 어디에 있든, 크기가 더 작은 쪽이 브로드캐스트 된다.

-- Join Hints for broadcast join
SELECT /*+ BROADCAST(t1) */ * FROM t1 INNER JOIN t2 ON t1.key = t2.key;
SELECT /*+ BROADCASTJOIN (t1) */ * FROM t1 left JOIN t2 ON t1.key = t2.key;
SELECT /*+ MAPJOIN(t2) */ * FROM t1 right JOIN t2 ON t1.key = t2.key;

MERGE

shuffle sort merge join을 제안한다. 

-- Join Hints for shuffle sort merge join
SELECT /*+ SHUFFLE_MERGE(t1) */ * FROM t1 INNER JOIN t2 ON t1.key = t2.key;
SELECT /*+ MERGEJOIN(t2) */ * FROM t1 INNER JOIN t2 ON t1.key = t2.key;
SELECT /*+ MERGE(t1) */ * FROM t1 INNER JOIN t2 ON t1.key = t2.key;

SHUFFLE_HASH

shuffle hash join을 사용하도록 제안한다. 만약 shuffle hash hint를 제공받는다면 더 작은 쪽은 build side로 지정한다.

-- Join Hints for shuffle hash join
SELECT /*+ SHUFFLE_HASH(t1) */ * FROM t1 INNER JOIN t2 ON t1.key = t2.key;

SHUFFLE_REPLICATE_NL

shuffle-and-replicate nested loop join을 사용하도록 제안한다.

-- Join Hints for shuffle-and-replicate nested loop join
SELECT /*+ SHUFFLE_REPLICATE_NL(t1) */ * FROM t1 INNER JOIN t2 ON t1.key = t2.key;

 

 

아래와 같이 조인의 양쪽에 서로 다른 힌트가 지정된다면 아래의 우선순위로 힌트를 설정한다.

`BROADCAST` > `MERGE` > `SHUFFLE_HASH` > SHUFFLE_REPLICATE_NL`

SELECT /*+ BROADCAST(t1), MERGE(t1, t2) */ * FROM t1 INNER JOIN t2 ON t1.key = t2.key;

위의 예시에서는 BROADCAST 조인을 사용하고 아래와 같이 워닝 로그를 발생시킨다.

org.apache.spark.sql.catalyst.analysis.HintErrorLogger: Hint (strategy=merge) is overridden by another hint and will not take effect.