hive sql执行顺序与mysql执行顺序

hive sql执行顺序与mysql执行顺序

Hive SQL 执行顺序如下：

先Map阶段：from .. where .. join .. on .. select .. group by

再reduce阶段：select .. having .. distinct .. order by .. limit .. union/union all

Mysql 中sql执行顺序如下：
from(tableA)->on->join->where -> group by ->having->select->distinct->order by->limit->union

Hive的谓词下推目的是通过将过滤条件在底层尽可能执行，减少数据交互量，提升性能。执行顺序主要分为Map和Reduce阶段。

Map阶段：先执行表扫描操作，Hive自动对表进行过滤，减少关联数据量。随后进行过滤、关联、输出、分组、排序等操作。

Reduce阶段：首先进行group by操作，分组方式通常是hash。随后执行select操作，去除冗余字段。接着应用having过滤，最后执行limit限制输出行数。

总结，Hive SQL执行流程更侧重数据过滤和分组，而MySQL则更多关注表关联和条件应用顺序。在实际操作中，理解并掌握这两者的执行顺序有助于优化查询性能。执行计划分析能直观展示SQL执行流程，帮助开发者进行优化。2024-08-16