Spark和Hive的ANSI SQL支持情况

Spark 2.0.x支持的SQL: ----------------- Spark SQL2003支持情况：社区目前主要是支持缺少的大功能subquery，细节功能主要是IBM的人在系统地添加（ https://issues.apache.org/jira/secure/Dashboard.jspa?selectPageId=12326761 ）。 具体缺少的2003细节功能可查看 http://www.savage.net.au/SQL/sql-2003-2.bnf.html  中的BNF文档 6 Scalar expressions 7 Query expressions 8 Predicates 10 Additional common elements 这几个关于查询的语法的章节内容逐个对照语法来确认缺少的SQL支持。 Spark的语法支持稍滞后于Hive的支持。Hive的目前活跃的SQL支持主要在这些功能 https://issues.apache.org/jira/browse/HIVE-13554 Hive支持的SQL： ----------------- 1.支持66个tpc-ds测例。 2.支持主要的sql2003功能： <1>基本subquery有，缺失的稍复杂的subquery的功能如在and/or中出现的multi-subquery, 在select子句中的in/exist/correlated subquery，scalar subquery values可出现在value expression primary语句能出现的所有位置，在不等谓词条件中的subquery in comparison predicate这些细节功能意识到了还在添加，主要是hortonworks的工程师在做，但社区添加速度不快。 <2>缺失的non-equi join功能社区没确定是否添加 <3>缺失的集合功能Intersect (distinct/all) Except (distinct/all) Minus (distinct/all)已添加还没发布 3.sql2011兼容：基本都还是sql2003的内容，没有涉及sql2011的核心的时态temporal查询功能。 参考： 1. https://github.com/apache/spark/pull/10509    inline hive资料，spark中去掉hive parser依赖 2. http://www.spark.tc/the-arrival-of-apache-spark-2-0-2/   IBM spark technology center的贡献 3. http://zh.hortonworks.com/blog/stinger-next-enterprise-sql-hadoop-scale-apache-hive/   hortonwork对hive的改进思路