spark sql – gitweixin

Hive, Spark 1月 19,2023

Spark SQL或Hive开发调试小技巧

在本地开发机装本地模拟环境，或者能远程调试，可以参考Spark如何在生产环境调试
输出dataframe日志，最好有一个开关来控制，正式上线时，把开关关了来提升速度

if (isDebug) {
  dataframeDF.show(10)
}

dataframe的输出，有时看得不是很清楚，可以生成临时表来记录中间过程，方便对中间过程进行查看 insertHive(resultDF, “dataframe_temp”)
如果是运行的数据比较大，调试起来要等，可以对dataframe进行限定条数或筛选 dataframe.limit(1000) dataframe.filter(” id = ‘ewgwgs’ “)
对复杂的sql，一步到位写起来爽，出问题了不知是哪一步出问题，可以分解出几个简单sql，每一步都有输出，对照结果方便找出问题。
对复杂计算的，写的代码觉得似是而非，可以先整理一个样例，手动写计算过程，然后用代码对照这些过程来一步步实现。

作者 east

Spark 1月 14,2023

spark sql如何提升性能

在使用 Spark SQL 时，有几种常见的方法可以提升性能：

使用适当的数据结构：Spark SQL 支持多种数据结构，例如 Parquet、Avro、ORC 等。使用适当的数据结构可以提高查询速度和减少存储空间。

分区：将数据按照一定规则分区，可以提升性能。

缓存数据：使用 Spark SQL 的缓存功能可以将数据集的副本存储在内存中，从而提升性能。

使用常量：对于经常使用的常量值，使用常量代替查询中的变量可以提升性能。

使用索引：对大型数据集使用索引可以提升性能。

优化查询计划：使用 EXPLAIN 命令可以查看查询计划，并使用优化器选项对查询进行优化。

并行计算：调整 Spark 的并行度，可以提升性能。

适当使用 UDF：使用 UDF 可以扩展 Spark SQL 的功能，但是过多使用 UDF 会导致性能下降。

作者 east