使用 Query Spotlight 提升 Apache Impala 查询性能

“查询是我们客户大数据工作负载的重要组成部分,因此我们知道这些工作负载的性能至关重要。 IT 和应用程序团队现在可以在一个地方了解他们的 Hive 和 Impala 查询,比较他们的查询运行并利用 Query Spotlight 提供的建议,”Pepperdata 首席执行官 Ash Munshi 说。 “我们相信 Query Spotlight 可以提高 Impala 查询的性能,同时帮助他们降低总体成本。”

您的 Apache Impala 查询是否运行缓慢且未达到最佳性能?鉴于 Impala 的复杂性,故障排除可能非常困难。如果没有合适的工具,优化查询性能几乎是不可能的。好消息:Pepperdata Query Spotlight 现在支持 Apache Impala。

Query Spotlight 使操作员和开发人员可以轻松了解其查询和工作负载的详细 Hive 查询性能特征,以及影响这些工作负载的基础架构范围内的问题。通过添加 Impala 支持,现在可以调整、调试和优化这一重要类别的查询工作负载,以提高性能并降低成本。

大数据中的 Apache Impala 是什么?为什么它会成为热门的大数据处理平台?

Apache Impala 是一种开源 MPP(大规模并行处理)SQL 查询引擎,用于处理大量数据。 Impala 提供极高的性能和低延迟,这与其他流行的 Hadoop SQL 引擎不同。

Apache Impala 在大数据处理中的作用是通过消除在分析前将大数据集迁移到指定的处理系统或转换数据格式的需要来增强和增强性能参数。 Apache Impala 的基本功能包括:

Apache Impala 在短短两年内的快速增长和扩张源于 Amazon Web Services 和 MapR 现在都支持它。

Impala Apache 使用标准组件,包括 HBase、HDFS、YARN、Sentry 和 Metastore。除了 Apache Hadoop 的灵活性和可扩展性之外,此功能还允许 Impala 用户享受组合 SQL 支持的好处。借助 Impala,您可以使用传统的 SQL 知识以光速处理存储在 HDFS 中的数据。您还可以访问存储在 Amazon S3、HBase 和 HDFS 中的数据——即使没有 Java 知识。

Apache Impala 的 Query Spotlight 为开发人员和运营商提供了平台性能的全景图,并帮助他们削减运营成本。从详细的统计信息、查询计划、每个查询持续时间的分解等等,可见性是无与伦比的。 Query Spotlight 还提供了对 Impala 数据库和表的可见性。推荐引擎包括系统级推荐和查询级推荐——包括连接。该工具还可以生成更有效、更理想的 Apache 调优配置。

除了可视化有关资源利用率和数据库视图的详细查询信息外,Query Spotlight 还使 Impala 用户能够创建和接收有关 Apache Impala 查询的警报、修复问题并优化查询性能。 Query Spotlight 使开发人员能够:

操作员可以在多用户环境中快速缩小有问题的查询,并使用查询性能洞察来优化集群资源并提高生产力。总而言之,Query Spotlight 现在支持 Apache Impala 带来了以下好处:

超过三分之一的 IT 支出用于故障排除、性能和可用性。最重要的是,80% 的组织正在超出其大数据预算。低效的查询是其中很大一部分,造成错过 SLA 和缓慢的数据库资源。 Query Spotlight for Apache Impala 让这一切变得更好。

关注公众号“大模型全栈程序员”回复“小程序”获取1000个小程序打包源码。更多免费资源在http://www.gitweixin.com/?p=2627