DifícilMúltipla escolha

Questão de prática de Databricks-DA-Assoc

Um analista de dados escreve uma consulta Spark SQL complexa envolvendo múltiplas funções de janela (window functions), CTEs e agregações. Para depurar o desempenho da consulta, o analista deseja inspecionar as fases de otimização lógica aplicadas pelo otimizador Catalyst. Qual comando SQL o analista pode usar para visualizar o plano lógico não otimizado, o plano lógico otimizado e o plano de execução físico?

Escolha a melhor resposta.

Resposta correta

  • CEXPLAIN EXTENDED SELECT ...;

Explicação

O Spark SQL fornece o comando EXPLAIN para inspecionar os planos subjacentes gerados pelo otimizador Catalyst. Ao especificar o modificador EXTENDED ou FORMATTED, os analistas podem revisar o plano lógico analisado (parsed), o plano lógico resolvido (analyzed), o plano lógico otimizado e os planos de execução físicos finais.

Por que cada alternativa está certa ou errada

A

Incorreta

DESCRIBE EXTENDED table_name;

DESCRIBE EXTENDED mostra metadados sobre uma tabela ou exibição: suas colunas e tipos de dados, proprietário, local, formato, particionamento, propriedades e estatísticas. Isso é útil ao investigar uma consulta, por exemplo, para verificar o particionamento, mas não mostra nada sobre como uma consulta específica é planejada ou otimizada. Os planos de consulta são exibidos colocando o prefixo EXPLAIN antes da consulta, com modos como EXTENDED ou FORMATTED.

B

Incorreta

SHOW QUERY PLAN SELECT ...;

O Spark SQL não possui nenhuma instrução SHOW QUERY PLAN; os planos são exibidos colocando EXPLAIN na frente de uma consulta, e outros bancos de dados usam sintaxe semelhante, mas diferente, o que faz com que esta opção pareça plausível. O EXPLAIN oferece suporte a vários modos: plain para o plano físico, EXTENDED para todos os quatro planos, FORMATTED para um esboço legível, CODEGEN para código gerado e COST para estatísticas.

C

Correta

EXPLAIN EXTENDED SELECT ...;

EXPLAIN EXTENDED imprime todos os estágios produzidos pelo Catalyst: o plano lógico analisado sintaticamente, o plano lógico resolvido com os nomes resolvidos, o plano lógico otimizado após regras como empurrar predicados e poda de colunas, e o plano físico com os operadores escolhidos, como estratégias de junção. Com a execução de consulta adaptativa, o plano final pode mudar em tempo de execução, portanto, o perfil de consulta do Databricks mostra o que realmente foi executado.

D

Incorreta

ANALYZE TABLE table_name COMPUTE STATISTICS;

ANALYZE TABLE ... COMPUTE STATISTICS coleta estatísticas de tabelas e colunas, como contagens de linhas e distribuições de valores, que o otimizador baseado em custo usa para escolher melhores planos, por exemplo, ordem de junção e broadcast joins. Ele melhora os planos, mas não exibe nenhum. Para ver como uma consulta será executada, use EXPLAIN e execute ANALYZE TABLE se o plano sugerir que o otimizador está funcionando sem boas estatísticas.

Para se aprofundar

As consultas do Spark SQL passam pelo otimizador Catalyst em estágios: a consulta é analisada sintaticamente (parsed) em um plano lógico não resolvido; a análise (analysis) resolve os nomes de tabelas e colunas com o catálogo; a otimização lógica aplica reescritas baseadas em regras, como empurrar predicados (predicate pushdown), dobramento de constantes (constant folding), poda de colunas (column pruning) e reordenação de junções; e o planejamento físico escolhe operadores físicos, como estratégias de junção, antes da geração de código. 'EXPLAIN EXTENDED <query>' exibe todos os quatro planos, o plano lógico analisado sintaticamente, o plano lógico resolvido, o plano lógico otimizado e o plano físico, para que você possa ver exatamente como o Catalyst reescreveu uma consulta complexa com CTEs e funções de janela. Essa é a opção C. Outros modos também são úteis. O EXPLAIN simples mostra apenas o plano físico. O EXPLAIN FORMATTED divide o plano físico em um esboço legível e detalhes dos nós. O EXPLAIN CODEGEN mostra o código gerado, e o EXPLAIN COST adiciona estatísticas como tamanhos estimados e contagens de linhas quando disponíveis. Com a execução de consulta adaptativa ativada, o padrão nos runtimes modernos do Databricks, o plano final pode mudar durante a execução, portanto, o perfil de consulta no Databricks SQL ou a guia SQL da interface do Spark mostra o que realmente foi executado, com tempo e linhas por operador. Procure por embaralhamentos caros (Exchange), ordenações exigidas pelas funções de janela e a estratégia de junção escolhida, como broadcast hash join versus sort-merge join. Os distratores servem para outros propósitos. O DESCRIBE EXTENDED mostra o esquema e os metadonnées de uma tabela, não o plano de uma consulta. O SHOW QUERY PLAN não é um comando do Spark SQL. ANALYZE TABLE ... COMPUTE STATISTICS coleta estatísticas de tabela que ajudam o otimizador baseado em custo a escolher melhores planos, mas ele próprio não exibe nenhum plano.

Sobre estas questões de prática

Esta é uma das questões de prática originais de Databricks-DA-Assoc da Courseiva, escrita para o aprendizado e nunca copiada de provas reais nem de dumps.

Traduzida do original em inglês com IA e conferida quanto ao sentido. Códigos de exame, comandos e nomes de produtos são mantidos como aparecem na prova.