Resposta correta
- CEXPLAIN EXTENDED SELECT ...;
Explicação
O Spark SQL fornece o comando EXPLAIN para inspecionar os planos subjacentes gerados pelo otimizador Catalyst. Ao especificar o modificador EXTENDED ou FORMATTED, os analistas podem revisar o plano lógico analisado (parsed), o plano lógico resolvido (analyzed), o plano lógico otimizado e os planos de execução físicos finais.
Para se aprofundar
As consultas do Spark SQL passam pelo otimizador Catalyst em estágios: a consulta é analisada sintaticamente (parsed) em um plano lógico não resolvido; a análise (analysis) resolve os nomes de tabelas e colunas com o catálogo; a otimização lógica aplica reescritas baseadas em regras, como empurrar predicados (predicate pushdown), dobramento de constantes (constant folding), poda de colunas (column pruning) e reordenação de junções; e o planejamento físico escolhe operadores físicos, como estratégias de junção, antes da geração de código. 'EXPLAIN EXTENDED <query>' exibe todos os quatro planos, o plano lógico analisado sintaticamente, o plano lógico resolvido, o plano lógico otimizado e o plano físico, para que você possa ver exatamente como o Catalyst reescreveu uma consulta complexa com CTEs e funções de janela. Essa é a opção C. Outros modos também são úteis. O EXPLAIN simples mostra apenas o plano físico. O EXPLAIN FORMATTED divide o plano físico em um esboço legível e detalhes dos nós. O EXPLAIN CODEGEN mostra o código gerado, e o EXPLAIN COST adiciona estatísticas como tamanhos estimados e contagens de linhas quando disponíveis. Com a execução de consulta adaptativa ativada, o padrão nos runtimes modernos do Databricks, o plano final pode mudar durante a execução, portanto, o perfil de consulta no Databricks SQL ou a guia SQL da interface do Spark mostra o que realmente foi executado, com tempo e linhas por operador. Procure por embaralhamentos caros (Exchange), ordenações exigidas pelas funções de janela e a estratégia de junção escolhida, como broadcast hash join versus sort-merge join. Os distratores servem para outros propósitos. O DESCRIBE EXTENDED mostra o esquema e os metadonnées de uma tabela, não o plano de uma consulta. O SHOW QUERY PLAN não é um comando do Spark SQL. ANALYZE TABLE ... COMPUTE STATISTICS coleta estatísticas de tabela que ajudam o otimizador baseado em custo a escolher melhores planos, mas ele próprio não exibe nenhum plano.
Sobre estas questões de prática
Esta é uma das questões de prática originais de Databricks-DA-Assoc da Courseiva, escrita para o aprendizado e nunca copiada de provas reais nem de dumps.
Traduzida do original em inglês com IA e conferida quanto ao sentido. Códigos de exame, comandos e nomes de produtos são mantidos como aparecem na prova.