DifficileChoix unique

Question d'entraînement Databricks-DA-Assoc

Un analyste de données écrit une requête Spark SQL complexe impliquant de multiples fonctions de fenêtrage, des CTE et des agrégations. Pour déboguer les performances de la requête, l'analyste souhaite inspecter les phases d'optimisation logique appliquées par l'optimiseur Catalyst. Quelle commande SQL l'analyste peut-il utiliser pour afficher le plan logique non optimisé, le plan logique optimisé et le plan d'exécution physique ?

Choisissez la meilleure réponse.

Bonne réponse

  • CEXPLAIN EXTENDED SELECT ...;

Explication

Spark SQL fournit la commande EXPLAIN pour inspecter les plans sous-jacents générés par l'optimiseur Catalyst. En spécifiant le modificateur EXTENDED ou FORMATTED, les analystes peuvent examiner les plans logiques analysés (parsed), les plans logiques résolus (analyzed), les plans logiques optimisés et les plans d'exécution physiques finaux.

Pourquoi chaque option est juste ou fausse

A

Fausse

DESCRIBE EXTENDED table_name;

DESCRIBE EXTENDED affiche les métadonnées d'une table ou d'une vue : ses colonnes et types de données, son propriétaire, son emplacement, son format, son partitionnement, ses propriétés et ses statistiques. C'est utile lors de l'investigation d'une requête, par exemple pour vérifier le partitionnement, mais cela ne montre rien sur la manière dont une requête particulière est planifiée ou optimisée. Les plans de requête s'affichent en préfixant la requête par EXPLAIN, avec des modes tels que EXTENDED ou FORMATTED.

B

Fausse

SHOW QUERY PLAN SELECT ...;

Spark SQL ne possède pas d'instruction SHOW QUERY PLAN ; les plans s'affichent en plaçant EXPLAIN devant une requête. D'autres bases de données utilisent une syntaxe similaire mais différente, ce qui rend cette option plausible. EXPLAIN prend en charge plusieurs modes : plain pour le plan physique, EXTENDED pour les quatre plans, FORMATTED pour un aperçu lisible, CODEGEN pour le code généré et COST pour les statistiques.

C

Juste

EXPLAIN EXTENDED SELECT ...;

EXPLAIN EXTENDED affiche chaque étape produite par Catalyst : le plan logique analysé (parsed), le plan logique résolu (analyzed avec les noms résolus), le plan logique optimisé après des règles telles que le refoulement des prédicats et l'élagage des colonnes, ainsi que le plan physique avec les opérateurs choisis, tels que les stratégies de jointure. Avec l'exécution de requêtes adaptatives, le plan final peut changer à l'exécution, de sorte que le profil de requête Databricks montre ce qui a réellement été exécuté.

D

Fausse

ANALYZE TABLE table_name COMPUTE STATISTICS;

ANALYZE TABLE ... COMPUTE STATISTICS collecte des statistiques sur les tables et les colonnes, telles que le nombre de lignes et les distributions de valeurs, que l'optimiseur basé sur les coûts utilise pour choisir de meilleurs plans, par exemple l'ordre des jointures et les jointures par diffusion. Cela améliore les plans mais n'en affiche aucun. Pour voir comment une requête s'exécutera, utilisez EXPLAIN, et exécutez ANALYZE TABLE si le plan suggère que l'optimiseur fonctionne sans de bonnes statistiques.

Pour aller plus loin

Les requêtes Spark SQL traversent l'optimiseur Catalyst par étapes : la requête est analysée (parsed) en un plan logique non résolu ; l'analyse (analysis) résout les noms de tables et de colonnes par rapport au catalogue ; l'optimisation logique applique des réécritures basées sur des règles telles que le refoulement des prédicats (predicate pushdown), le pliage des constantes (constant folding), l'élagage des colonnes (column pruning) et la réorganisation des jointures ; et la planification physique choisit les opérateurs physiques, tels que les stratégies de jointure, avant la génération de code. 'EXPLAIN EXTENDED <query>' affiche les quatre plans : le plan logique analysé (parsed logical plan), le plan logique résolu (analyzed logical plan), le plan logique optimisé et le plan physique, ce qui vous permet de voir exactement comment Catalyst a réécrit une requête complexe avec des CTE et des fonctions de fenêtrage. C'est l'option C. Les autres modes sont également utiles. L'EXPLAIN simple affiche uniquement le plan physique. EXPLAIN FORMATTED divise le plan physique en un contour lisible et en détails sur les nœuds. EXPLAIN CODEGEN affiche le code généré, et EXPLAIN COST ajoute des statistiques telles que les tailles estimées et le nombre de lignes le cas échéant. Avec l'exécution de requêtes adaptatives activée, qui est la valeur par défaut dans les environnements Databricks modernes, le plan final peut changer pendant l'exécution. Par conséquent, le profil de requête dans Databricks SQL ou l'onglet SQL de l'interface utilisateur Spark montre ce qui s'est réellement exécuté, avec le temps et le nombre de lignes par opérateur. Recherchez les shuffles coûteux (Exchange), les tris requis par les fonctions de fenêtrage et la stratégie de jointure choisie, telle que le broadcast hash join par rapport au sort-merge join. Les distracteurs servent à d'autres fins. DESCRIBE EXTENDED affiche le schéma et les métadonnées d'une table, et non le plan d'une requête. SHOW QUERY PLAN n'est pas une commande Spark SQL. ANALYZE TABLE ... COMPUTE STATISTICS collecte des statistiques de table qui aident l'optimiseur basé sur les coûts à choisir de meilleurs plans, mais il n'affiche aucun plan en soi.

À propos de ces questions d'entraînement

Cette question fait partie des questions d'entraînement Databricks-DA-Assoc originales de Courseiva, rédigées pour apprendre et jamais copiées d'examens réels ou de dumps.

Traduite de l'original anglais avec l'IA et vérifiée pour le sens. Les codes d'examen, les commandes et les noms de produits sont conservés tels qu'ils apparaissent à l'examen.