Bonne réponse
- CEXPLAIN EXTENDED SELECT ...;
Explication
Spark SQL fournit la commande EXPLAIN pour inspecter les plans sous-jacents générés par l'optimiseur Catalyst. En spécifiant le modificateur EXTENDED ou FORMATTED, les analystes peuvent examiner les plans logiques analysés (parsed), les plans logiques résolus (analyzed), les plans logiques optimisés et les plans d'exécution physiques finaux.
Pour aller plus loin
Les requêtes Spark SQL traversent l'optimiseur Catalyst par étapes : la requête est analysée (parsed) en un plan logique non résolu ; l'analyse (analysis) résout les noms de tables et de colonnes par rapport au catalogue ; l'optimisation logique applique des réécritures basées sur des règles telles que le refoulement des prédicats (predicate pushdown), le pliage des constantes (constant folding), l'élagage des colonnes (column pruning) et la réorganisation des jointures ; et la planification physique choisit les opérateurs physiques, tels que les stratégies de jointure, avant la génération de code. 'EXPLAIN EXTENDED <query>' affiche les quatre plans : le plan logique analysé (parsed logical plan), le plan logique résolu (analyzed logical plan), le plan logique optimisé et le plan physique, ce qui vous permet de voir exactement comment Catalyst a réécrit une requête complexe avec des CTE et des fonctions de fenêtrage. C'est l'option C. Les autres modes sont également utiles. L'EXPLAIN simple affiche uniquement le plan physique. EXPLAIN FORMATTED divise le plan physique en un contour lisible et en détails sur les nœuds. EXPLAIN CODEGEN affiche le code généré, et EXPLAIN COST ajoute des statistiques telles que les tailles estimées et le nombre de lignes le cas échéant. Avec l'exécution de requêtes adaptatives activée, qui est la valeur par défaut dans les environnements Databricks modernes, le plan final peut changer pendant l'exécution. Par conséquent, le profil de requête dans Databricks SQL ou l'onglet SQL de l'interface utilisateur Spark montre ce qui s'est réellement exécuté, avec le temps et le nombre de lignes par opérateur. Recherchez les shuffles coûteux (Exchange), les tris requis par les fonctions de fenêtrage et la stratégie de jointure choisie, telle que le broadcast hash join par rapport au sort-merge join. Les distracteurs servent à d'autres fins. DESCRIBE EXTENDED affiche le schéma et les métadonnées d'une table, et non le plan d'une requête. SHOW QUERY PLAN n'est pas une commande Spark SQL. ANALYZE TABLE ... COMPUTE STATISTICS collecte des statistiques de table qui aident l'optimiseur basé sur les coûts à choisir de meilleurs plans, mais il n'affiche aucun plan en soi.
À propos de ces questions d'entraînement
Cette question fait partie des questions d'entraînement Databricks-DA-Assoc originales de Courseiva, rédigées pour apprendre et jamais copiées d'examens réels ou de dumps.
Traduite de l'original anglais avec l'IA et vérifiée pour le sens. Les codes d'examen, les commandes et les noms de produits sont conservés tels qu'ils apparaissent à l'examen.