Respuesta correcta
- CEXPLAIN EXTENDED SELECT ...;
Explicación
Spark SQL proporciona el comando EXPLAIN para inspeccionar los planes subyacentes generados por el optimizador Catalyst. Al especificar el modificador EXTENDED o FORMATTED, los analistas pueden revisar los planes lógicos analizados, los planes lógicos resueltos, los planes lógicos optimizados y los planes de ejecución físicos finales.
Para profundizar
Las consultas de Spark SQL pasan a través del optimizador Catalyst en varias etapas: la consulta se analiza en un plan lógico no resuelto; el análisis resuelve los nombres de tablas y columnas con el catálogo; la optimización lógica aplica reescrituras basadas en reglas como la propagación de predicados (predicate pushdown), el plegado de constantes, la poda de columnas y la reordenación de uniones; y la planificación física elige operadores físicos, como estrategias de unión, antes de la generación de código. 'EXPLAIN EXTENDED <query>' imprime los cuatro planes: el plan lógico analizado, el plan lógico resuelto, el plan lógico optimizado y el plan físico, para que pueda ver exactamente cómo Catalyst reescribió una consulta compleja con CTE y funciones de ventana. Esa es la opción C. Otros modos también son útiles. EXPLAIN simple muestra solo el plan físico. EXPLAIN FORMATTED divide el plan físico en un esquema legible y detalles de nodos. EXPLAIN CODEGEN muestra el código generado y EXPLAIN COST agrega estadísticas como tamaños estimados y recuentos de filas cuando están disponibles. Con la ejecución de consultas adaptativas habilitada, el valor predeterminado en los runtimes modernos de Databricks, el plan final puede cambiar durante la ejecución, por lo que el perfil de consulta en Databricks SQL o la pestaña SQL de Spark UI muestra lo que realmente se ejecutó, con el tiempo y las filas por operador. Busque barajados costosos (Exchange), ordenamientos requeridos por las funciones de ventana y la estrategia de unión elegida, como broadcast hash join frente a sort-merge join. Los distractores sirven para otros propósitos. DESCRIBE EXTENDED muestra el esquema y los metadatos de una tabla, no el plan de una consulta. SHOW QUERY PLAN no es un comando de Spark SQL. ANALYZE TABLE ... COMPUTE STATISTICS recopila estadísticas de tablas que ayudan al optimizador basado en costos a elegir mejores planes, pero no muestra ningún plan por sí mismo.
Sobre estas preguntas de práctica
Esta es una de las preguntas de práctica originales de Databricks-DA-Assoc de Courseiva, escrita para aprender y nunca copiada de exámenes reales ni de dumps.
Traducida del original en inglés con IA y revisada para comprobar el sentido. Los códigos de examen, los comandos y los nombres de productos se mantienen tal como aparecen en el examen.