DifícilOpción múltiple

Pregunta de práctica de Databricks-DA-Assoc

Un analista de datos escribe una consulta compleja de Spark SQL que incluye múltiples funciones de ventana, CTE y agregaciones. Para depurar el rendimiento de la consulta, el analista desea inspeccionar las fases de optimización lógica aplicadas por el optimizador Catalyst. ¿Qué comando SQL puede utilizar el analista para ver el plan lógico no optimizado, el plan lógico optimizado y el plan de ejecución físico?

Elige la mejor respuesta.

Respuesta correcta

  • CEXPLAIN EXTENDED SELECT ...;

Explicación

Spark SQL proporciona el comando EXPLAIN para inspeccionar los planes subyacentes generados por el optimizador Catalyst. Al especificar el modificador EXTENDED o FORMATTED, los analistas pueden revisar los planes lógicos analizados, los planes lógicos resueltos, los planes lógicos optimizados y los planes de ejecución físicos finales.

Por qué cada opción es correcta o incorrecta

A

Incorrecta

DESCRIBE EXTENDED table_name;

DESCRIBE EXTENDED muestra metadatos sobre una tabla o vista: sus columnas y tipos de datos, propietario, ubicación, formato, particionamiento, propiedades y estadísticas. Eso es útil al investigar una consulta, por ejemplo para comprobar el particionamiento, pero no muestra nada sobre cómo se planea u optimiza una consulta en particular. Los planes de consulta se muestran anteponiendo EXPLAIN a la consulta, con modos como EXTENDED o FORMATTED.

B

Incorrecta

SHOW QUERY PLAN SELECT ...;

Spark SQL no tiene una sentencia SHOW QUERY PLAN; los planes se muestran colocando EXPLAIN delante de una consulta, y otras bases de datos utilizan una sintaxis similar pero diferente, lo que hace que esta opción parezca plausible. EXPLAIN admite varios modos: plain para el plan físico, EXTENDED para los cuatro planes, FORMATTED para un esquema legible, CODEGEN para el código generado y COST para las estadísticas.

C

Correcta

EXPLAIN EXTENDED SELECT ...;

EXPLAIN EXTENDED imprime cada etapa que produce Catalyst: el plan lógico analizado, el plan lógico analizado con nombres resueltos, el plan lógico optimizado después de reglas como la propagación de predicados y la poda de columnas, y el plan físico con operadores elegidos como estrategias de unión. Con la ejecución de consultas adaptativas, el plan final puede cambiar en tiempo de ejecución, por lo que el perfil de consulta de Databricks muestra lo que realmente se ejecutó.

D

Incorrecta

ANALYZE TABLE table_name COMPUTE STATISTICS;

ANALYZE TABLE ... COMPUTE STATISTICS recopila estadísticas de tablas y columnas, como recuentos de filas y distribuciones de valores, que el optimizador basado en costos utiliza para elegir mejores planes, por ejemplo, el orden de unión y uniones de difusión (broadcast joins). Mejora los planes pero no muestra ninguno. Para ver cómo se ejecutará una consulta, utilice EXPLAIN y ejecute ANALYZE TABLE si el plan sugiere que el optimizador está funcionando sin buenas estadísticas.

Para profundizar

Las consultas de Spark SQL pasan a través del optimizador Catalyst en varias etapas: la consulta se analiza en un plan lógico no resuelto; el análisis resuelve los nombres de tablas y columnas con el catálogo; la optimización lógica aplica reescrituras basadas en reglas como la propagación de predicados (predicate pushdown), el plegado de constantes, la poda de columnas y la reordenación de uniones; y la planificación física elige operadores físicos, como estrategias de unión, antes de la generación de código. 'EXPLAIN EXTENDED <query>' imprime los cuatro planes: el plan lógico analizado, el plan lógico resuelto, el plan lógico optimizado y el plan físico, para que pueda ver exactamente cómo Catalyst reescribió una consulta compleja con CTE y funciones de ventana. Esa es la opción C. Otros modos también son útiles. EXPLAIN simple muestra solo el plan físico. EXPLAIN FORMATTED divide el plan físico en un esquema legible y detalles de nodos. EXPLAIN CODEGEN muestra el código generado y EXPLAIN COST agrega estadísticas como tamaños estimados y recuentos de filas cuando están disponibles. Con la ejecución de consultas adaptativas habilitada, el valor predeterminado en los runtimes modernos de Databricks, el plan final puede cambiar durante la ejecución, por lo que el perfil de consulta en Databricks SQL o la pestaña SQL de Spark UI muestra lo que realmente se ejecutó, con el tiempo y las filas por operador. Busque barajados costosos (Exchange), ordenamientos requeridos por las funciones de ventana y la estrategia de unión elegida, como broadcast hash join frente a sort-merge join. Los distractores sirven para otros propósitos. DESCRIBE EXTENDED muestra el esquema y los metadatos de una tabla, no el plan de una consulta. SHOW QUERY PLAN no es un comando de Spark SQL. ANALYZE TABLE ... COMPUTE STATISTICS recopila estadísticas de tablas que ayudan al optimizador basado en costos a elegir mejores planes, pero no muestra ningún plan por sí mismo.

Sobre estas preguntas de práctica

Esta es una de las preguntas de práctica originales de Databricks-DA-Assoc de Courseiva, escrita para aprender y nunca copiada de exámenes reales ni de dumps.

Traducida del original en inglés con IA y revisada para comprobar el sentido. Los códigos de examen, los comandos y los nombres de productos se mantienen tal como aparecen en el examen.