MediaOpción múltiple

Pregunta de práctica de DP-900

Eres un ingeniero de datos para una empresa de servicios financieros. La empresa utiliza un grupo de SQL dedicado de Azure Synapse Analytics para su almacén de datos (data warehouse). Tienen una tabla de hechos llamada Transactions que contiene 2 mil millones de filas. La tabla está distribuida por hash en la columna AccountID. Los usuarios ejecutan informes que agregan los montos de las transacciones por fecha y tipo de cuenta. Los informes son lentos. Tras una investigación, descubres que la distribución está muy sesgada porque unas pocas cuentas tienen millones de transacciones. Necesitas mejorar el rendimiento de las consultas sin rediseñar todo el esquema. ¿Qué acción debes tomar?

Elige la mejor respuesta.

Respuesta correcta

  • ACambiar la clave de distribución a una columna con más valores únicos, como TransactionID

Explicación

Cambiar la clave de distribución a TransactionID, que tiene muchas más valores únicos que AccountID, eliminará el sesgo de datos que está causando la degradación del rendimiento. En una tabla distribuida por hash, una clave de distribución sesgada hace que algunas distribuciones contengan una cantidad desproporcionada de datos, lo que provoca que la ejecución de consultas paralelas se vea obstaculizada por la distribución más grande. Al utilizar una columna altamente única como TransactionID, los datos se distribuirán uniformemente en las 60 distribuciones, lo que permitirá un paralelismo equilibrado y consultas de agregación más rápidas.

Por qué cada opción es correcta o incorrecta

A

Correcta

Cambiar la clave de distribución a una columna con más valores únicos, como TransactionID

Cambiar la clave de distribución a una columna de alta cardinalidad como TransactionID es la solución correcta. En una tabla distribuida por hash, las filas se asignan a las distribuciones mediante el hash de la clave de distribución, por lo que una clave con millones de valores únicos distribuye las filas casi uniformemente entre todos los nodos de cómputo. Esto elimina directamente el sesgo de datos en la clave existente y también garantiza que las uniones y agregaciones posteriores en TransactionID puedan ocurrir con un movimiento mínimo de datos, lo que permite procesar la tabla masiva en paralelo.

B

Incorrecta

Cambiar la distribución a round-robin

Cambiar la tabla a distribución round-robin de hecho extendería las filas de manera uniforme entre las distribuciones, pero lo hace sin tener en cuenta las relaciones lógicas entre las tablas. Dado que las filas se asignan secuencialmente en lugar de mediante el hash de una columna de unión, cada unión entre esta tabla de hechos y cualquier tabla de dimensiones requeriría una mezcla completa (shuffle) de ambas tablas en todos los nodos de cómputo, lo que causaría un movimiento masivo de datos y anularía la ventaja de procesamiento paralelo. Round-robin solo es apropiado para tablas de ensayo o montones (heap tables) que se crean para cargas masivas y no se utilizan en uniones repetitivas.

C

Incorrecta

Crear un índice de almacén de columnas agrupado en la tabla

Crear un índice de almacén de columnas agrupado aborda la compresión y el rendimiento de las consultas mediante la eliminación de segmentos de columnas, no la distribución física de las filas entre los nodos. Si la clave de distribución actual está sesgada, muchas filas con el mismo valor se asignan mediante hash a la misma distribución, por lo que un índice de almacén de columnas no puede ayudar porque esa única distribución todavía contiene una parte desproporcionada de los datos y se convierte en el cuello de botella. Además, es de suponer que la tabla ya tiene un índice de almacén de columnas, ya que se trata de una carga de trabajo analítica típica; agregarlo o reconstruirlo incurriría en una gran E/S sin solucionar la causa raíz.

D

Incorrecta

Replicar la tabla Transactions en todas las distribuciones

Replicar una tabla en todas las distribuciones la copia en cada nodo de cómputo para que las uniones puedan ocurrir localmente sin movimiento de datos, pero esta estrategia está destinada únicamente a tablas de dimensiones pequeñas, típicamente de menos de unos pocos GB. Una tabla de transacciones financieras de 2 mil millones de filas requeriría duplicar ese enorme volumen de datos por el número de nodos, lo que aumentaría drásticamente el costo de almacenamiento y haría que la replicación inicial y cualquier actualización incremental fueran extremadamente lentas. El proceso de replicación en sí abrumaría la canalización y aún no resolvería el sesgo de distribución de la propia tabla de hechos para las consultas de agregación.

Para profundizar

El grupo de SQL dedicado de Azure Synapse Analytics es un sistema de procesamiento paralelo masivo (MPP) que divide las filas de una tabla en un conjunto de distribuciones utilizando una de tres estrategias: hash, round-robin o replicada. La distribución por hash aplica un hash al valor de la clave de distribución y lo asigna a una distribución, por lo que la elección de la clave determina directamente qué tan uniformemente se distribuyen los datos entre los nodos. Cuando una clave como ProductID tiene solo unos pocos valores distintos, millones de filas caen en la misma distribución, produciendo un «nodo caliente» (hot node) que ralentiza cada consulta; puedes verificar esto con DBCC PDW_SHOWSPACEUSED para ver los recuentos de filas por distribución. Una sutileza es que la clave de distribución también debe elegirse para que coincida con la clave de unión (join key) de la tabla más grande para permitir uniones colocadas (collocated joins), que evitan el movimiento de datos durante la ejecución de consultas; cambiar la clave de una tabla de 2 mil millones de filas requiere reconstruir la tabla a través de CREATE TABLE AS SELECT o ALTER TABLE, pero ese costo es mucho menor que la penalización de rendimiento perpetua del sesgo. Otro concepto erróneo común es que los índices, incluso los de almacén de columnas (columnstore), pueden resolver el sesgo; no pueden, porque columnstore comprime y depura los datos dentro de una distribución pero no altera cómo se asignan físicamente las filas. Comprender la interacción entre la cardinalidad de la clave de distribución y los patrones de unión es esencial para diseñar esquemas de alto rendimiento en almacenes MPP.

Sobre estas preguntas de práctica

Esta es una de las preguntas de práctica originales de DP-900 de Courseiva, escrita para aprender y nunca copiada de exámenes reales ni de dumps.

Traducida del original en inglés con IA y revisada para comprobar el sentido. Los códigos de examen, los comandos y los nombres de productos se mantienen tal como aparecen en el examen.