MediaOpción múltiple

Pregunta de práctica de PDE

Una empresa almacena datos de sensores IoT en BigQuery. Las consultas que filtran por una columna de marca de tiempo (timestamp) y una columna device_id son lentas aunque la tabla esté particionada por día. ¿Qué debe hacer el ingeniero de datos para mejorar el rendimiento de las consultas?

Elige la mejor respuesta.

Respuesta correcta

  • DAplicar clustering a la tabla en device_id

Explicación

Aplicar clustering en device_id organiza los datos dentro de cada partición diaria por device_id, lo que permite a BigQuery omitir bloques durante las consultas que filtran por esa columna. Esto reduce la cantidad de datos escaneados y mejora el rendimiento de las consultas sin cambiar el esquema de particionamiento. El particionamiento por sí solo solo limita los escaneos por rango de tiempo; el clustering añade ordenamiento intrapartición para filtros que no se basan en el tiempo.

Por qué cada opción es correcta o incorrecta

A

Incorrecta

Aumentar el tamaño de la partición a mensual

El particionamiento mensual reduce la granularidad, por lo que los filtros de marca de tiempo escanean más datos por partición en lugar de menos. Es tentador porque menos particiones reducen la sobrecarga de metadatos, lo que se adapta a rangos de fechas de baja cardinalidad, pero aquí empeora la poda (pruning) en consultas filtradas por día.

B

Incorrecta

Cambiar a particionamiento por tiempo de ingesta en lugar de basado en columnas

El particionamiento por tiempo de ingesta particiona por el tiempo de carga, no por la columna de marca de tiempo que se está filtrando, por lo que no puede realizar la poda por tiempo de evento y empeoraría este escaneo. Es la opción correcta cuando el tiempo de llegada es el eje de consulta y no existe una columna confiable de tiempo de evento.

C

Incorrecta

Habilitar la reescritura automática de consultas con BI Engine

BI Engine es una capa de aceleración en memoria para paneles de BI y búsquedas de subsegundos; no agrega una clave de clustering, por lo que el filtrado por device_id sigue escaneando cada bloque de partición. Sería correcto para acelerar consultas repetidas e interactivas de paneles, no para reestructurar el almacenamiento.

D

Correcta

Aplicar clustering a la tabla en device_id

El particionamiento por día reduce el filtro de marca de tiempo, pero los predicados de device_id aún escanean cada partición. El clustering ordena los datos dentro de cada partición por device_id, por lo que BigQuery lee solo los bloques relevantes, reduciendo los bytes escaneados y mejorando el rendimiento del filtro.

Para profundizar

El particionamiento en BigQuery reduce el escaneo a las particiones coincidentes, pero dentro de cada partición diaria el motor sigue leyendo todas las filas a menos que los datos estén físicamente ordenados. El clustering ubica conjuntamente las filas según las columnas especificadas en bloques de almacenamiento, por lo que un filtro en device_id permite a BigQuery omitir bloques cuyos metadatos mínimos/máximos excluyen el valor, reduciendo los bytes escaneados y el tiempo de ranura (slot time). El clustering funciona mejor cuando la columna de filtro tiene alta cardinalidad y se usa con la columna de partición; se puede aplicar clustering en hasta cuatro columnas, y el orden importa porque la primera columna proporciona el filtrado más fuerte. Un caso realista es una tabla IoT particionada por día de ingesta pero consultada por dispositivo durante una semana, donde el clustering en device_id convierte un escaneo de varios gigabytes en unos pocos megabytes.

Sobre estas preguntas de práctica

Esta es una de las preguntas de práctica originales de PDE de Courseiva, escrita para aprender y nunca copiada de exámenes reales ni de dumps.

Traducida del original en inglés con IA y revisada para comprobar el sentido. Los códigos de examen, los comandos y los nombres de productos se mantienen tal como aparecen en el examen.