MoyenneChoix unique

Question d'entraînement PDE

Une entreprise stocke des données de capteurs IoT dans BigQuery. Les requêtes qui filtrent sur une colonne d'horodatage (timestamp) et une colonne device_id sont lentes même si la table est partitionnée par jour. Que doit faire l'ingénieur de données pour améliorer les performances des requêtes ?

Choisissez la meilleure réponse.

Bonne réponse

  • DEffectuer le clustering de la table sur device_id

Explication

Le clustering sur device_id organise les données au sein de chaque partition journalière par device_id, permettant à BigQuery d'élaguer les blocs lors des requêtes qui filtrent sur cette colonne. Cela réduit la quantité de données scannées et améliore les performances des requêtes sans modifier le schéma de partitionnement. Le partitionnement seul limite uniquement les scans par plage de temps ; le clustering ajoute un tri intra-partition pour les autres filtres que ceux basés sur le temps.

Pourquoi chaque option est juste ou fausse

A

Fausse

Augmenter la taille de la partition à mensuelle

Le partitionnement mensuel grossit la granularité, de sorte que les filtres d'horodatage parcourent plus de données par partition au lieu de moins. C'est tentant car moins de partitions réduisent la surcharge des métadonnées, ce qui convient aux plages de dates à faible cardinalité, mais ici cela aggrave l'élagage sur les requêtes filtrées par jour.

B

Fausse

Passer au partitionnement par heure d'ingestion au lieu du partitionnement basé sur les colonnes

Le partitionnement par heure d'ingestion partitionne selon le moment du chargement, et non selon la colonne d'horodatage filtrée, il ne peut donc pas élaguer par temps d'événement et aggraverait ce scan. C'est le bon choix lorsque l'heure d'arrivée est l'axe de la requête et qu'aucune colonne de temps d'événement fiable n'existe.

C

Fausse

Activer la réécriture automatique des requêtes avec BI Engine

BI Engine est une couche d'accélération en mémoire pour les tableaux de bord BI et les recherches en sub-secondes ; il n'ajoute pas de clé de clustering, de sorte que le filtrage device_id scanne toujours chaque bloc de partition. Il serait correct pour accélérer les requêtes de tableaux de bord interactifs répétés, et non pour restructurer le stockage.

D

Juste

Effectuer le clustering de la table sur device_id

Le partitionnement par jour réduit le filtre d'horodatage, mais les prédicats device_id scannent toujours chaque partition. Le clustering trie les données au sein de chaque partition par device_id, de sorte que BigQuery ne lit que les blocs pertinents, réduisant les octets scannés et améliorant les performances des filtres.

Pour aller plus loin

Le partitionnement BigQuery réduit le scan aux partitions correspondantes, mais au sein de chaque partition journalière, le moteur lit toujours toutes les lignes à moins que les données ne soient triées physiquement. Le clustering regroupe les lignes par les colonnes spécifiées dans des blocs de stockage, de sorte qu'un filtre sur device_id permet à BigQuery d'ignorer les blocs dont les métadonnées min/max excluent la valeur, réduisant ainsi les octets scannés et le temps de slot. Le clustering fonctionne mieux lorsque la colonne de filtre a une cardinalité élevée et est utilisée avec la colonne de partition ; vous pouvez appliquer un clustering sur un maximum de quatre colonnes, et l'ordre compte car la première colonne offre l'élagage le plus puissant. Un cas réaliste est une table IoT partitionnée par jour d'ingestion mais interrogée par appareil sur une semaine, où le clustering sur device_id transforme un scan de plusieurs gigaoctets en quelques mégaoctets.

À propos de ces questions d'entraînement

Cette question fait partie des questions d'entraînement PDE originales de Courseiva, rédigées pour apprendre et jamais copiées d'examens réels ou de dumps.

Traduite de l'original anglais avec l'IA et vérifiée pour le sens. Les codes d'examen, les commandes et les noms de produits sont conservés tels qu'ils apparaissent à l'examen.