MoyenneChoix unique

Question d'entraînement ACE

Une entreprise utilise BigQuery pour l'analytique. Elle remarque que les requêtes sont lentes et coûteuses. Les données sont chargées quotidiennement dans une seule table. Quelle action améliorerait le plus les performances et réduirait les coûts ?

Choisissez la meilleure réponse.

Bonne réponse

  • DPartitionner la table par date et effectuer un clustering sur les colonnes fréquemment filtrées.

Explication

Le partitionnement de la table par date permet à BigQuery d'utiliser l'élagage des partitions lors de l'exécution des requêtes, en n'analysant que les données journalières pertinentes au lieu de toute la table. Le clustering sur les colonnes fréquemment filtrées réduit davantage les données analysées en triant les données dans les partitions. Cela réduit directement le coût des requêtes (pay-per-byte) et la latence, en s'attaquant au problème fondamental des requêtes lentes et coûteuses sur une grande table chargée quotidiennement.

Pourquoi chaque option est juste ou fausse

A

Fausse

Utiliser une réservation à taux fixe pour améliorer la concurrence des requêtes.

Une réservation à taux fixe garantit un nombre constant de slots pour votre projet, ce qui améliore la concurrence en empêchant d'autres charges de travail de monopoliser la capacité. Cependant, elle ne réduit pas la quantité de données analysées ni n'accélère une requête individuelle ; une requête qui analyse une table massive prendra toujours autant de temps, car les slots ne constituent pas le goulot d'étranglement lorsque le problème relève des E/S et du volume de données.

B

Fausse

Dénormaliser la table pour réduire les jointures.

La dénormalisation de la table élimine les opérations JOIN coûteuses, ce qui peut réduire le temps d'exécution des requêtes. Mais elle ne s'attaque pas à la cause profonde des analyses lentes dans BigQuery : les analyses de tables complètes. En fait, la dénormalisation augmente souvent la taille du stockage et les coûts, et bien qu'elle puisse réduire le temps de requête dans certains cas, le partitionnement et le clustering offrent un moyen plus méthodique et plus rentable de minimiser les octets traités par requête.

C

Fausse

Augmenter le nombre de slots disponibles pour le projet.

L'augmentation du nombre de slots pour votre projet ajoute de la capacité processeur et mémoire, ce qui aide lorsque de nombreuses requêtes se disputent les ressources ou lorsque les requêtes atteignent la limite de slots par projet. Cependant, la latence d'une seule requête est principalement déterminée par la quantité de données qu'elle doit lire et traiter ; l'ajout de slots ne fera pas analyser moins de données à une requête, de sorte qu'une requête filtrant sur une table non partitionnée lira toujours toute la table et restera lente.

D

Juste

Partitionner la table par date et effectuer un clustering sur les colonnes fréquemment filtrées.

Le partitionnement de la table par date permet à BigQuery d'utiliser l'élagage des partitions, de sorte que les requêtes avec des filtres de plage de dates ne lisent que les partitions journalières pertinentes au lieu de toute la table. Le clustering sur les colonnes fréquemment filtrées organise davantage les données au sein de chaque partition, permettant un élagage au niveau des blocs basé sur les valeurs des colonnes de clustering. Ensemble, ces fonctionnalités réduisent considérablement les octets analysés et les E/S sous-jacentes, améliorant directement la vitesse des requêtes et réduisant les coûts.

Pour aller plus loin

Les performances et les coûts de BigQuery sont fondamentalement liés à la quantité de données analysées. Le partitionnement divise une table en segments de stockage distincts basés sur une colonne, généralement une date, et une requête avec un filtre sur cette colonne ne lit que les partitions correspondantes, ce que peut réduire considérablement les octets traités. Le clustering réordonne les lignes dans les partitions selon les valeurs d'une ou plusieurs colonnes, et BigQuery stocke des métadonnées sur les valeurs min/max de chaque bloc de clusters, ce qui lui permet d'ignorer des blocs entiers qui ne correspondent pas aux prédicats de filtre. Un point subtil mais important : le clustering ne garantit pas l'élagage à moins que le filtre de requête ne porte sur une colonne de clustering, et l'ordre des colonnes de partition et de clustering a son importance — le partitionnement est à grain grossier, le clustering est à grain fin. Une idée reçue courante est que l'ajout de slots accélère toujours les requêtes ; en réalité, BigQuery met déjà à l'échelle automatiquement les slots pour une seule requête, et les requêtes ont des goulots d'étranglement au niveau des E/S et du volume de données, et non du nombre brut de slots. Notez également que BigQuery a une limite de 4000 partitions par table partitionnée, vous devrez donc peut-être choisir un grain plus grossier (par exemple, le mois au lieu du jour) pour de très grands jeux de données. L'optimisation dans le monde réel nécessite d'analyser les filtres de requêtes et les modèles de regroupement, puis de concevoir la disposition des partitions et des clusters pour qu'elle corresponde à ces modèles, ce qui peut générer des améliorations d'un ordre de grandeur en termes de latence et de coût.

À propos de ces questions d'entraînement

Cette question fait partie des questions d'entraînement ACE originales de Courseiva, rédigées pour apprendre et jamais copiées d'examens réels ou de dumps.

Traduite de l'original anglais avec l'IA et vérifiée pour le sens. Les codes d'examen, les commandes et les noms de produits sont conservés tels qu'ils apparaissent à l'examen.