Bonne réponse
- DPartitionner la table par date et effectuer un clustering sur les colonnes fréquemment filtrées.
Explication
Le partitionnement de la table par date permet à BigQuery d'utiliser l'élagage des partitions lors de l'exécution des requêtes, en n'analysant que les données journalières pertinentes au lieu de toute la table. Le clustering sur les colonnes fréquemment filtrées réduit davantage les données analysées en triant les données dans les partitions. Cela réduit directement le coût des requêtes (pay-per-byte) et la latence, en s'attaquant au problème fondamental des requêtes lentes et coûteuses sur une grande table chargée quotidiennement.
Pour aller plus loin
Les performances et les coûts de BigQuery sont fondamentalement liés à la quantité de données analysées. Le partitionnement divise une table en segments de stockage distincts basés sur une colonne, généralement une date, et une requête avec un filtre sur cette colonne ne lit que les partitions correspondantes, ce que peut réduire considérablement les octets traités. Le clustering réordonne les lignes dans les partitions selon les valeurs d'une ou plusieurs colonnes, et BigQuery stocke des métadonnées sur les valeurs min/max de chaque bloc de clusters, ce qui lui permet d'ignorer des blocs entiers qui ne correspondent pas aux prédicats de filtre. Un point subtil mais important : le clustering ne garantit pas l'élagage à moins que le filtre de requête ne porte sur une colonne de clustering, et l'ordre des colonnes de partition et de clustering a son importance — le partitionnement est à grain grossier, le clustering est à grain fin. Une idée reçue courante est que l'ajout de slots accélère toujours les requêtes ; en réalité, BigQuery met déjà à l'échelle automatiquement les slots pour une seule requête, et les requêtes ont des goulots d'étranglement au niveau des E/S et du volume de données, et non du nombre brut de slots. Notez également que BigQuery a une limite de 4000 partitions par table partitionnée, vous devrez donc peut-être choisir un grain plus grossier (par exemple, le mois au lieu du jour) pour de très grands jeux de données. L'optimisation dans le monde réel nécessite d'analyser les filtres de requêtes et les modèles de regroupement, puis de concevoir la disposition des partitions et des clusters pour qu'elle corresponde à ces modèles, ce qui peut générer des améliorations d'un ordre de grandeur en termes de latence et de coût.
À propos de ces questions d'entraînement
Cette question fait partie des questions d'entraînement ACE originales de Courseiva, rédigées pour apprendre et jamais copiées d'examens réels ou de dumps.
Traduite de l'original anglais avec l'IA et vérifiée pour le sens. Les codes d'examen, les commandes et les noms de produits sont conservés tels qu'ils apparaissent à l'examen.