MoyenneChoix unique

Question d'entraînement ACE

Une table BigQuery dans un pipeline de données reçoit des charges de données quotidiennes. Pour contrôler les coûts de stockage, l'équipe souhaite que les données de la table datant de plus de 180 jours soient automatiquement supprimées au niveau de la table, et non au niveau du dataset. Comment cela doit-il être configuré ?

Choisissez la meilleure réponse.

Bonne réponse

  • CConfigurer l'expiration des partitions sur une table partitionnée par date pour faire expirer les partitions après 180 jours

Explication

La fonction d'expiration des partitions de BigQuery vous permet de supprimer automatiquement des partitions entières d'une table partitionnée par date après un nombre de jours spécifié. En définissant l'expiration des partitions sur 180 jours, toutes les données des partitions de plus de 180 jours sont supprimées au niveau de la table, répondant ainsi à l'exigence sans affecter les autres tables du dataset.

Pourquoi chaque option est juste ou fausse

A

Fausse

Définir une expiration de table par défaut au niveau du dataset de 180 jours dans les propriétés du dataset

Définir une expiration de table par défaut au niveau du dataset de 180 jours n'affecte que les tables créées après la configuration de la propriété — cela ne s'applique pas rétroactivement aux tables existantes. De plus, cette option définit une expiration pour des tables entières, ce qui signifie qu'une table partitionnée par date serait complètement supprimée 180 jours après son horodatage de création, et non que les partitions obsolètes seraient supprimées tout en conservant les données plus récentes. La question demande spécifiquement une configuration au niveau de la table qui préserve les données récentes tout en supprimant les données plus anciennes, de sorte que cette valeur par défaut au niveau du dataset est insuffisante et inadaptée.

B

Fausse

Utiliser un travail Cloud Scheduler pour exécuter une instruction DELETE sur les lignes de plus de 180 jours chaque nuit

L'exécution nocturne d'un travail Cloud Scheduler qui exécute une instruction DELETE sur les lignes de plus de 180 jours supprimerait techniquement les lignes, mais c'est une approche inefficace et coûteuse : les requêtes DELETE consomment des ressources d'emplacement et entraînent des coûts d'exécution de requêtes, et les lignes supprimées occupent toujours du stockage jusqu'à ce que le stockage sous-jacent soit réécrit ou compacté. Contrairement aux mécanismes de rétention natifs de BigQuery, cela nécessite une charge opérationnelle continue (création, planification, surveillance et dépannage d'un travail) et ne garantit pas un nettoyage rapide en cas d'échec du travail. Pour les données de séries chronologiques, l'expiration de partition gérée est l'alternative recommandée, sans maintenance et économique.

C

Juste

Configurer l'expiration des partitions sur une table partitionnée par date pour faire expirer les partitions après 180 jours

Configurer l'expiration des partitions directement sur une table partitionnée par date est correct car BigQuery supprime automatiquement les partitions entières dont la limite de partition est antérieure au nombre de jours configuré, sans requêtes ni travaux initiés par l'utilisateur. Par exemple, définir l'expiration des partitions à 180 jours amène BigQuery à supprimer toute partition quotidienne dont la date est supérieure à 180 jours dans le passé, conservant ainsi efficacement les 180 derniers jours de données glissantes. C'est l'approche la plus efficace, la plus économique et la plus entièrement gérée, car elle n'utilise aucun emplacement de requête et ne nécessite aucun planificateur, ce qui la rend idéale pour les données de journaux et de séries chronologiques.

D

Fausse

Définir un TTL au niveau de la table à l'aide de l'API TTL de BigQuery avec une valeur de 180 jours

BigQuery n'expose pas de fonctionnalité produit appelée 'API TTL' ; à la place, l'expiration de la table est configurée via la propriété de métadonnées expiration_time de la table, qui supprime toute la table après une durée fixe à partir de sa dernière heure de modification — et non un TTL glissant au niveau des lignes ou des partitions. L'utilisation d'une telle expiration de table de 180 jours supprimerait toute la table après 180 jours d'inactivité, ce qui n'est pas le comportement souhaité pour conserver les lignes récentes et faire expirer les anciennes. Pour la rétention par partition, le mécanisme correct est l'expiration des partitions sur une table partitionnée par date, que BigQuery gère automatiquement à la granularité des partitions.

Pour aller plus loin

L'expiration des partitions fonctionne en comparant la limite de chaque partition (par exemple, la valeur de date pour les partitions quotidiennes) avec l'heure UTC actuelle ; lorsqu'une partition est plus ancienne que la durée d'expiration configurée, BigQuery supprime la partition et son stockage sous-jacent en arrière-plan, sans intervention manuelle requise. Il s'agit d'une fonctionnalité gérée de récupération de stockage, donc contrairement aux instructions DELETE, vous ne payez jamais pour les emplacements de requête pour supprimer les données obsolètes, et le stockage libéré cesse d'engendrer des coûts immédiatement après l'expiration. Une idée fausse courante est que l'expiration de table par défaut au niveau du dataset s'applique aux tables déjà existantes ou que l'expiration de table se comporte comme un TTL glissant, mais elle n'affecte que les nouvelles tables et supprime toute la table après un point fixe dans le temps. Une autre subtilité : l'expiration des partitions est distincte de l'expiration des tables et ne fonctionne que sur les tables partitionnées ; si votre table n'est pas partitionnée par une colonne de date/horodatage, vous devez activer le partitionnement de manière rétroactive ou reconcevoir la table. Pour les scénarios de conformité tels que la rétention GDPR ou le droit à l'effacement GDPR, l'expiration des partitions est le modèle standard de BigQuery car elle garantit que les données ne sont pas stockées au-delà de la fenêtre de politique sans code de nettoyage personnalisé, bien que vous deviez vous assurer que les limites des partitions s'alignent sur votre horloge de rétention ; par exemple, les partitions horaires nécessitent que la fenêtre d'expiration soit définie en millisecondes par rapport aux limites des heures.

À propos de ces questions d'entraînement

Cette question fait partie des questions d'entraînement ACE originales de Courseiva, rédigées pour apprendre et jamais copiées d'examens réels ou de dumps.

Traduite de l'original anglais avec l'IA et vérifiée pour le sens. Les codes d'examen, les commandes et les noms de produits sont conservés tels qu'ils apparaissent à l'examen.