FacileChoix unique

Question d'entraînement DEA-C01

Un ingénieur de données doit stocker des journaux JSON semi-structurés provenant de plusieurs microservices de manière rentable pour une analyse ultérieure à l'aide d'Amazon Athena. Les journaux sont générés en continu et le volume total est d'environ 1 To par jour. Les données doivent pouvoir être interrogées dans les minutes suivant leur arrivée. Quelle solution de stockage est la plus appropriée ?

Choisissez la meilleure réponse.

Bonne réponse

  • CCompartiment Amazon S3 avec dossiers partitionnés

Explication

Amazon S3 avec des dossiers partitionnés est la solution la plus appropriée car elle offre une couche de stockage évolutive et rentable pour les journaux JSON semi-structurés, et s'intègre nativement à Amazon Athena pour des requêtes sans serveur. En partitionnant les données par temps (par exemple, année/mois/jour/heure), Athena peut utiliser l'élimination de partitions pour minimiser les données analysées, permettant des requêtes en quelques minutes après l'arrivée. Le faible coût par Go de S3 et les politiques de cycle de vie optimisent davantage le stockage pour le volume de 1 To/jour.

Pourquoi chaque option est juste ou fausse

A

Fausse

Table Amazon DynamoDB avec attribut JSON

DynamoDB stocke des éléments pour des modèles d'accès basés sur des clés et ne peut pas être interrogé directement par Athena sans exportation vers S3, ce qui ajoute de la latence et des coûts. Ce serait correct pour des recherches d'applications à faible latence par clé de partition, mais pas pour le stockage rentable de journaux JSON de 1 To par jour analysés via Athena.

B

Fausse

Table Amazon RDS pour PostgreSQL avec colonne JSON

RDS pour PostgreSQL nécessite que les journaux JSON soient insérés dans une table, et Athena ne peut pas interroger cette table directement ; les données devraient d'abord être extraites vers S3. RDS convient aux charges de travail transactionnelles nécessitant une intégrité relationnelle, et non au stockage en vrac bon marché de journaux semi-structurés interrogés sur place.

C

Juste

Compartiment Amazon S3 avec dossiers partitionnés

Amazon S3 stocke le JSON à un coût faible par téraoctet et s'intègre nativement à Athena, qui interroge les données sur place. Le partitionnement des dossiers par date ou par service élimine les données analysées, réduisant le coût des requêtes et la latence, de sorte que les journaux deviennent interrogeables en quelques minutes après leur arrivée.

D

Fausse

Cluster Amazon Redshift avec ingestion JSON

Redshift nécessite le chargement des données dans un calcul provisionné ou sans serveur avant d'effectuer des requêtes, de sorte que les journaux JSON arrivant en continu nécessiteraient des opérations de staging et de COPY, retardant la disponibilité au-delà de quelques minutes. Redshift convient aux charges de travail analytiques structurées avec des jointures complexes, et non au stockage bon marché de journaux bruts semi-structurés interrogés sur place par Athena.

Pour aller plus loin

Athena est un moteur de requête sans serveur qui lit directement depuis Amazon S3 à l'aide du catalogue de données AWS Glue, de sorte que le stockage et le calcul évoluent indépendamment et vous payez par téraoctet analysé. Le partitionnement de la disposition du préfixe S3, par exemple par année/mois/jour ou nom de service, permet au moteur de requête d'écarter les objets non pertinents via la projection de partitions, réduisant considérablement les octets analysés et le coût. Une limite subtile : chaque requête S3 renvoie au maximum 1 000 clés, et Athena a un délai d'attente de requête de 30 minutes, de sorte que de très petits fichiers nuisent aux performances ; visez des objets de 128 Mo ou plus. En pratique, un flux JSON de 1 To/jour arrive dans S3 via Kinesis Data Firehose, est catalogué et peut être interrogé en quelques minutes, ce que DynamoDB, RDS ou Redshift ne peuvent pas égaler de manière aussi rentable pour du SQL ad hoc.

À propos de ces questions d'entraînement

Cette question fait partie des questions d'entraînement DEA-C01 originales de Courseiva, rédigées pour apprendre et jamais copiées d'examens réels ou de dumps.

Traduite de l'original anglais avec l'IA et vérifiée pour le sens. Les codes d'examen, les commandes et les noms de produits sont conservés tels qu'ils apparaissent à l'examen.