DifficileChoix unique

Question d'entraînement SAP-C02

Une entreprise migre un grand cluster Hadoop vers Amazon EMR. Le cluster utilise HDFS pour le stockage. L'entreprise souhaite dissocier le calcul et le stockage pour réduire les coûts. Quelle approche l'entreprise doit-elle adopter ?

Choisissez la meilleure réponse.

Bonne réponse

  • AUtiliser Amazon S3 comme magasin de données et EMRFS

Explication

L'utilisation d'Amazon S3 comme banque de données avec EMRFS est correcte car elle dissocie le calcul et le stockage — les clusters EMR peuvent lire et écrire directement dans S3, et le cluster peut être arrêté sans perte de données. Cela réduit les coûts en permettant des clusters éphémères et en éliminant la surcharge de réplication HDFS.

Pourquoi chaque option est juste ou fausse

A

Juste

Utiliser Amazon S3 comme magasin de données et EMRFS

EMRFS permet à EMR de lire et d'écrire des données compatibles HDFS directement dans Amazon S3, de sorte que la couche de stockage du cluster persiste indépendamment des nœuds EC2 éphémères. Cela dissocie le calcul du stockage, permettant aux clusters d'être arrêtés entre les tâches et réduisant le coût de maintenance des volumes HDFS répliqués.

B

Fausse

Utiliser Amazon FSx for Lustre

FSx for Lustre fournit un système de fichiers temporaire ou persistant haute performance pour le traitement HPC et EMR, mais ce n'est pas une couche de stockage compatible HDFS qu'EMR peut utiliser comme remplacement direct pour le découplage. Il convient aux données temporaires aux côtés de S3, et non au stockage principal du cluster.

C

Fausse

Utiliser Amazon EFS pour HDFS

Le HDFS d'EMR n'est pas remplacé par EFS ; EMRFS est le système de fichiers basé sur S3 qui dissocie le calcul du stockage, et EFS ne dispose pas de l'API HDFS et de la sémantique NameNode attendues par EMR. EFS convient à l'accès partagé aux fichiers POSIX sur les instances EC2, et non au stockage Hadoop.

D

Fausse

Utiliser des volumes EBS pour HDFS

Les volumes EBS se fixent à des nœuds EC2 individuels, de sorte que les données HDFS restent liées au cluster et le calcul ne peut pas être mis à l'échelle indépendamment du stockage. C'est attrayant car EBS offre un stockage par blocs durable pour HDFS sur des clusters autogérés, ce qui convient aux migrations lift-and-shift où le découplage n'est pas une exigence.

Pour aller plus loin

EMRFS est l'implémentation du système de fichiers EMR qui permet aux clusters EMR d'utiliser S3 comme s'il s'agissait de HDFS. Il fournit une vue cohérente (consistent view), qui suit les métadonnées des objets S3 pour détecter les modifications, et prend en charge des fonctionnalités telles que le chiffrement côté serveur S3 et l'autorisation EMRFS. Un comportement subtil : EMRFS est à cohérence éventuelle par défaut, mais avec la vue cohérente activée, il peut fournir une cohérence de lecture après écriture pour les nouveaux objets. De plus, les coûts de stockage S3 sont nettement inférieurs à ceux de HDFS sur EBS, et vous pouvez utiliser des politiques de cycle de vie S3 pour déplacer des données vers Glacier. Utilisation dans le monde réel : les équipes d'ingénierie des données exécutent des clusters EMR éphémères pour les traitements par lots, en pointant l'entrée et la sortie vers S3, et arrêtent le cluster une fois le travail terminé, ne payant que pour la durée du calcul.

À propos de ces questions d'entraînement

Cette question fait partie des questions d'entraînement SAP-C02 originales de Courseiva, rédigées pour apprendre et jamais copiées d'examens réels ou de dumps.

Traduite de l'original anglais avec l'IA et vérifiée pour le sens. Les codes d'examen, les commandes et les noms de produits sont conservés tels qu'ils apparaissent à l'examen.