DifícilOpción múltiple

Pregunta de práctica de SAP-C02

Una empresa está migrando un gran clúster de Hadoop a Amazon EMR. El clúster utiliza HDFS para el almacenamiento. La empresa quiere desacoplar la computación y el almacenamiento para reducir costos. ¿Qué enfoque debe adoptar la empresa?

Elige la mejor respuesta.

Respuesta correcta

  • AUtilizar Amazon S3 como almacén de datos y EMRFS

Explicación

El uso de Amazon S3 como almacén de datos con EMRFS es correcto porque desacopla la computación y el almacenamiento: los clústeres EMR pueden leer y escribir directamente en S3, y el clúster se puede terminar sin pérdida de datos. Esto reduce los costos al permitir clústeres efímeros y eliminar la sobrecarga de replicación de HDFS.

Por qué cada opción es correcta o incorrecta

A

Correcta

Utilizar Amazon S3 como almacén de datos y EMRFS

EMRFS permite que EMR lea y escriba datos compatibles con HDFS directamente en Amazon S3, por lo que la capa de almacenamiento del clúster persiste independientemente de los nodos EC2 efímeros. Esto desacopla la computación del almacenamiento, lo que permite terminar los clústeres entre trabajos y reduce el costo de mantener volúmenes HDFS replicados.

B

Incorrecta

Utilizar Amazon FSx for Lustre

FSx for Lustre proporciona un sistema de archivos temporal o persistente de alto rendimiento para procesamiento HPC y EMR, pero no es una capa de almacenamiento compatible con HDFS que EMR pueda usar como reemplazo directo para el desacoplamiento. Se adapta a datos temporales junto con S3, no al almacenamiento principal del clúster.

C

Incorrecta

Utilizar Amazon EFS para HDFS

El HDFS de EMR no se reemplaza por EFS; EMRFS es el sistema de archivos respaldado por S3 que desacopla la computación del almacenamiento, y EFS carece de la API de HDFS y de la semántica de NameNode que espera EMR. EFS se adapta al acceso a archivos POSIX compartidos en instancias EC2, no al almacenamiento de Hadoop.

D

Incorrecta

Utilizar volúmenes EBS para HDFS

Los volúmenes EBS se adjuntan a nodos EC2 individuales, por lo que los datos de HDFS permanecen vinculados al clúster y la computación no puede escalar independientemente del almacenamiento. Resulta atractivo porque EBS ofrece almacenamiento de bloques duradero para HDFS en clústeres autogestionados, lo que se adapta a migraciones lift-and-shift donde el desacoplamiento no es un requisito.

Para profundizar

EMRFS es la implementación del sistema de archivos EMR que permite a los clústeres EMR utilizar S3 como si fuera HDFS. Proporciona una vista consistente (consistent view), que rastrea los metadatos de los objetos de S3 para detectar cambios, y admite características como el cifrado del lado del servidor de S3 y la autorización de EMRFS. Un comportamiento sutil: EMRFS es de consistencia eventual por defecto, pero con la vista consistente habilitada, puede proporcionar consistencia de lectura después de la escritura para nuevos objetos. Además, los costos de almacenamiento de S3 son significativamente más bajos que HDFS en EBS, y se pueden utilizar políticas de ciclo de vida de S3 para mover datos a Glacier. Uso en el mundo real: los equipos de ingeniería de datos ejecutan clústeres EMR efímeros para trabajos por lotes, apuntando la entrada y la salida a S3, y apagan el clúster al finalizar el trabajo, pagando solo por la duración de la computación.

Sobre estas preguntas de práctica

Esta es una de las preguntas de práctica originales de SAP-C02 de Courseiva, escrita para aprender y nunca copiada de exámenes reales ni de dumps.

Traducida del original en inglés con IA y revisada para comprobar el sentido. Los códigos de examen, los comandos y los nombres de productos se mantienen tal como aparecen en el examen.