FácilOpción múltiple

Pregunta de práctica de MLA-C01

Un equipo de ciencia de datos necesita implementar un modelo de PyTorch entrenado para inferencia en tiempo real con una latencia inferior a 100ms. El modelo cabe en una sola GPU. ¿Qué opción de inferencia de SageMaker es la MÁS rentable al tiempo que cumple con el requisito de latencia?

Elige la mejor respuesta.

Respuesta correcta

  • BSageMaker real-time endpoint en ml.g4dn.xlarge

Explicación

Los endpoints en tiempo real de SageMaker proporcionan instancias dedicadas y persistentes que pueden manejar inferencia sincrónica con una latencia inferior a 100ms. La instancia ml.g4dn.xlarge incluye una sola GPU NVIDIA T4, lo que es suficiente para el tamaño del modelo y ofrece el costo más bajo entre las instancias de GPU que cumplen con el requisito de latencia. Esta opción equilibra el rendimiento y el costo para la inferencia en tiempo real de baja latencia.

Por qué cada opción es correcta o incorrecta

A

Incorrecta

SageMaker Batch Transform

SageMaker Batch Transform procesa un conjunto de datos completo como un trabajo fuera de línea y devuelve los resultados al almacenamiento; no ofrece ningún endpoint persistente, por lo que no puede atender solicitudes individuales en tiempo real. Es tentador porque es el modo de inferencia más barato y sería correcto para la puntuación masiva donde las respuestas no se necesitan de inmediato.

B

Correcta

SageMaker real-time endpoint en ml.g4dn.xlarge

Un endpoint en tiempo real de SageMaker en ml.g4dn.xlarge proporciona un host de inferencia persistente respaldado por GPU con una sobrecarga baja de milisegundos de un solo dígito, cumpliendo con la latencia inferior a 100ms. Dado que el modelo cabe en una GPU, esta opción de instancia única es más rentable que las alternativas multi-GPU o serverless.

C

Incorrecta

SageMaker Async Inference

Async Inference pone las solicitudes en cola y devuelve los resultados a través de Amazon S3, por lo que no puede ofrecer respuestas sincrónicas inferiores a 100ms. Se adapta a trabajos de larga duración o de gran carga con una latencia relajada. Los endpoints en tiempo real, o Serverless Inference para tráfico intermitente, satisfacen el requisito de latencia aquí.

D

Incorrecta

SageMaker Serverless Inference

SageMaker Serverless Inference se escala a cero entre solicitudes, por lo que la inicialización de arranque en frío de un modelo de PyTorch en GPU supera habitualmente el presupuesto de latencia inferior a 100ms. Es tentador porque cobra solo por invocación y sería correcto para cargas de trabajo intermitentes y tolerantes a la latencia en lugar de tráfico constante en tiempo real.

Para profundizar

Un endpoint en tiempo real de SageMaker mantiene el modelo cargado en la instancia y responde a las llamadas HTTPS InvokeEndpoint de forma sincrónica, por lo que el tiempo de respuesta está dominado por la inferencia en lugar de los arranques en frío. Una instancia ml.g4dn.xlarge proporciona una GPU NVIDIA T4 con 16 GB de memoria, suficiente para un modelo de PyTorch de una sola GPU, y se factura por instancia-hora, lo que es más económico que las instancias multi-GPU o más grandes para esta carga de trabajo. Batch Transform es asincrónico y no es adecuado para llamadas interactivas de menos de 100ms, Async Inference pone las solicitudes en cola y puede añadir segundos, y Serverless Inference tiene latencia de arranque en frío y límites de memoria que pueden no ajustarse a un modelo de GPU. Esto importa para una API de puntuación de fraude donde cada milisegundo de latencia de cola afecta la experiencia del usuario.

Sobre estas preguntas de práctica

Esta es una de las preguntas de práctica originales de MLA-C01 de Courseiva, escrita para aprender y nunca copiada de exámenes reales ni de dumps.

Traducida del original en inglés con IA y revisada para comprobar el sentido. Los códigos de examen, los comandos y los nombres de productos se mantienen tal como aparecen en el examen.