DifícilOpción múltiple

Pregunta de práctica de MLA-C01

Un equipo está implementando un modelo de TensorFlow en un endpoint en tiempo real de SageMaker con escalado automático. Configuran la política de escalado para apuntar a una utilización promedio de CPU del 50%. Sin embargo, durante los picos de tráfico, el endpoint experimenta alta latencia y errores 503. El tipo de instancia es ml.c5.large. ¿Qué debe hacer el equipo para resolver esto minimizando los costos?

Elige la mejor respuesta.

Respuesta correcta

  • DAñadir una política de escalado basada en el número de solicitudes concurrentes por instancia

Explicación

El escalado basado únicamente en la utilización de la CPU suele ser insuficiente para las cargas de trabajo de inferencia en las que la latencia es la principal preocupación. Al añadir una política de escalado basada en el número de solicitudes concurrentes por instancia, el equipo puede escalar horizontalmente de forma proactiva antes de que se produzca la saturación de la CPU, reduciendo la latencia y eliminando los errores 503. El escalado automático de SageMaker admite múltiples métricas de seguimiento de objetivos, y el uso de solicitudes concurrentes por instancia se alinea más estrechamente con la demanda real en el contenedor de servicio del modelo.

Por qué cada opción es correcta o incorrecta

A

Incorrecta

Precalentar el endpoint manteniendo un número fijo de instancias adicionales

El precalentamiento mantiene las instancias inactivas ejecutándose permanentemente, lo que aumenta los costos sin abordar la lenta reacción de la política de escalado ante los picos. Resulta tentador porque el precalentamiento es la opción correcta para los endpoints sensibles a la latencia con un tráfico base constante y predecible donde los arranques en frío son inaceptables.

B

Incorrecta

Aumentar el periodo de enfriamiento de reducción (scale-in cooldown) para evitar reducciones frecuentes

Extender el periodo de enfriamiento de reducción solo retrasa la eliminación de instancias; no hace nada para añadir capacidad más rápido durante un pico, por lo que la latencia y los errores 503 persisten. Es tentador porque el ajuste del enfriamiento es la solución correcta cuando el escalado oscila, añadiendo y eliminando instancias repetidamente.

C

Incorrecta

Cambiar el tipo de instancia a una más grande como ml.c5.xlarge para manejar los picos

Una instancia más grande aumenta la capacidad por instancia, pero la política de seguimiento de objetivos sigue escalando según la CPU, y las instancias más grandes inactivas cuestan más, lo que contradice el requisito de costos. Es tentador porque el escalado vertical es la solución correcta cuando una sola instancia está genuinamente limitada por la CPU y no se puede dividir entre réplicas.

D

Correcta

Añadir una política de escalado basada en el número de solicitudes concurrentes por instancia

El escalado por solicitudes concurrentes rastrea la demanda real en lugar de la CPU, la cual va a la zaga de las ráfagas de solicitudes en ml.c5.large. Añade capacidad antes de que ocurran la latencia y los errores 503, satisfaciendo la restricción de capacidad de respuesta mientras evita el costo de instancias permanentemente más grandes.

Para profundizar

El escalado automático de SageMaker evalúa las métricas de CloudWatch frente a un objetivo; la utilización de la CPU va aaga en comparación con la demanda real porque una solicitud ya debe estar en cola y ejecutándose antes de que aumente la CPU, por lo que durante los picos pronunciados el endpoint escala demasiado tarde y devuelve errores 503. Una política basada en ConcurrentRequestsPerInstance (o InvocationsPerInstance) reacciona directamente a la profundidad de la cola, activando el escalado horizontal antes de que se sature la CPU. Esto es más barato que cambiar a ml.c5.xlarge, lo que eleva el costo por hora para todo el tráfico, y más barato que precalentar instancias adicionales fijas que permanecen inactivas. Un detalle sutil: el periodo de enfriamiento del escalado horizontal y el valor objetivo deben ajustarse; un objetivo demasiado bajo provoca oscilaciones. En una implementación real, un pico de tráfico de venta flash es exactamente donde el escalado basado en solicitudes mantiene la latencia dentro del SLA al tiempo que minimiza el costo en estado estacionario.

Sobre estas preguntas de práctica

Esta es una de las preguntas de práctica originales de MLA-C01 de Courseiva, escrita para aprender y nunca copiada de exámenes reales ni de dumps.

Traducida del original en inglés con IA y revisada para comprobar el sentido. Los códigos de examen, los comandos y los nombres de productos se mantienen tal como aparecen en el examen.