Respuesta correcta
- DAñadir una política de escalado basada en el número de solicitudes concurrentes por instancia
Explicación
El escalado basado únicamente en la utilización de la CPU suele ser insuficiente para las cargas de trabajo de inferencia en las que la latencia es la principal preocupación. Al añadir una política de escalado basada en el número de solicitudes concurrentes por instancia, el equipo puede escalar horizontalmente de forma proactiva antes de que se produzca la saturación de la CPU, reduciendo la latencia y eliminando los errores 503. El escalado automático de SageMaker admite múltiples métricas de seguimiento de objetivos, y el uso de solicitudes concurrentes por instancia se alinea más estrechamente con la demanda real en el contenedor de servicio del modelo.
Para profundizar
El escalado automático de SageMaker evalúa las métricas de CloudWatch frente a un objetivo; la utilización de la CPU va aaga en comparación con la demanda real porque una solicitud ya debe estar en cola y ejecutándose antes de que aumente la CPU, por lo que durante los picos pronunciados el endpoint escala demasiado tarde y devuelve errores 503. Una política basada en ConcurrentRequestsPerInstance (o InvocationsPerInstance) reacciona directamente a la profundidad de la cola, activando el escalado horizontal antes de que se sature la CPU. Esto es más barato que cambiar a ml.c5.xlarge, lo que eleva el costo por hora para todo el tráfico, y más barato que precalentar instancias adicionales fijas que permanecen inactivas. Un detalle sutil: el periodo de enfriamiento del escalado horizontal y el valor objetivo deben ajustarse; un objetivo demasiado bajo provoca oscilaciones. En una implementación real, un pico de tráfico de venta flash es exactamente donde el escalado basado en solicitudes mantiene la latencia dentro del SLA al tiempo que minimiza el costo en estado estacionario.
Sobre estas preguntas de práctica
Esta es una de las preguntas de práctica originales de MLA-C01 de Courseiva, escrita para aprender y nunca copiada de exámenes reales ni de dumps.
Traducida del original en inglés con IA y revisada para comprobar el sentido. Los códigos de examen, los comandos y los nombres de productos se mantienen tal como aparecen en el examen.