FácilOpción múltiple

Pregunta de práctica de PMLE

Necesitas servir un modelo de TensorFlow que tiene una latencia de inicio en frío de 20 segundos. El modelo se utiliza para una aplicación en tiempo real con tráfico impredecible, pero ráfagas ocasionales requieren respuestas inmediatas. ¿Cuál es la mejor estrategia de implementación para minimizar tanto el impacto del inicio en frío como el costo?

Elige la mejor respuesta.

Respuesta correcta

  • AEstablecer min_replica_count en 1 para mantener al menos una instancia siempre caliente.

Explicación

Establecer min_replica_count en 1 mantiene una instancia de modelo siempre cargada, eliminando el inicio en frío de 20 segundos para la primera solicitud y asegurando respuestas inmediatas durante las ráfagas. Debido a que solo se mantiene una réplica cálida, el costo se mantiene bajo en comparación con mantener múltiples réplicas siempre encendidas, y el autoescalado puede agregar más cuando el tráfico aumenta. Esto equilibra la latencia y el costo para cargas de trabajo impredecibles en tiempo real.

Por qué cada opción es correcta o incorrecta

A

Correcta

Establecer min_replica_count en 1 para mantener al menos una instancia siempre caliente.

Establecer min_replica_count en 1 mantiene una réplica cargada permanentemente, por lo que el inicio en frío de TensorFlow de 20 segundos se paga solo en el despliegue en lugar de en cada ráfaga. Las ráfagas son absorbidas escalando réplicas adicionales y la capacidad inactiva se mantiene al mínimo, equilibrando la latencia frente al costo.

B

Incorrecta

Utilizar un tipo de máquina más grande para reducir el tiempo de inicio en frío.

Un tipo de máquina más grande acorta la inicialización marginalmente pero no elimina la carga de TensorFlow de 20 segundos, y aumenta el costo continuamente mientras permanece inactivo entre ráfagas impredecibles. Es tentador porque las instancias más grandes reducen genuinamente parte de la sobrecarga de inicio del framework, lo cual ayudaría si el inicio en frío dependiera del cómputo en lugar de la carga del modelo.

C

Incorrecta

Establecer min_replica_count en 0 y confiar en el autoescalado para manejar las ráfagas.

Establecer min_replica_count en 0 significa que cada ráfaga desencadena un nuevo inicio en frío de 20 segundos, violando directamente el requisito de respuesta inmediata. Es tentador porque la escala a cero minimiza el costo inactivo, lo cual sería correcto para cargas de trabajo por lotes o tolerantes a la latencia donde las primeras solicitudes lentas ocasionales son aceptables.

D

Incorrecta

Habilitar el servicio en Cloud Run para un inicio en frío más rápido.

El inicio en frío basado en solicitudes de Cloud Run aún incurre en la carga de 20 segundos del modelo al escalar horizontalmente, por lo que las ráfagas no se sirven inmediatamente. Es tentador porque Cloud Run escala a cero y factura por solicitud, lo cual sería la opción correcta para inferencia tolerante a la latencia o infrecuente donde el costo supera la respuesta instantánea.

Para profundizar

En Vertex AI, un modelo desplegado se ejecuta en un contenedor Docker en una réplica. El inicio en frío incluye extraer la imagen, inicializar el tiempo de ejecución y cargar los pesos del modelo en la memoria. min_replica_count controla cuántas réplicas se mantienen aprovisionadas; max_replica_count limita el escalado horizontal. Mantener una réplica cálida evita el inicio en frío pero incurre en un costo continuo; configurarla en cero ahorra costo pero agrega latencia. Un comportamiento sutil: incluso con una réplica cálida, un aumento repentino más allá de la capacidad de esa réplica activa nuevas réplicas que aún sufren inicio en frío, por lo que puedes combinar min_replica_count=1 con un máximo pequeño y ganchos de precalentamiento o calentamiento del modelo. Los sistemas de recomendación del mundo real a menudo usan min=1 para el tráfico base y autoescalado para los picos, aceptando cierta latencia de inicio en frío solo en el desbordamiento.

Sobre estas preguntas de práctica

Esta es una de las preguntas de práctica originales de PMLE de Courseiva, escrita para aprender y nunca copiada de exámenes reales ni de dumps.

Traducida del original en inglés con IA y revisada para comprobar el sentido. Los códigos de examen, los comandos y los nombres de productos se mantienen tal como aparecen en el examen.