Respuesta correcta
- AEstablecer min_replica_count en 1 para mantener al menos una instancia siempre caliente.
Explicación
Establecer min_replica_count en 1 mantiene una instancia de modelo siempre cargada, eliminando el inicio en frío de 20 segundos para la primera solicitud y asegurando respuestas inmediatas durante las ráfagas. Debido a que solo se mantiene una réplica cálida, el costo se mantiene bajo en comparación con mantener múltiples réplicas siempre encendidas, y el autoescalado puede agregar más cuando el tráfico aumenta. Esto equilibra la latencia y el costo para cargas de trabajo impredecibles en tiempo real.
Para profundizar
En Vertex AI, un modelo desplegado se ejecuta en un contenedor Docker en una réplica. El inicio en frío incluye extraer la imagen, inicializar el tiempo de ejecución y cargar los pesos del modelo en la memoria. min_replica_count controla cuántas réplicas se mantienen aprovisionadas; max_replica_count limita el escalado horizontal. Mantener una réplica cálida evita el inicio en frío pero incurre en un costo continuo; configurarla en cero ahorra costo pero agrega latencia. Un comportamiento sutil: incluso con una réplica cálida, un aumento repentino más allá de la capacidad de esa réplica activa nuevas réplicas que aún sufren inicio en frío, por lo que puedes combinar min_replica_count=1 con un máximo pequeño y ganchos de precalentamiento o calentamiento del modelo. Los sistemas de recomendación del mundo real a menudo usan min=1 para el tráfico base y autoescalado para los picos, aceptando cierta latencia de inicio en frío solo en el desbordamiento.
Sobre estas preguntas de práctica
Esta es una de las preguntas de práctica originales de PMLE de Courseiva, escrita para aprender y nunca copiada de exámenes reales ni de dumps.
Traducida del original en inglés con IA y revisada para comprobar el sentido. Los códigos de examen, los comandos y los nombres de productos se mantienen tal como aparecen en el examen.