Bonne réponse
- ADéfinir min_replica_count sur 1 pour garder au moins une instance toujours chaude.
Explication
Définir min_replica_count sur 1 maintient toujours une instance de modèle chargée, éliminant le démarrage à froid de 20 secondes pour la première requête et garantissant des réponses immédiates lors des pics. Étant donné qu'une seule réplique est maintenue chaude, le coût reste faible par rapport au maintien de plusieurs répliques toujours actives, et la mise à l'échelle automatique peut en ajouter d'autres en cas de pic de trafic. Cela équilibre la latence et le coût pour des charges de travail imprévisibles en temps réel.
Pour aller plus loin
Sur Vertex AI, un modèle déployé s'exécute dans un conteneur Docker sur une réplique. Le démarrage à froid comprend le pull de l'image, l'initialisation du runtime et le chargement des poids du modèle en mémoire. min_replica_count contrôle le nombre de répliques provisionnées ; max_replica_count plafonne la mise à l'échelle. Garder une réplique chaude évite le démarrage à froid mais engendre un coût continu ; le régler à zéro économise les coûts mais ajoute de la latence. Un comportement subtil : même avec une réplique chaude, un pic soudain dépassant la capacité de cette réplique déclenche de nouvelles répliques qui subissent toujours un démarrage à froid, vous pouvez donc combiner min_replica_count=1 avec un petit maximum et des hooks de préchauffage ou de réchauffement du modèle. Les systèmes de recommandation du monde réel utilisent souvent min=1 pour le trafic de base et la mise à l'échelle automatique pour les pics, acceptant une certaine latence de démarrage à froid uniquement en cas de débordement.
À propos de ces questions d'entraînement
Cette question fait partie des questions d'entraînement PMLE originales de Courseiva, rédigées pour apprendre et jamais copiées d'examens réels ou de dumps.
Traduite de l'original anglais avec l'IA et vérifiée pour le sens. Les codes d'examen, les commandes et les noms de produits sont conservés tels qu'ils apparaissent à l'examen.