FacileChoix unique

Question d'entraînement PMLE

Vous devez déployer un modèle TensorFlow qui a une latence de démarrage à froid de 20 secondes. Le modèle est utilisé pour une application en temps réel avec un trafic imprévisible, mais des pics occasionnels nécessitent des réponses immédiates. Quelle est la meilleure stratégie de déploiement pour minimiser à la fois l'impact du démarrage à froid et le coût ?

Choisissez la meilleure réponse.

Bonne réponse

  • ADéfinir min_replica_count sur 1 pour garder au moins une instance toujours chaude.

Explication

Définir min_replica_count sur 1 maintient toujours une instance de modèle chargée, éliminant le démarrage à froid de 20 secondes pour la première requête et garantissant des réponses immédiates lors des pics. Étant donné qu'une seule réplique est maintenue chaude, le coût reste faible par rapport au maintien de plusieurs répliques toujours actives, et la mise à l'échelle automatique peut en ajouter d'autres en cas de pic de trafic. Cela équilibre la latence et le coût pour des charges de travail imprévisibles en temps réel.

Pourquoi chaque option est juste ou fausse

A

Juste

Définir min_replica_count sur 1 pour garder au moins une instance toujours chaude.

Définir min_replica_count sur 1 maintient une réplique chargée en permanence, de sorte que le démarrage à froid de TensorFlow de 20 secondes n'est payé qu'au déploiement plutôt qu'à chaque pic. Les pics sont absorbés en mettant à l'échelle des répliques supplémentaires et la capacité inactive reste minime, équilibrant la latence et le coût.

B

Fausse

Utiliser un type de machine plus grand pour réduire le temps de démarrage à froid.

Un type de machine plus grand raccourcit légèrement l'initialisation mais n'élimine pas la charge TensorFlow de 20 secondes, et augmente le coût en continu lorsqu'il est inactif entre des pics imprévisibles. C'est tentant car des instances plus grandes réduisent véritablement une partie de la surcharge de démarrage du framework, ce qui aiderait si le démarrage à froid était lié au calcul plutôt qu'au chargement du modèle.

C

Fausse

Définir min_replica_count sur 0 et s'appuyer sur la mise à l'échelle automatique pour gérer les pics.

Définir min_replica_count sur 0 signifie que chaque pic déclenche un nouveau démarrage à froid de 20 secondes, violant directement l'exigence de réponse immédiate. C'est tentant car la mise à l'échelle à zéro minimise le coût d'inactivité, ce qui serait correct pour des charges de travail par lots ou tolérantes à la latence où de premières requêtes lentes occasionnelles sont acceptables.

D

Fausse

Activer le service sur Cloud Run pour un démarrage à froid plus rapide.

Le démarrage à froid basé sur les requêtes de Cloud Run subit toujours la charge de 20 secondes du modèle lors de la mise à l'échelle horizontale, de sorte que les pics ne sont pas servis immédiatement. C'est tentant car Cloud Run passe à zéro et facture par requête, ce qui serait le bon choix pour une inférence tolérante à la latence ou peu fréquente où le coût l'emporte sur la réponse instantanée.

Pour aller plus loin

Sur Vertex AI, un modèle déployé s'exécute dans un conteneur Docker sur une réplique. Le démarrage à froid comprend le pull de l'image, l'initialisation du runtime et le chargement des poids du modèle en mémoire. min_replica_count contrôle le nombre de répliques provisionnées ; max_replica_count plafonne la mise à l'échelle. Garder une réplique chaude évite le démarrage à froid mais engendre un coût continu ; le régler à zéro économise les coûts mais ajoute de la latence. Un comportement subtil : même avec une réplique chaude, un pic soudain dépassant la capacité de cette réplique déclenche de nouvelles répliques qui subissent toujours un démarrage à froid, vous pouvez donc combiner min_replica_count=1 avec un petit maximum et des hooks de préchauffage ou de réchauffement du modèle. Les systèmes de recommandation du monde réel utilisent souvent min=1 pour le trafic de base et la mise à l'échelle automatique pour les pics, acceptant une certaine latence de démarrage à froid uniquement en cas de débordement.

À propos de ces questions d'entraînement

Cette question fait partie des questions d'entraînement PMLE originales de Courseiva, rédigées pour apprendre et jamais copiées d'examens réels ou de dumps.

Traduite de l'original anglais avec l'IA et vérifiée pour le sens. Les codes d'examen, les commandes et les noms de produits sont conservés tels qu'ils apparaissent à l'examen.