Bonne réponse
- CImplémentez un modèle MLflow PyFunc personnalisé où le pre-processing du texte et le prédicteur scikit-learn sont encapsulés dans la méthode predict.
Explication
Intégrer le pre-processing directement dans le wrapper MLflow PyFunc garantit que la transformation des entrées s'exécute dans l'espace mémoire optimisé du conteneur d'inférence, évitant ainsi les appels réseau hors bande et réduisant la surcharge de sérialisation. Ce modèle architectural prévient les goulots d'étranglement de la latence souvent introduits par des microservices de pre-processing séparés, répondant aux SLA de production stricts.
Pour aller plus loin
Un point de terminaison Databricks Model Serving exécute le modèle à l'intérieur d'un conteneur et renvoie ce que la fonction predict du modèle renvoie, de sorte que la conception la plus rapide maintient chaque étape de l'inférence dans ce même processus. Un modèle MLflow PyFunc personnalisé rend cela possible : vous sous-classez mlflow.pyfunc.PythonModel, chargez l'estimateur scikit-learn et tous les autres artefacts dans load_context, et dans predict vous appliquez le nettoyage du texte puis appelez l'estimateur. Emballés de cette manière, le pre-processing et la prédiction sont déployés sous la forme d'un artefact versionné unique avec des dépendances épinglées, de sorte que les transformations au moment de l'entraînement et du service ne peuvent pas diverger, ce qui est une cause fréquente de perte de précision silencieuse. Pour un budget de 50 millisecondes, les détails à l'intérieur de predict comptent également. Compilez les expressions régulières une seule fois dans load_context au lieu de à chaque appel, traitez les entrées par lot lorsque cela est possible et évitez toute E/S dans le chemin de la requête. Une signature de modèle et un exemple d'entrée aident le point de terminaison à valider rapidement les charges utiles. Les alternatives ajoutent toutes de la latence ou des risques. Interroger une Delta table pendant la notation ajoute un aller-retour réseau et un temps de requête à chaque requête, et le rendre asynchrone n'aide pas lorsque le résultat est nécessaire pour répondre. Une fonction Lambda séparée place un deuxième saut réseau, ses propres démarrages à froid et une étape de sérialisation supplémentaire devant le point de terminaison. Pousser le nettoyage vers les clients répartit la logique sur chaque consommateur, où les versions divergent et un pre-processing non concordant dégrade discrètement les prédictions, et cela laisse toujours les résultats du modèle dépendants d'un code qu'il ne contrôle pas.
À propos de ces questions d'entraînement
Cette question fait partie des questions d'entraînement Databricks-ML-Pro originales de Courseiva, rédigées pour apprendre et jamais copiées d'examens réels ou de dumps.
Traduite de l'original anglais avec l'IA et vérifiée pour le sens. Les codes d'examen, les commandes et les noms de produits sont conservés tels qu'ils apparaissent à l'examen.