MédiaMúltipla escolha

Questão de prática de Databricks-ML-Pro

Um engenheiro de aprendizado de máquina precisa implantar um modelo personalizado do scikit-learn em um endpoint do Databricks Model Serving com um SLA estrito de tempo de resposta inferior a 50 milissegundos. O modelo inclui um extenso pipeline de limpeza de texto que utiliza correspondência pesada de expressões regulares. Como o engenheiro deve empacotar o modelo para garantir a máxima eficiência de inferência e atender ao requisito de baixa latência?

Escolha a melhor resposta.

Resposta correta

  • CImplemente um modelo MLflow PyFunc personalizado onde tanto o pré-processamento de texto quanto o preditor scikit-learn são encapsulados dentro do método predict.

Explicação

Integrar o pré-processamento diretamente no wrapper do MLflow PyFunc garante que a transformação de entrada seja executada dentro do espaço de memória do contêiner de inferência otimizado, evitando chamadas de rede fora de banda e reduzindo a sobrecarga de serialização. Esse padrão arquitetural evita gargalos de latência frequentemente introduzidos por microsserviços de pré-processamento separados, satisfazendo SLAs rígidos de produção.

Por que cada alternativa está certa ou errada

A

Incorreta

Armazene a lógica de pré-processamento em uma tabela Delta e faça com que o endpoint de atendimento consulte a tabela de forma assíncrona durante a solicitação de pontuação.

Ler a lógica de pré-processamento de uma tabela Delta durante cada solicitação de pontuação adiciona uma ida e volta de rede e acesso ao armazenamento a cada previsão, e torna o modelo dependente de um sistema externo estar disponível e rápido. Isso torna um SLA de 50 milissegundos muito difícil de ser alcançado de forma confiável. Os endpoints em tempo real funcionam melhor quando tudo o necessário para pontuar uma solicitação é empacotado dentro do artefato do modelo, carregado na memória uma vez quando o endpoint é iniciado.

B

Incorreta

Desenvolva uma função separada do Azure ou AWS Lambda para lidar com a limpeza do texto antes de encaminhar a carga útil da solicitação para o endpoint do modelo.

Uma função Lambda ou de nuvem separada na frente do endpoint adiciona outro salto de rede, serialização extra e possíveis partidas a frio a cada solicitação, consumindo um orçamento de 50 milissegundos. Ela também divide um modelo lógico em duas implantações que devem ser versionadas, protegidas e monitoradas juntas, para que o pré-processamento e o modelo possam se desalinhar. Manter a limpeza e a previsão em um único artefato atendido evita tanto a latência quanto o risco de consistência.

C

Correta

Implemente um modelo MLflow PyFunc personalizado onde tanto o pré-processamento de texto quanto o preditor scikit-learn são encapsulados dentro do método predict.

Um modelo MLflow PyFunc personalizado encapsula a limpeza de regex e o preditor scikit-learn em um único método predict, de modo que o texto bruto entra e uma previsão sai dentro de um único processo. Objetos pesados, como expressões regulares compiladas e o modelo carregado, podem ser criados uma vez em load_context em vez de por solicitação. A mesma lógica é executada no treinamento, teste e atendimento, evitando distorções, e o Model Serving o implanta como um único artefato versionado.

D

Incorreta

Implante o modelo scikit-learn nativamente sem código de wrapper personalizado e exija que os aplicativos clientes executem a lógica de limpeza de regex localmente.

Enviar a limpeza de regex para cada cliente significa que cada aplicativo de chamada deve implementar lógica idêntica, e qualquer diferença produz distorção entre treinamento e atendimento e previsões silenciosamente erradas. O endpoint em si não aceitaria mais texto bruto, e alterar a limpeza exigiria atualizações coordenadas em todos os clientes. Pode parecer mais rápido porque o servidor faz menos trabalho, mas empacotar o pré-processamento com o modelo é a maneira confiável de manter a latência e a precisão sob controle.

Para se aprofundar

Um endpoint do Databricks Model Serving executa o modelo dentro de um contêiner e retorna o que a função predict do modelo retornar, de modo que o design mais rápido mantém cada etapa da inferência nesse mesmo processo. Um modelo MLflow PyFunc personalizado torna isso possível: você subclassifica mlflow.pyfunc.PythonModel, carrega o estimador scikit-learn e quaisquer outros artefatos em load_context, e em predict aplica a limpeza de texto e, em seguida, chama o estimador. Empacotado dessa forma, o pré-processamento e a previsão são enviados como um único artefato versionado com dependências fixas, de modo que as transformações em tempo de treinamento e em tempo de atendimento não possam divergir, o que é uma causa comum de perda silenciosa de precisão. Para um orçamento de 50 milissegundos, os detalhes dentro de predict também importam. Compile as expressões regulares uma vez em load_context em vez de a cada chamada, processe as entradas em lote sempre que possível e evite qualquer E/S no caminho da solicitação. Uma assinatura de modelo e um exemplo de entrada ajudam o endpoint a validar cargas úteis rapidamente. As alternativas adicionam latência ou risco. Consultar uma tabela Delta durante a pontuação adiciona uma ida e volta de rede e tempo de consulta a cada solicitação, e torná-la assíncrona não ajuda quando o resultado é necessário para responder. Uma função Lambda separada coloca um segundo salto de rede, suas próprias partidas a frio e uma etapa extra de serialização na frente do endpoint. Enviar a limpeza para os clientes espalha a lógica por cada consumidor, onde as versões divergem e o pré-processamento incompatível degrada silenciosamente as previsões, e ainda deixa os resultados do modelo dependentes de código que ele não controla.

Sobre estas questões de prática

Esta é uma das questões de prática originais de Databricks-ML-Pro da Courseiva, escrita para o aprendizado e nunca copiada de provas reais nem de dumps.

Traduzida do original em inglês com IA e conferida quanto ao sentido. Códigos de exame, comandos e nomes de produtos são mantidos como aparecem na prova.