FácilMúltipla escolha

Questão de prática de MLA-C01

Uma equipe de ciência de dados precisa implantar um modelo PyTorch treinado para inferência em tempo real com latência inferior a 100 ms. O modelo cabe em uma única GPU. Qual opção de inferência do SageMaker é a MAIS econômica e atende ao requisito de latência?

Escolha a melhor resposta.

Resposta correta

  • BEndpoint em tempo real do SageMaker em ml.g4dn.xlarge

Explicação

Os endpoints em tempo real do SageMaker fornecem instâncias dedicadas e persistentes que podem lidar com inferência síncrona com latência inferior a 100 ms. A instância ml.g4dn.xlarge inclui uma única GPU NVIDIA T4, que é suficiente para o tamanho do modelo e oferece o menor custo entre as instâncias de GPU que atendem ao requisito de latência. Esta opção equilibra desempenho e custo para inferência em tempo real e de baixa latência.

Por que cada alternativa está certa ou errada

A

Incorreta

SageMaker Batch Transform

O SageMaker Batch Transform processa um conjunto de dados inteiro como um job offline e retorna os resultados para o armazenamento; ele não oferece nenhum endpoint persistente, portanto, não pode atender a solicitações individuais em tempo real. É tentador porque é o modo de inferência mais barato e seria correto para pontuação em lote em que as respostas não são necessárias imediatamente.

B

Correta

Endpoint em tempo real do SageMaker em ml.g4dn.xlarge

Um endpoint em tempo real do SageMaker em ml.g4dn.xlarge fornece um host de inferencia persistente baseado em GPU com baixa sobrecarga de milissegundos de dígito único, atendendo à latência inferior a 100 ms. Como o modelo cabe em uma GPU, esta opção de instância única é mais econômica do que alternativas multi-GPU ou sem servidor.

C

Incorreta

SageMaker Async Inference

O Async Inference enfileira solicitações e retorna resultados via Amazon S3, portanto, não pode entregar respostas síncronas inferiores a 100 ms. Ele atende a jobs de longa duração ou com grandes payloads com latência relaxada. Endpoints em tempo real, ou Serverless Inference para tráfego intermitente, atendem ao requisito de latencia aqui.

D

Incorreta

SageMaker Serverless Inference

O SageMaker Serverless Inference escala para zero entre as solicitações, portanto, a inicialização a frio de um modelo PyTorch em GPU rotineiramente excede o orçamento de latência inferior a 100 ms. É tentador porque cobra apenas por invocação, e seria correto para cargas de trabalho intermitentes e tolerantes à latência em vez de tráfego constante em tempo real.

Para se aprofundar

Um endpoint em tempo real do SageMaker mantém o modelo carregado na instância e responde às chamadas HTTPS InvokeEndpoint de forma síncrona, de modo que o tempo de resposta é dominado pela inferência e não por inicializações a frio. Uma instância ml.g4dn.xlarge fornece uma GPU NVIDIA T4 com 16 GB de memória, suficiente para um modelo PyTorch de GPU única, e é cobrada por instância-hora, o que é mais barato do que instâncias maiores ou multi-GPU para esta carga de trabalho. O Batch Transform é assíncrono e inadequado para chamadas interativas abaixo de 100 ms, o Async Inference enfileira solicitações e pode adicionar segundos, e o Serverless Inference tem latência de inicialização a frio e limites de memória que podem não caber em um modelo de GPU. Isso importa para uma API de pontuação de fraude em que cada milissegundo de latência da cauda afeta a experiência do usuário.

Sobre estas questões de prática

Esta é uma das questões de prática originais de MLA-C01 da Courseiva, escrita para o aprendizado e nunca copiada de provas reais nem de dumps.

Traduzida do original em inglês com IA e conferida quanto ao sentido. Códigos de exame, comandos e nomes de produtos são mantidos como aparecem na prova.