MediaOpción múltiple

Pregunta de práctica de PMLE

Una empresa implementa un modelo de TensorFlow personalizado en Vertex AI Endpoint para predicciones en línea. Después de la implementación, la latencia de las predicciones es consistentemente alta (más de 500 ms) incluso con poco tráfico. El modelo utiliza únicamente CPU y se emplea el tipo de máquina predeterminado (n1-standard-2). ¿Qué acción reducirá con mayor probabilidad la latencia de las predicciones?

Elige la mejor respuesta.

Respuesta correcta

  • BCambiar el tipo de máquina a n1-highcpu-16 con un acelerador GPU.

Explicación

Cambiar el tipo de máquina a n1-highcpu-16 con un acelerador GPU proporciona recursos de cómputo significativamente mayores para el modelo de TensorFlow personalizado. El n1-highcpu-16 ofrece 16 vCPUs (frente a 2 en n1-standard-2), lo que reduce el tiempo de inferencia limitado por CPU, y agregar una GPU acelera las operaciones de matrices comunes en los modelos de TensorFlow, reduciendo directamente la latencia por solicitud. La opción A es incorrecta porque aumentar el max_replica_count permite más solicitudes en paralelo pero no mejora el tiempo de procesamiento de una sola solicitud. La opción C es incorrecta porque establecer min_replica_count garantiza capacidad siempre activa para evitar arranques en frío, pero no reduce la latencia en estado estacionario. La opción D es incorrecta porque aumentar el tamaño del lote en la solicitud de predicción aumenta el rendimiento al procesar múltiples entradas juntas, pero no reduce la latencia para una sola predicción; de hecho, puede aumentar el tiempo necesario para devolver un resultado para una solicitud dada.

Por qué cada opción es correcta o incorrecta

A

Incorrecta

Aumentar el max_replica_count a 10 para permitir más solicitudes en paralelo.

Más réplicas mejoran el rendimiento pero no la latencia por solicitud.

B

Correcta

Cambiar el tipo de máquina a n1-highcpu-16 con un acelerador GPU.

Agregar un acelerador GPU descarga las operaciones de matrices de TensorFlow de la CPU, abordando directamente la limitación de solo CPU que causa la latencia de 500 ms. La forma n1-highcpu-16 proporciona proporcionalmente más vCPUs y memoria para el preprocesamiento y el procesamiento por lotes, por lo que la inferencia se completa más rápido incluso con poco tráfico.

C

Incorrecta

Establecer min_replica_count en 3 para garantizar capacidad siempre activa.

Las réplicas mínimas reducen el arranque en frío pero no la latencia en estado estacionario.

D

Incorrecta

Aumentar el tamaño del lote en la solicitud de predicción.

Los lotes más grandes aumentan la latencia por solicitud.

Para profundizar

La latencia de las predicciones en línea en Vertex AI depende en gran medida del tipo de máquina, la disponibilidad de CPU/GPU y la eficiencia del grafo del modelo. El n1-standard-2 ofrece solo 2 vCPUs y 7.5 GB de RAM, lo cual suele ser insuficiente para la inferencia de TensorFlow que implica operaciones con matrices grandes. Cambiar a n1-highcpu-16 proporciona 16 vCPUs con una mayor proporción de CPU a memoria, y adjuntar un acelerador GPU descarga los cálculos de tensores, reduciendo drásticamente la latencia por solicitud. Un comportamiento sutil es que la aceleración por GPU solo ayuda si el modelo y la compilación de TensorFlow admiten CUDA; de lo contrario, la GPU permanece inactiva. En la práctica, un modelo limitado por CPU que atiende predicciones de 500 ms con poco tráfico es un signo clásico de cómputo subdimensionado, y escalar réplicas o usar lotes no reduce la latencia de una sola solicitud.

Sobre estas preguntas de práctica

Esta es una de las preguntas de práctica originales de PMLE de Courseiva, escrita para aprender y nunca copiada de exámenes reales ni de dumps.

Traducida del original en inglés con IA y revisada para comprobar el sentido. Los códigos de examen, los comandos y los nombres de productos se mantienen tal como aparecen en el examen.