Respuesta correcta
- DUtilice técnicas de ajuste fino eficiente en parámetros (PEFT) como LoRA
Explicación
Las técnicas de ajuste fino eficiente de parámetros (PEFT) como LoRA (Low-Rank Adaptation) reducen significativamente el número de parámetros entrenables mediante la inyección de matrices de bajo rango en las capas del modelo, manteniendo los pesos originales congelados. Esto reduce drásticamente el uso de memoria y el costo computacional, permitiendo un entrenamiento más rápido y horas de GPU reducidas en SageMaker sin sacrificar la calidad del modelo.
Para profundizar
LoRA congela los pesos preentrenados e inyecta matrices entrenables de bajo rango en las capas de atención, por lo que solo una pequeña fracción de los parámetros recibe actualizaciones de gradiente. Esto reduce la memoria de la GPU porque los estados del optimizador y los gradientes existen solo para los adaptadores, lo que permite que un modelo que requeriría múltiples GPUs quepa en una sola. Un punto sutil: el rango y el alfa de LoRA controlan la capacidad; un rango demasiado bajo subajusta la jerga del dominio, uno demasiado alto erosiona la ganancia de eficiencia. En la práctica, un equipo que adapta un modelo 7B a contratos legales puede entrenar adaptadores en horas en una sola A10G en lugar de aprovisionar un clúster de múltiples GPUs, y el archivo de adaptador resultante es de megabytes en lugar de decenas de gigabytes, simplificando el versionado y la implementación.
Sobre estas preguntas de práctica
Esta es una de las preguntas de práctica originales de AIF-C01 de Courseiva, escrita para aprender y nunca copiada de exámenes reales ni de dumps.
Traducida del original en inglés con IA y revisada para comprobar el sentido. Los códigos de examen, los comandos y los nombres de productos se mantienen tal como aparecen en el examen.