Técnicas de fine-tuning para Large Language Models: revisión sistemática y evaluación comparativa

Abstract

Esta monografía presenta una revisión sistemática de las técnicas de fine-tuning para Large Language Models (LLMs) publicadas entre 2020 y 2025, conducida mediante el protocolo PRISMA 2020. A partir de una búsqueda inicial de 140 registros en Scopus, se seleccionaron 84 estudios empíricos con evaluación cuantitativa, distribuidos en cuatro dominios: Salud y Biomedicina (35,7%), Lenguaje y Humanidades (25,0%), Ciencias Exactas y Computación (23,8%) e Industria y Negocios (15,5%). El análisis abarcó nueve técnicas organizadas en tres paradigmas: Full Fine-Tuning y SFT como enfoques de actualización completa de parámetros, cinco métodos de Parameter-Efficient Fine-Tuning (LoRA, QLoRA, Adapter Layers, Prefix Tuning, Prompt Tuning) y dos métodos de alineación (RLHF, DPO). Los resultados evidencian la hegemonía de LoRA y sus variantes, presente en el 79,8% de los estudios incluidos, con una calidad metodológica del corpus aceptable (score promedio de 2,61 sobre 3,0). Se identificaron tres patrones transversales: la efectividad consistente del fine-tuning sobre el modelo base sin adaptar, la ventaja de las técnicas PEFT en lenguas y dominios de baja cobertura en el preentrenamiento, y la tendencia hacia arquitecturas compuestas en aplicaciones de producción. Los hallazgos permiten formular criterios de selección basados en evidencia empírica según el contexto operativo, las restricciones de privacidad y los requisitos de alineación.