Estado del arte de los modelos de lenguaje de gran escala: arquitecturas, entrenamiento y aplicaciones actuales

Abstract

Los modelos de lenguaje de gran escala (LLM) han experimentado un rápido desarrollo desde la introducción del mecanismo de atención transformador, cuya complejidad cuadrática respecto a la longitud de secuencia constituye su principal cuello de botella. Este trabajo pre senta una revisión sistemática de la literatura, siguiendo el protocolo PRISMA 2020, orientada a caracterizar el estado del arte de las arquitecturas alternativas o híbridas propuestas entre 2020 y 2025 para superar dicha limitación. A partir de una búsqueda en Scopus que arrojó 359 registros, se seleccionaron 31 artículos mediante criterios de inclusión y exclusión basados en el marco PICOC. Se abordaron tres preguntas de investigación: clasificación arquitectónica (RQ1), métricas de eficiencia y calidad reportadas (RQ2) e impacto de las mejoras propuestas (RQ3). Los resultados muestran que las arquitecturas híbridas dominan el corpus (18/31, 58,1%), se guidas de Sparse Attention y Mixture of Experts (6/31 cada una), con un único estudio basado en State Space Models y ninguno de Linear Attention pura. La memoria fue la métrica más cubierta (25/31), con una mediana de 8,0 GB para modelos híbridos. El 58,1% de los estudios aborda explícitamente las limitaciones de la atención estándar; el 93,5% reporta mejoras de efi ciencia y el 90,3% mejoras de calidad, sin evidencia de un compromiso sistemático entre ambas dimensiones. Se concluye que la comunidad investigadora transita de manera pragmática hacia soluciones híbridas que preservan la capacidad expresiva del transformer reduciendo su costo computacional.