Preentrenamiento de un modelo GPT con arquitectura Transformer

Abstract

Los modelos lingüísticos como GPT (Generative Pretrained Transformer) han transformado la forma en que se procesa la información. No obstante, su funcionamiento se basa en una arquitectura compleja que presenta desafíos de comprensión técnica. Este proyecto busca desglosar esa complejidad mediante la construcción de un modelo GPT, explorando paso a paso los fundamentos de la arquitectura Transformer. Al mismo tiempo, se propone aplicar este conocimiento a un caso práctico que demuestre su utilidad, como la generación de texto.