Preentrenamiento de un modelo GPT con arquitectura Transformer
No Thumbnail Available
Date
2025
Journal Title
Journal ISSN
Volume Title
Publisher
PUCE - Quito
Abstract
Los modelos lingüísticos como GPT (Generative Pretrained Transformer) han transformado la forma en que se procesa la información. No obstante, su funcionamiento se basa en una arquitectura compleja que presenta desafíos de comprensión técnica. Este proyecto busca desglosar esa complejidad mediante la construcción de un modelo GPT, explorando paso a paso los fundamentos de la arquitectura Transformer. Al mismo tiempo, se propone aplicar este conocimiento a un caso práctico que demuestre su utilidad, como la generación de texto.
Description
Keywords
Modelos GPT, Arquitectura de software, Lingüística computacional, Procesamiento de lenguaje natural (Computadores)