LLMOPS PARA UN SISTEMA DE GENERACIÓN AUMENTADA POR RECUPERACIÓN EN LA NUBE

Abstract

Los modelos de lenguaje de gran tamaño (LLM) han impulsado de forma notable la inteligencia artificial generativa, pero presentan limitaciones relevantes cuando se utilizan de forma aislada: su conocimiento interno puede quedar desactualizado, no acceden por sí mismos a información privada o específica de dominio y pueden generar respuestas no fundamentadas. Para mitigar estas carencias, este Trabajo de Fin de Grado aborda el diseño y construcción de un sistema de Generación Aumentada por Recuperación (RAG), capaz de responder preguntas utilizando documentos externos como fuente de contexto.

El caso de uso se formula como un sistema de preguntas y respuestas sobre documentos procedentes de Wikipedia, evaluado de forma controlada mediante un conjunto de datos que proporciona preguntas, el contexto necesario para responderlas correctamente y las respuestas de referencia de alta calidad. Como elemento clave para asegurar la fiabilidad del sistema frente a posibles alucinaciones, la evaluación incorpora métricas de abstención orientadas a analizar el comportamiento del modelo ante preguntas que no pueden responderse con el corpus disponible.

El desarrollo técnico se aborda bajo un ciclo continuo de LLMOps, partiendo de un prototipo local y evolucionando hacia una infraestructura en Amazon Web Services (AWS). La integración de herramientas de orquestación, versionado y seguimiento experimental garantiza una gestión gobernable y trazable, permitiendo la comparación objetiva entre configuraciones. En este entorno en la nube, se evalúan alternativas de búsqueda como OpenSearch Serverless y S3 Vectors, demostrando que esta última aproximación semántica gestionada ofrece un rendimiento superior con menor complejidad de implementación, siendo la opción seleccionada.