SOBRE ECUACIONES DIFERENCIALES ORDINARIAS EN REDES NEURONALES

Fecha

2024-06-20

Título de la revista

ISSN de la revista

Título del volumen

Editor

Universidad Rey Juan Carlos

Resumen

El éxito de la inteligencia artificial y su rápido desarrollo, a través del diseño de nuevas arquitecturas y algoritmos para redes neuronales, está promoviendo un creciente interés por la comprensión y mejora de los procesos y algoritmos utilizados. En este trabajo estudiaremos los fundamentos matemáticos en los que se basa el diseño y desarrollo de las recientemente propuestas redes neuronales definidas por ecuaciones diferenciales ordinarias, de acrónimo ODENets (Ordinary Differential Equations Networks). Se trata de redes neuronales continuas cuya discretización, a través de un método de Euler explícito recupera la formulación de unas redes neuronales discretas conocidas como redes residuales o ResNets(Residual Networks). Dado que los parámetros óptimos de la red minimizan una función de pérdida, podemos ver la red como un problema de minimización con restricciones de un funcional de energía en el marco de la teoría del control óptimo de los sistemas dinámicos. La implicación fundamental de este marco continuo es que la optimización se realiza ahora en espacios infinitos dimensionales por lo cual se aplica el cálculo variacional para el planteamiento y resolución del problema de optimización. Mediante el cálculo del hamiltoniano del sistema se escriben las ecuaciones de Euler-Lagrange del problema de optimización como un sistema de EDO de primer orden. El método del adjunto y el principio del máximo de Pontryagin permitirán el tratamiento matemático y la resolución del problema.

Descripción

Trabajo Fin de Grado leído en la Universidad Rey Juan Carlos en el curso académico 2023/2024. Directores/as: Emanuele Schiavi

Citación

license logo
Excepto si se señala otra cosa, la licencia del ítem se describe como Creative Commons Atribución-CompartirIgual 4.0 Internacional