SOBRE ECUACIONES DIFERENCIALES ORDINARIAS EN REDES NEURONALES

Abstract

El éxito de la inteligencia artificial y su rápido desarrollo, a través del diseño de nuevas arquitecturas y algoritmos para redes neuronales, está promoviendo un creciente interés por la comprensión y mejora de los procesos y algoritmos utilizados.

En este trabajo estudiaremos los fundamentos matemáticos en los que se basa el diseño y desarrollo de las recientemente propuestas redes neuronales definidas por ecuaciones diferenciales ordinarias, de acrónimo ODENets (Ordinary Differential Equations Networks).

Se trata de redes neuronales continuas cuya discretización, a través de un método de Euler explícito recupera la formulación de unas redes neuronales discretas conocidas como redes residuales o ResNets(Residual Networks).

Dado que los parámetros óptimos de la red minimizan una función de pérdida, podemos ver la red como un problema de minimización con restricciones de un funcional de energía en el marco de la teoría del control óptimo de los sistemas dinámicos.

La implicación fundamental de este marco continuo es que la optimización se realiza ahora en espacios infinitos dimensionales por lo cual se aplica el cálculo variacional para el planteamiento y resolución del problema de optimización.

Mediante el cálculo del hamiltoniano del sistema se escriben las ecuaciones de Euler-Lagrange del problema de optimización como un sistema de EDO de primer orden. El método del adjunto y el principio del máximo de Pontryagin permitirán el tratamiento matemático y la resolución del problema.