Estrategias de aprendizaje incremental en redes convolucionales para el reconocimiento de imágenes

Abstract

Los avances tecnológicos y científicos de las últimas décadas han situado a las redes neuronales artificiales como el máximo exponente en múltiples campos del aprendizaje automático. Concretamente, en el campo de la visión artificial, la victoria de AlexNet [1] en el desafío de ImageNet [2] en 2012 supuso el inicio de una nueva era, dominada por las soluciones basadas en redes neuronales profundas. Estas redes deben su éxito a su capacidad de identificar y modelar relaciones complejas presentes en los datos de forma automática, superando las limitaciones de la perspectiva ad hoc de la ingeniería de características predominante hasta ese momento. Aprender estas relaciones supone un proceso iterativo de entrenamiento, donde se ajustan una serie de parámetros para minimizar una función objetivo en base a datos de entrada. Generalmente, en el proceso de entrenamiento se considera que los datos forman parte de un conjunto inmutable. Sin embargo, los retos actuales afrontados por la visión artificial requieren que los modelos sean capaces de adaptarse a entornos dinámicos, donde las necesidades son cambiantes [3][4]. Adquirir nuevos conocimientos implica volver a iniciar el proceso de entrenamiento. Sin embargo, no siempre es posible disponer de acceso al total de los datos del problema, por lo que el reentrenamiento se restringe a los datos disponibles en cada instante. Esta restricción supone un gran problema inherente al aprendizaje de las redes neuronales, el olvido catastrófico. Dado que el proceso de entrenamiento constituye un problema de optimización, si no se considera el total de los datos del problema, la solución solo será válida para el subconjunto tratado. Esto conlleva el reemplazo del conocimiento consolidado por nuevos conocimientos. A raíz de este problema, surge una rama de conocimiento dedicada a proponer métodos que lo mitiguen, el aprendizaje incremental. Esta tesis aborda el problema del olvido catastrófico en el contexto del reconocimiento de imágenes, al ser un problema fundacional. Este olvido es el resultado de reentrenar un modelo a partir de un conjunto de datos que no representa el total del problema a tratar. Por ello, se ha propuesto un método de aprendizaje incremental que elimina la necesidad de un reentrenamiento para la adquisición de nuevos conocimientos, consiguiendo así evitar el olvido catastrófico. La alternativa propuesta consiste en emplear transfer learning para aprovechar el poder de generalización de las características generadas por redes neuronales convolucionales preentrenadas y congeladas. Usando estas características como base, se definen cabezales de clasificación para tratar cada subproblema recibido de forma incremental. Estos cabezales, cuentan con una salida por cada clase que conforma el subproblema, y otra salida para dar soporte a las clases correspondientes a cabezales anteriores. La presencia de esta salida implica que los cabezales de clasificación sucesivos cuentan con un mayor conocimiento sobre el total del problema de clasificación. En tiempo de inferencia, este conocimiento incremental induce a una noción de jerarquía, la cual es empleada para establecer qué cabezal de clasificación es que el que produce la predicción. La evaluación del método propuesto se ha realizado siguiendo los protocolos y conjuntos de datos establecidos en el ámbito del aprendizaje incremental. Se han evaluado las decisiones de diseño mediante distintas variantes de un clasificador multiclase a modo de baseline. También se ha analizado la influencia de los hiperparámetros específicos derivados del diseño del método. Finalmente, también se ha realizado una comparativa con otros métodos del estado del arte. Los resultados del método propuesto son comparables a la literatura, presentado un mayor poder de generalización en escenarios donde los datos se reciben en pequeños incrementos.