Aprendizaje Incremental mediante Redes Neuronales Convolucionales para el Reconocimiento de Imagenes

Abstract

Los avances tecnol´ogicos y cient´ıficos de las ´ultimas d´ecadas han situado a las redes neuronales artificiales como el m´aximo exponente en m´ultiples campos del aprendizaje autom´atico. Concretamente, en el campo de la visi´on artificial, la victoria de AlexNet [1] en el desaf´ıo de ImageNet [2] en 2012 supuso el inicio de una nueva era, dominada por las soluciones basadas en redes neuronales profundas. Estas redes deben su ´exito a su capacidad de identificar y modelar relaciones complejas presentes en los datos de forma autom´atica, superando las limitaciones de la perspectiva ad hoc de la ingenier´ıa de caracter´ısticas predominante hasta ese momento. Aprender estas relaciones supone un proceso iterativo de entrenamiento, donde se ajustan una serie de par´ametros para minimizar una funci´on objetivo en base a datos de entrada. Generalmente, en el proceso de entrenamiento se considera que los datos forman parte de un conjunto inmutable. Sin embargo, los retos actuales afrontados por la visi´on artificial requieren que los modelos sean capaces de adaptarse a entornos din´amicos, donde las necesidades son cambiantes [3][4]. Adquirir nuevos conocimientos implica volver a iniciar el proceso de entrenamiento. Sin embargo, no siempre es posible disponer de acceso al total de los datos del problema, por lo que el reentrenamiento se restringe a los datos disponibles en cada instante. Esta restricci´on supone un gran problema inherente al aprendizaje de las redes neuronales, el olvido catastr´ofico. Dado que el proceso de entrenamiento constituye un problema de optimizaci´on, si no se considera el total de los datos del problema, la soluci´on solo ser´a v´alida para el subconjunto tratado. Esto conlleva el reemplazo del conocimiento consolidado por nuevos conocimientos. A ra´ız de este problema, surge una rama de conocimiento dedicada a proponer m´etodos que lo mitiguen, el aprendizaje incremental. Esta tesis aborda el problema del olvido catastr´ofico en el contexto del reconocimiento de im´agenes, al ser un problema fundacional. Este olvido es el resultado de reentrenar un modelo a partir de un conjunto de datos que no representa el total del problema a tratar. Por ello, se ha propuesto un m´etodo de aprendizaje incremental que elimina la necesidad de un reentrenamiento para la adquisici´on de nuevos conocimientos, consiguiendo as´ı evitar el olvido catastr´ofico. La alternativa propuesta consiste en emplear transfer learning para aprovechar el poder de generalizaci´on de las caracter ´ısticas generadas por redes neuronales convolucionales preentrenadas y congeladas. Usando estas caracter´ısticas como base, se definen cabezales de clasificaci´on para tratar cada subproblema recibido de forma incremental. Estos cabezales, cuentan con una salida por cada clase que conforma el subproblema, y otra salida para dar soporte a las clases correspondientes a cabezales anteriores. La presencia de esta salida implica que los cabezales de clasificaci´on sucesivos cuentan con un mayor conocimiento sobre el total del problema de clasificaci´on. En tiempo de inferencia, este conocimiento incremental induce a una noci´on de jerarqu´ıa, la cual es empleada para establecer qu´e cabezal de clasificaci´on es que el que produce la predicci´on. La evaluaci´on del m´etodo propuesto se ha realizado siguiendo los protocolos y conjuntos de datos establecidos en el ´ambito del aprendizaje incremental. Se han evaluado las decisiones de dise˜no mediante distintas variantes de un clasificador multiclase a modo de baseline. Tambi´en se ha analizado la influencia de los hiperpar´ametros espec´ıficos derivados del dise ˜no del m´etodo. Finalmente, tambi´en se ha realizado una comparativa con otros m´etodos del estado del arte. Los resultados del m´etodo propuesto son comparables a la literatura, presentado un mayor poder de generalizaci´on en escenarios donde los datos se reciben en peque˜nos incrementos.