DETECCIÓN DE PUNTOS CARACTERÍSTICOS DE LAS MANOS EN IMÁGENES

Abstract

La detección de puntos característicos o landmarks 2D en manos es una tarea fundamental en visión por computador con aplicaciones en reconocimiento de gestos, lenguaje de signos y realidad aumentada. La mayoría de los sistemas de detección actuales se basan en aprendizaje utilizando imágenes con etiquetado preciso de la localización de cada punto característico y, por su buen funcionamiento, emplean modelos de Aprendizaje Profundo (Deep Learning). Sin embargo, los modelos entrenados con condiciones de captura de imágenes específicas, como perspectivas en tercera persona o manos interactuando entre ellas, sufren una caída drástica de rendimiento al enfrentarse a entornos reales de interacción con objetos.

En este Trabajo Fin de Grado se estudia el problema de la detección de landmarks de ambas manos utilizando modelos de Aprendizaje Profundo. Para ello, se parte de los modelos más simples, basados en Redes Convolucionales (CNN) de regresión directa de las coordenadas, avanzando hacia CNN que estiman mapas de calor (heatmaps) para cada landmark. Por ¿ultimo, se combinan las CNN, que estiman si la apariencia local corresponde a un landmark, con un módulo Transformer que modela las relaciones entre los puntos característicos para superar la presencia de oclusiones aprovechando la información de los demás landmarks.

En los experimentos se parte de que se tienen las manos localizadas en la imagen (por ejemplo, mediante un detector de manos) y se resuelve el problema de la localización precisa de las articulaciones de ambas manos. Los modelos se han entrenado sobre la base de datos ReInterHand y se han evaluado sobre H2O, que contiene imágenes capturadas en primera persona con las manos interactuando con objetos. En este contexto, la estrategia de aumento de datos (Data Aug mentation), especialmente el reescalado, se ha mostrado crucial para obtener un buen desempeño. Los resultados muestran que una red convolucional que estima mapas de calor se puede combinar con un módulo Transformer para mejorar el rendimiento.