Análisis de movimiento humano mediante dispositivos RGB-D

Abstract

En este trabajo de tesis doctoral se aborda el problema del análisis de movimiento humano bajo el prisma de la visión artficial y el aprendizaje profundo. Así, se proponen soluciones a los problemas de reconstrucción de pose 3D, seguimiento articulado y reconocimiento de actividades humanas. En esta línea se presentan tres propuestas: la primera consiste en un sistema de seguimiento articulado mediante el empleo de múltiples sensores RGB-D, la segunda, presenta un sistema reconocimiento de actividades humanas y gestos de la mano mediante técnicas de aprendizaje profundo, y la tercera, propone un sistema de reconstrucción 3D y seguimiento articulado con múltiples vistas haciendo uso de arquitecturas de redes profundas. Cada una de estas propuestas realiza varias aportaciones al estado del arte. El sistema de seguimiento articulado con múltiples dispositivos RGB-D demuestra una mejora sustancial frente al uso de un único sensor, y presenta mayor continuidad y suavidad en el seguimiento de las articulaciones con respecto a otros trabajos de la literatura. El sistema de reconocimiento de actividades presenta altas tasas de acierto en varios conjuntos de datos estándar, obteniendo el mejor resultado en dos de ellos y resultados muy competitivos en el resto. Por último, el sistema multivista de reconstrucción y seguimiento 3D, demuestra que, mediante el uso de las restricciones geométricas de las cámaras y redes de detección de pose 2D se puede obtener una reconstrucción de la pose humana de alta precisión. Asimismo, se presenta una mejora en el seguimiento articulado a través de una red recurrente que tiene en cuenta la temporalidad de la secuencia, obteniendo resultados que son estado del arte en uno de los conjuntos de datos de referencia de los últimos años en reconstrucción 3D y seguimiento.