Sparse Representations in the Shape Manifold for Human Trajectories Classification and Generation
Représentations parcimonieuses dans les variétés de formes pour la classification et la génération de trajectoires humaines
Résumé
Designing intelligent systems to understand video content has been a hot research topic
in the past few decades since it helps compensate the limited human capabilities of analyzing
videos in an efficient way. In particular, human behavior understanding in videos is receiving
a huge interest due to its many potential applications. At the same time, the detection
and tracking of human landmarks in video streams has gained in reliability partly due to
the availability of affordable RGB-D sensors. This infer time-varying geometric data which
play an important role in the automatic human motion analysis. However, such analysis
remains challenging due to enormous view variations, inaccurate detection of landmarks,
large intra- and inter- class variations, and insufficiency of annotated data. In this thesis, we
propose novel frameworks to classify and generate 2D/3D sequences of human landmarks. We
first represent them as trajectories in the shape manifold which allows for a view-invariant
analysis. However, this manifold is nonlinear and thereby standard computational tools
and machine learning techniques could not be applied in a straightforward manner. As a
solution, we exploit notions of Riemannian geometry to encode these trajectories based on
sparse coding and dictionary learning. This not only overcomes the problem of nonlinearity
of the manifold but also yields sparse representations that lie in vector space, that are
more discriminative and less noisy than the original data. We study intrinsic and extrinsic
paradigms of sparse coding and dictionary learning in the shape manifold and provide a
comprehensive evaluation on their use according to the nature of the data (i.e. face or body
in 2D or 3D). Based on these sparse representations, we present two frameworks for 3D
human action recognition and 2D micro- and macro- facial expression recognition and show
that they achieve competitive performance in comparison to the state-of-the-art. Finally,
we design a generative model allowing to synthesize human actions. The main idea is to
train a generative adversarial network to generate new sparse representations that are then
transformed to pose sequences. This framework is applied to the task of data augmentation
allowing to improve the classification performance. In addition, the generated pose sequences
are used to guide a second framework to generate human videos by means of pose transfer
of each pose to a texture image. We show that the obtained videos are realistic and have
better appearance and motion consistency than a recent state-of-the-art baseline.
Concevoir des systèmes intelligents pour comprendre le contenu des vidéos est devenu
un axe de recherche très important car il permet de compenser les capacités humaines
limitées de l’analyse efficace des vidéos. En particulier, la compréhension du comportement
humain à partir de vidéos suscite un intérêt considérable en raison de ses nombreuses
applications potentielles. Au même temps, la détection et le suivi de marqueurs humains
dans les flux vidéo sont devenus de plus en plus fiables, et c’est en partie grâce à la
disponibilité de capteurs abordables. Cela permet de déduire des données géométriques
qui varient dans le temps et qui jouent un rôle important dans l’analyse automatique
du mouvement humain. Cependant, une telle analyse reste difficile en raison des énormes
variations de vue, de la détection inexacte des marqueurs, des variations importantes des
classes ainsi que de l’insuffisance des données annotées. Dans cette thèse, nous proposons de
nouvelles méthodes permettant de classifier et de générer des séquences 2D/3D de marqueurs
humains. Tout d’abord, nous représentons ces séquences comme étant des trajectoires dans
des variétés de formes permettant ainsi une analyse invariante à la vue. Toutefois, ces variétés
sont non linéaires et, par conséquent, les algorithmes classiques telles que les techniques
d’apprentissage automatique standards ne pourraient pas être appliqués d’une manière
directe vu qu’ils sont conçus pour des données de nature linéaire. En guise de solution,
nous exploitons des notions de la géométrie Riemannienne pour coder ces trajectoires en
appliquant une technique de codage parcimonieux et d’apprentissage de dictionnaires. Cela
permet non seulement de résoudre le problème de non-linéarité des variétés de formes mais
aussi de représenter les trajectoires comme étant des représentations parcimonieuses qui
sont définies dans des espaces vectoriels, qui sont plus discriminantes et moins bruitées
que les données originales. Nous étudions des paradigmes intrinsèques et extrinsèques de
codage parcimonieux et d’apprentissage de dictionnaire dans les variétés de formes et nous
présentons une étude comparative de leur utilisation en fonction de la nature des données
(i.e. visage ou corps en 2D ou 3D). D’autre part, en se basant sur ces représentations
parcimonieuses, nous proposons deux approches de reconnaissance d’actions humaines en
3D et de reconnaissance d’expressions faciales en 2D, et nous montrons que les résultats
obtenus sont compétitifs avec les méthodes récentes de l’état de l’art. Enfin, nous présentons
un modèle génératif permettant de synthétiser des actions humaines dont l’idée principale
est de concevoir un réseau antagoniste génératif afin de générer de nouvelles représentations
parcimonieuses qui sont ensuite transformées en des séquences de poses. Nous appliquons
cette méthode pour l’augmentation des données ce qui permet d’améliorer les performances
de la classification d’actions. De plus, les séquences de pose générées sont utilisées pour guider
un second modèle générateur dans le but de générer des vidéos humaines par transfert de
chaque pose d’une séquence en une image texture. Nous montrons que les vidéos obtenues
sont réalistes et présentent une meilleure cohérence en termes d’apparence et de mouvement
qu’une méthode récente de l’état de l’art.
Origine : Fichiers produits par l'(les) auteur(s)