A Multistream Model for Continuous Recognition of Lexical Units in French Sign Language
Résumé
Sign languages are the primary means of communication for deaf people, yet they remain poorly endowed from a natural language processing perspective, thus linguistic tools (translators, concordancers) dedicated to them are rare. In this paper, starting from a corpus limited size, we propose a very first learning model for the recognition of lexical signs in French Sign Language (LSF). Signers are represented by sequences of 3D pose, which are decoded into sign sequences thanks to a bidirectionnal recurrent neural network trained with a CTC loss (Connectionist Temporal Classification). Different strategies for combining the different articulators of LSF within the neural decoder (single vs. multistream architecture), as well as the contribution of main articulators to the overall performance of the system, are investigated.
Les langues des signes constituent le premier moyen de communication des personnes sourdes, pourtant elles restent peu dotées du point de vue du traitement automatique des langues, et les outils linguistiques (traducteurs, concordanciers) qui leur sont dédiés sont rares. Dans ce papier, partant d'un corpus de dialogues en LSF de taille limitée, nous proposons un tout premier modèle d'apprentissage pour la reconnaissance de signes lexicaux en Langue des Signes Française (LSF). Les signeurs sont représentés par leur pose 3D, qui est fournie à un réseau de neurone récurrent bi-directionnel, entrainé à l'aide de l'approche CTC (Connectionist Temporal Classification). L'apport des principaux articulateurs est évalué dans la reconnaissance de la LSF et des approches mono et multiflux (un modèle par articulateur) sont comparées.
Origine : Fichiers produits par l'(les) auteur(s)