Pedestrian orientation recognition for Advanced Driver Assistance Systems in unstructured environments using Capsule Networks

Reconnaissance de l’orientation des piétons par les réseaux de Capsules dans un environnement non structuré pour un ADAS

Safaâ Dafrallah (1)

1 LITIS - Laboratoire d'Informatique, de Traitement de l'Information et des Systèmes

Road accidents are the first cause of death for those who are under 30 years old. Represented as the most vulnerable road user, the pedestrian constitutes 23% of all road fatalities. This thesis is part of the research conducted on the application of deep learning methods for pedestrian safety. In this work, we propose a pedestrian orientation detection system that could be integrated into Advanced Driver Assistance Systems (ADAS) to alert the driver of the presence of a pedestrian. To this end, we created a new pedestrian orientation database called "SAFEROAD Dataset" recorded from different Moroccan cities using a monocular camera in a moving vehicle. This database contains 8894 images of pedestrians that are manually annotated in 4 and 8 directions. We then proposed a new technique to detect pedestrian orientation using Capsule networks. The training and evaluation of this technique is done on our SafeRoad, Daimler and TUD base. The algorithm trained on the SafeRoad database is then applied for pedestrian orientation recognition on video sequences taken from the JAAD dataset. Finally, we propose in this thesis a pedestrian-vehicle accident prevention system, which integrates the pedestrian’s orientation for the evaluation of the risk of an accident. This system takes into consideration the presence of undisciplined pedestrians and unstructured roads.

Les accidents de routes représentent la première cause de décès chez les jeunes de moins de 30 ans. Etant l’utilisateur de route le plus vulnérable, le piéton représente 23% de l’ensemble des victimes des accidents mortels au monde. Dans ce contexte, cette thèse s’inscrit dans le cadre des recherches menées sur l’application des méthodes de l’apprentissage profond pour la sécurité des piétons. Dans le cadre de ce travail, nous proposons un système de détection des orientations des piétons qui pourrait être intégré dans les systèmes avancés d’aide à la conduite (ADAS) afin d’alerter le conducteur de la présence d’un piéton. A cette fin, nous avons créé une nouvelle base de données d’orientation de piéton qu’on a appelé « SAFEROAD Dataset » enregistrée depuis différentes villes Marocaines en utilisant une caméra monoculaire au sein d’un véhicule en mouvement. Cette base contient 8894 images de piétons qui sont manuellement annotées en 4 et 8 directions. Nous avons ensuite proposé une nouvelle technique de détection de l’orientation du piéton en utilisant les réseaux de Capsules. L’apprentissage et l’évaluation de cette technique sont faits sur notre base SafeRoad, Daimler et sur la base TUD. L’algorithme entraîné sur la base SafeRoad est par la suite appliqué pour la reconnaissance de l’orientation des piétons sur des séquences vidéo prises de la base JAAD. Et finalement, nous proposons dans cette thèse un système de prévention des accidents piéton-véhicule, qui intègre l’orientation du piéton pour l’évaluation du risque d’un accident. Ce système prend en considération la présence des piétons indisciplinés et des routes non structurées.

Mots clés: Neural networks; Deep learning; Capsule networks; Pedestrian orientation; Advanced driver assistance system; Unstructured roads; Moroccan dataset; SafeRoad dataset

Mots clés: Réseaux de capsules; Orientation du piéton; Routes non structurées

Domaines: Réseau de neurones [cs.NE]; Apprentissage [cs.LG]; Automatique

Safaâ Dafrallah. Reconnaissance de l’orientation des piétons par les réseaux de Capsules dans un environnement non structuré pour un ADAS. Réseau de neurones [cs.NE]. Normandie Université; Université Ibn Tofail. Faculté des sciences de Kénitra, 2021. Français. ⟨NNT : 2021NORMIR29⟩. ⟨tel-03630693⟩