Contrôle d'un système multi-CNN via le cap magnétique du smartphone pour la reconnaissance de scènes indoor

Andrea Daou (1, 2, 3) , Jean-Baptiste Pothin (1) , Paul Honeine (2) , Abdelaziz Bensrhair (3)

1 DataHertz
2 App - LITIS - Equipe Apprentissage
3 STI - LITIS - Equipe Systèmes de Transport Intelligent

In computer vision, indoor scene recognition consists of identifying a particular room from an image. The major difficulty is the high complexity of indoor environments compared to outdoor ones. This paper proposes an indoor scene classification system based on built-in smartphones sensors. The proposed method investigates both visual information and smartphone’s magnetic heading. The presented system consists of direction-driven multi-CNNs, each one specific for a definite range of orientations and assisted by the smartphone’s camera magnetic heading. The user is room-level localized while simply capturing an image with a smartphone. The performance of the system is validated by experiments on a real dataset.

-En vision par ordinateur, la reconnaissance de scènes indoor consiste à identifier une pièce à partir d'une image. La difficulté majeure réside dans la complexité élevée des environnements intérieurs par rapport à ceux extérieurs. Le présent article propose un système de classification de scènes indoor basé sur les capteurs intégrés dans les smartphones. La méthode proposée repose sur la combinaison des informations visuelles et du cap magnétique du smartphone. Le système comporte plusieurs CNN directionnels, chacun spécifiques pour une gamme définie d'orientations et guidés par le cap magnétique de la caméra du smartphone. L'utilisateur est localisé niveau-pièce en capturant simplement une image avec un smartphone. Les performances du système sont validées par des expérimentations sur un jeu de données réelles.

Domains: Statistics [stat]; Machine Learning [stat.ML]; Engineering Sciences [physics]; Signal and Image processing; Mathematics [math]; Statistics [math.ST]; Computer Science [cs]; Signal and Image Processing; Computer Science [cs]; Neural and Evolutionary Computing [cs.NE]; Computer Science [cs]; Machine Learning [cs.LG]; Computer Science [cs]; Computers and Society [cs.CY]; Computer Science [cs]; Computer Vision and Pattern Recognition [cs.CV]; Computer Science [cs]; Artificial Intelligence [cs.AI]

Andrea Daou, Jean-Baptiste Pothin, Paul Honeine, Abdelaziz Bensrhair. Contrôle d'un système multi-CNN via le cap magnétique du smartphone pour la reconnaissance de scènes indoor. 28-ème Colloque GRETSI sur le Traitement du Signal et des Images, Sep 2022, Nancy, France. ⟨hal-03749199⟩