Comprendre les Lens « Landmarkers » de Snapchat

Aujourd’hui nous commençons notre tour d’horizon des technologies de la Réalité Augmentée afin de d’expliquer de la manière la plus pédagogique possible le fonctionnement et la méthodologie que nous avons développé au sein de Filtre-Story pour permettre à nos clients et à leurs projets de voir le jour de manière innovante !

Qu’est-ce qu’un Landmarker ?

Le Landmarker est une technologie développée en AR et utilisée par Snapchat afin de permettre aux créateurs d’inventer des environnements de réalité augmentée sur des lieux physique réels.

Lens Studio, le logiciel permettant la création de Lens (filtres) sur Snapchat, dispose de Landmarkers prenant en compte pour le moment qu’une poignée de monuments. Nous pouvons retrouver les plus célèbres comme la Tour Eiffel ou l’Arc de Triomphe. Cette technologie vous permet de créer et d’habiller, un monument avec vos couleurs, et vos « assets » de marque pour un effet incroyable !

Réalisation d'une lens Snapchat utilisant le Landmarker de l'Arc de Triomphe.

Réalisation d’une Lens Snapchat utilisant le Landmarker de l’Arc de Triomphe.

Comment fonctionnent une Lens Snapchat « Landmarker » ?

Les technologies liées à la réalité augmentée et les « Landmarkers » sont très récentes et profite de l’augmentation continuelle de notre matériel informatique et mobile.

Le Landmarker dispose sur le papier d’un fonctionnement très simple.

A la manière d’un nourrisson, les caméras et microprocesseurs de nos téléphones modernes ne sont actuellement pas capables de reconnaitre un « contexte » lié à un lieu, une personne ou encore une situation, sans aucun apprentissage au préalable.

Les Landmarkers concernant les monuments historiques et artistiques sont issus de l’entrainement parfois très long de machine sur la reconnaissance d’images (aussi appelé Machine Learning) afin de leur permettre d’appréhender les formes et le contexte du lieu où se trouve chaque monument.

Si nous reprenons l’exemple de l’Arc de Triomphe, il a fallu plusieurs jours ainsi que des milliers d’images sous toutes les angles du monument afin d’avoir les prémices d’un Landmarker. Avec cet entrainement lié à l’intelligence artificielle, notre téléphone peut maintenant, via Snapchat, sa localisation et sa caméra, reconnaitre le contexte de l’Arc de Triomphe ainsi que de son environnement afin de rendre le plus fidèlement possible notre expérience de en réalité augmentée par-dessus !

Arc de Triomphe filtre Snapchat Lens Landmarker

De nombreuses photos de l’Arc de Triomphe ont du être utilisées.

Peut-on créer nos propres « Landmarkers » ?

Ce n’est pour le moment pas possible car les Landmarkers nécessitent encore de nombreuses recherches qui peuvent durer plusieurs mois.

Cependant, le fonctionnement de ces Lens Snapchat est reproductible avec de l’expérience et des spécialistes de l’intelligence artificielle capable d’entrainer des algorithme de reconnaissance d’Image.

Que signifie entrainer un algorithme pour un Landmarker ?

Cette possibilité hypothétique est encore à l’étude par beaucoup de développeur de Lens Studio pour Snapchat.

Pour expliquer simplement le fonctionnement d’un algorithme d’entrainement, prenons l’exemple des visages et de leurs caractéristiques uniques utilisés avec la reconnaissance faciale maintenant intégrée nativement par la plupart des smartphones modernes. Les algorithmes avec ce genre de fonctionnalités ont eux aussi été entrainés durant de longue périodes sur des images anonymisées d’inconnues, des centaines de milliers peut-être même des millions pour certains d’entre eux.

fonctionnement d’un algorithme d’entrainement avec la reconnaissance faciale

La reconnaissance faciale utilisée dans les smartphones modernes.

La raison à tout cela sont les « Réseaux de Neurones », si vous n’êtes pas technique ne vous inquiétez pas nous allons vulgariser au maximum en quelques lignes leur fonctionnement.

Les Réseaux de Neurones fonctionnent comme de multiples « filtres » (dans le sens où ils filtrent les information) qui prennent des décisions selon des critères. Ils permettent dans de nombreux cas de classer des « entrées » (dans notre cas des images de personnes) et de donner une « sortie » triée des entrées selon leurs différentes caractéristiques.

Ainsi si l’on suit notre exemple de la reconnaissance faciale, il faut que l’algorithme ne confonde pas des personnes avec les cheveux blonds et roux, ou encore qu’il ne confonde pas des lèvres retroussées ou pulpeuses.

La même méthodologie s’adapte aux lieux, bâtiments, véhicules et tout ce qui peut être pris en photo.

Avec l’entrainement, des heures durant de multiples Réseaux de Neurones, il est sans doute possible de créer de nouveaux fichiers capables d’interpréter les informations liées à un lieux à la manière des Landmarkers de Snapchat !