Des chercheurs de l'université de Stanford ont créé des modèles d'intelligence artificielle capables d'identifier avec une précision remarquable l'endroit où une photo a été prise. Leur solution présente de bons cas d'utilisation, mais d'importantes questions éthiques devront également être abordées.
Si la Tour Eiffel ou le Mont Rushmore se trouvent derrière vous, il est assez facile de savoir où la photo a été prise. Si la photo a été prise dans un champ de l'Illinois avec un arbre quelconque derrière vous, il est beaucoup plus difficile d'identifier le lieu.
C'est exactement le genre de défi que plus de 50 millions de joueurs de la GeoGuessr jeu appréciez.
Trois chercheurs de l'université de Stanford, joueurs assidus de ce jeu, ont voulu voir comment les modèles d'IA se comporteraient face aux meilleurs joueurs humains.
Ils ont commencé par utiliser un réseau neuronal appelé CLIP, développé par OpenAI, comme base pour deux modèles différents de géolocalisation d'images.
Le premier modèle, Predicting Image Geolocations (PIGEON), a été entraîné à l'aide d'un ensemble de données d'environ 100 000 lieux provenant du jeu GeoGuessr. Pour chaque lieu, PIGEON a reçu un panorama à 360 degrés réalisé à partir d'un ensemble de quatre images Google Street View.
Le second modèle, Predicting Image Geolocations with Omni-Terrain Training Optimizations (PIGEOTTO), a été entraîné exclusivement sur plus de 4 millions d'images Flickr géolocalisées provenant du monde entier.
Lorsqu'on lui a présenté une image Google Street View de n'importe quel endroit du monde, PIGEON a pu deviner le pays correctement dans 95% des cas et a pu trouver l'endroit à environ 16 miles près dans un peu plus de 40% des cas.
Les chercheurs ont ensuite confronté PIGEON aux meilleurs joueurs de GeoGuessr, qu'il a battu avec une marge significative.
PIGEOTTO, qui est un modèle plus généralisé, a largement battu les modèles de pointe actuels sur les ensembles de données de référence en matière de géolocalisation.
Lorsque PIGEON a affronté Trevor Rainbolt, considéré comme l'un des meilleurs géoguideurs, il l'a battu à plusieurs reprises. Cela rappelle un peu la victoire de Deep Blue sur Gary Kasparov aux échecs en 1997.
Nous avons construit une IA pour affronter le meilleur joueur de GeoGuessr au monde et nous avons gagné ! 🔎🌍🏆
En @geoguessrPlus de 50 millions de joueurs s'affrontent pour deviner où ils se trouvent en se basant sur des emplacements aléatoires de Google Street View. 🗺️
Remerciements @georainbolt pour le défi amusant !https://t.co/g7tIeUELz5
- Lukas Haas (@lkshaas) 13 mai 2023
Considérations éthiques
L'utilité de ces modèles va au-delà des possibilités de tricherie à GeoGuessr. Le document a indiqué que les modèles pourraient être utilisés dans "la conduite autonome, la navigation, l'enseignement de la géographie, les renseignements sur les sources ouvertes et les enquêtes visuelles dans le domaine du journalisme".
La précision de ces modèles s'améliorant inévitablement, les questions de protection de la vie privée deviennent de plus en plus préoccupantes. Outre l'identification de votre emplacement, d'autres questions relatives à la protection de la vie privée concernent la capacité de certains modèles à déduire les revenus locaux, la race, l'éducation et les habitudes de vote à partir des données de géolocalisation de l'image.
L'intérêt de l'Union européenne pour les questions de sécurité est également très vif. industrie de la défense dans ce que ces modèles peuvent faire. Les chercheurs de l'université de Stanford ont déclaré : "À notre connaissance, il s'agit du premier article de pointe sur la géolocalisation d'images de ces cinq dernières années qui n'est pas financé par des contrats militaires."
Comme pour beaucoup de technologies d'IA, les risques de double usage associés à ces modèles soulèvent des questions éthiques qui devront être gérées d'une manière ou d'une autre.
Avec des entreprises comme Meta qui entraînent leurs modèles sur vos photos Instagram, il est bon de rappeler que vos selfies en révèlent plus à l'IA que vous ne le pensez.
