Reconnaître des images générées par IA : quelques indices, beaucoup de bon sens

Midjourney, DALL-E, Stable Diffusion, Craiyon... les progrès fulgurants de l'intelligence artificielle ces derniers mois ont donné lieu à un nouveau phénomène : le partage massif sur les réseaux sociaux d'images générées de manière artificielle. Certaines, ultraréalistes et ancrées dans l'actualité, parfois présentées comme authentiques, ont semé la confusion. S'il n'existe pas, à ce jour, d'outil capable d'identifier avec certitude une image générée artificiellement, recontextualiser le cliché et repérer des incohérences visuelles peut permettre de déceler une création d'IA, ont expliqué plusieurs spécialistes à l'AFP.

Quelques mots-clés descriptifs, une image. C'est le principe de nombreuses intelligences artificielles comme Midjourney, DALL-E, Craiyon ou encore Stable Diffusion. Ces outils sont capables, à partir d'une immense base de données, sans cesse alimentée par les demandes d'utilisateurs, de générer une infinité de clichés.

Comment les reconnaître ? De nombreux internautes se servent de ces IA pour des créations à des fins humoristiques ou artistiques, mais d'autres ont fait le choix de relier ces images à l'actualité politique.

Un flot d'images fabriquées par des IA a par exemple circulé sur Twitter pour illustrer d'authentiques événements, comme la rencontre entre Vladimir Poutine et Xi Jinping le 20 mars 2023, ou bien imaginer des situations fictives, à l'image d'Emmanuel Macron en éboueur ou en CRS, en pleine contestation contre la réforme des retraites.

Si la majorité des auteurs de ces créations précisent qu'il s'agit de fausses images, ces clichés, largement repris, ont parfois circulé sans contexte, voire présentés comme authentiques.

Des outils ont été créés, ou sont encore en cours de développement, pour tenter de déceler ces montages, comme celui-ci, mais leurs résultats sont encore très mitigés, et peuvent même parfois induire en erreur, selon les tests réalisés par l'AFP.

"Quand une IA génère intégralement une image, elle ne prélève généralement pas des parties d'une seule et même photo. Des milliers voire millions de photos sont utilisées pour prendre en compte des milliards de paramètres", a expliqué à l'AFP le 21 mars David Fischinger, ingénieur à l'institut technologique autrichien et spécialiste de l'IA.

"L'IA mélange ces images issues de sa base de données, les déconstruit puis reconstruit une photo pixel par pixel, ce qui veut dire que dans le rendu final, on ne note plus la différence entre les images d'origine", a complété auprès de l'AFP le 21 mars Vincent Terrasi, cofondateur de Draft & Goal, startup qui a notamment lancé un détecteur de contenus générés par IA pour les universités.

Pour cette raison, des logiciels capables de détecter un photomontage ne fonctionneront pas, ou très mal, pour repérer des images intégralement générées par des IA.

Les métadonnées d'une photo, véritable carte d'identité numérique d'un fichier, qui peuvent parfois révéler le site dont est issue une image générée par IA, ne sont pas non plus utiles pour un cliché viral : "malheureusement, vous ne pouvez pas vous appuyer dessus car les réseaux sociaux effacent systématiquement ces informations", a pointé auprès de l'AFP le 23 mars Annalisa Verdoliva, professeure à l'université Frédéric-II de Naples et experte en IA.

Remonter à la source de l'image

Un moyen de détecter la création d'une IA reste donc, selon ces experts, de retrouver son contexte d'origine, pour voir si un internaute explique l'avoir fabriquée et avec quel outil, comme c'est souvent le cas.

Il faut pour cela tenter d'identifier la première fois que la photo a été diffusée en ligne.

Il est possible de le faire grâce à une recherche d'image inversée, en insérant le cliché dans un ou plusieurs moteurs de recherche pour voir si celui-ci a déjà indexé l'image, et essayer de retrouver d'anciennes occurrences.

Cette méthode permet par exemple de savoir d'où proviennent des images qui ont abondamment circulé sur les réseaux sociaux montrant une violente altercation entre l'ex président américain Donald Trump et des policiers en train de l'arrêter.

Une recherche d'image inversée sur Google de l'une de ces images mène à un tweet d'Eliot Higgins, fondateur du site d'investigation Bellingcat, publié le 20 mars 2023.

Il explique dans un thread avoir créé cette série d'images à l'aide de la dernière version de Midjourney.

Capture d'écran prise le 22/03/2023 sur Google

Making pictures of Trump getting arrested while waiting for Trump's arrest. pic.twitter.com/4D2QQfUpLZ

— Eliot Higgins (@EliotHiggins) March 20, 2023

 

A défaut de retrouver la photo d'origine, la recherche d'image inversée peut également mener à une version du cliché en meilleure qualité, si celui-ci a été rogné, modifié ou a perdu en qualité au fil des partages. Or, meilleure sera la qualité de l'image, plus il sera facile de l'analyser pour chercher des erreurs trahissant un montage.

Enfin, la recherche d'image inversée a l'avantage de faire ressortir des clichés similaires. Cela peut être précieux pour comparer une photo que l'on suspecte d'être générée par une IA avec des clichés issus de sources fiables.

Dans le cadre de la rencontre entre Vladimir Poutine et Xi Jinping, une photo non sourcée a circulé en ligne montrant le président russe agenouillé devant le dirigeant chinois.

Le journaliste italien David Puente a néanmoins pointé que le décor sur cette image était très différent de celui apparaissant sur les autres images de médias qui couvraient l'événement, laissant douter de l'authenticité du cliché viral.

Capture d'écran prise sur Twitter le 23/03/2023

La description d'une photo et les commentaires d'internautes peuvent également être très utiles pour signaler un montage, ou reconnaître le style d'une IA alors que DALL-E est par exemple réputé pour ses designs ultraréalistes et Midjourney pour ses mises en scène de célébrités.

Cela peut s'avérer utile pour se rendre sur l'outil qui a généré l'image et essayer de retrouver la création. Sur certains générateurs, comme Midjourney, une recherche fouillée parmi les échanges entre les utilisateurs et le programme automatique peut permettre de retrouver les photos créées.

A défaut d'avoir trouvé la source de l'image et sans indication sur son contexte, il faut se pencher sur l'image elle-même.

Analyser l'image

• Chercher une "signature"

Parfois, des indices se cachent dans la photo : certains sites peuvent placer une sorte de signature sur leurs créations. C'est le cas de DALL-E, qui génère automatiquement une barre multicolore en bas à droite de toutes ses images, ou de Crayion, qui place, au même endroit, un petit crayon de couleur rouge.

Image générée sur DALL-E le 22 mars 2023 par l'AFP en tapant "a lolipop being held by a kid on a beach"

Image générée sur Craiyon.com par l'AFP le 22 mars 2023 en tapant "pen on a table"

 

Attention, toutes les IA n'appliquent pas de signe distinctif sur leurs images, et celui-ci peut avoir été enlevé lors du téléchargement de la photo, ou bien rogné ou masqué ensuite.

• Regarder le grain de l'image

"En cas de doute, il faut observer le grain de l'image, qui sera, pour l'instant, très différent pour une création d'IA de celui d'une vraie photo", a souligné auprès de l'AFP le 22 mars Tina Nikoukhah, docteure en traitement d'images au sein du laboratoire de mathématiques de l'ENS Paris-Saclay.

Sur les versions gratuites des IA testées par l'AFP, les images générées avaient un style assez semblable aux peintures du mouvement hyperréaliste, avec des contrastes appuyés, comme cet exemple ci-dessous à gauche d'une image de "Brad Pitt à Paris" produite sur Stable Diffusion.

Une autre création, réalisée sur DALL-E avec des mots-clés similaires ci-dessous à droite, est néanmoins plus fidèle, et il est moins facile, à première vue, d'affirmer qu'il s'agit d'une image créée par une IA.

Image générée par l'AFP sur Stable Diffusion le 22 mars 2023 en tapant "Brad Pitt, street of Paris, early and sunny morning, holding a croissant, near a bakery and old French car, wearing a white shirt, smiling, realistic, 4K"

Image générée par l'AFP sur DALL-E le 22 mars 2023 en tapant "Brad Pitt in Paris, photo, shops in the background, 4K"

 

• Chercher des incohérences visuelles

Malgré les progrès fulgurants réalisés par l'intelligence artificielle, de nombreuses erreurs persistent dans les images générées par IA. Ces défauts sont, à ce stade, le meilleur moyen de reconnaître une image fabriquée, ont expliqué les spécialistes interrogés.

"Certaines caractéristiques, souvent les mêmes, posent problème aux IA, ce sont ces incohérences et artefacts qu'il faut scruter, comme dans un jeu des 7 différences", met en avant Vincent Terrasi.

"Cependant, les IA s'améliorent de jour en jour et présentent de moins en moins d'anomalies, donc il ne faudra pas se fier aux indices visuels à long terme", met en garde Annalisa Verdoliva.

Les IA ont par exemple, en mars 2023, encore du mal à créer des mains réalistes. En témoigne le doigt à la dimension disproportionnée de Brad Pitt sur l'image que nous avons créée plus haut, à gauche.

Sur une série de photos, prétendument prises lors d'une manifestation contre la réforme des retraites le 7 mars 2023 et qui montre un CRS enlacer une manifestante, une journaliste de l'AFP a également pointé qu'un CRS avait six doigts, trahissant un montage.

Sur certaines fausses photos d'une arrestation musclée de Trump, le visage de plusieurs agents est flou, des bras et des jambes de policiers apparaissent ça et là sans cohérence. Sur l'une d'elle, on peut aussi voir que Donald Trump est affublé d'un ceinturon de policier.

"Actuellement, les IA ont aussi énormément de mal à générer des reflets. Un bon moyen de repérer une IA est donc de chercher, des ombres, des miroirs, de l'eau, mais aussi de zoomer sur les yeux, et analyser les pupilles puisqu'il y a normalement un reflet quand on prend une photo. On peut souvent aussi remarquer que les yeux ne sont pas de la même taille, parfois avec des couleurs différentes", souligne Vincent Terrasi.

C'est le cas sur cette photo d'Emmanuel Macron générée par une IA et partagée sur Instagram. Un zoom avec la propriété "loupe" de l'outil Invid-WeVerify, montre que les yeux sont marron et non pas bleus. De plus, la nuance de brun est différente entre les deux yeux.

Capture d'écran d'une image générée par IA créée par le compte Instagram Joannsfar

Zoom réalisé avec l'outil Invid-WeVerify sur les yeux d'Emmanuel Macron à partir de la capture d'écran d'une image générée par IA créée par le compte Instagram Joannsfar

 

Les générateurs créent également souvent des asymétries : visage disproportionné, oreilles à des hauteurs différentes, il peut aussi manquer une boucle d'oreille par exemple ...

Les dents et les cheveux, sont également difficiles à imiter pour les IA, et peuvent laisser voir, au niveau de leur démarcation ou de la texture, que l'image est fictive.

Des éléments peuvent également être mal intégrés, comme des lunettes de soleil qui vont se fondre dans un visage.

Enfin, le mélange de plusieurs images par l'IA peut avoir créé des problèmes de lumière dans l'image, pointent les experts.

• Scruter l'arrière-plan de l'image

A noter que les anomalies visuelles se cachent souvent en arrière-plan de la photo.

Sur des images à première vue ultra réalistes de Barack Obama et Angela Merkel à la plage qui ont fait le tour des réseaux sociaux, le fond trahit un montage : l'un des personnages en fond a les jambes coupées.

Capture d'écran d'une image générée par IA et partagée sur le compte Instagram @joannsfar

"Plus un élément va être lointain, plus un objet va être flou, déformé, et avoir des perspectives incorrectes", poursuit Vincent Terrasi.

Sur la fausse photo de la rencontre en Xi Jinping et Vladimir Poutine, une ligne verticale de la colonne en fond n'est ainsi pas droite, indice qui s'ajoute à la tête de Vladimir Poutine qui semble démesurée par rapport au reste de son corps et trahi une image générée par IA, pointe auprès de l'AFP David Fischinger.

Les incohérences relevées sur la fausse photo de la rencontre de Xi Jinping et Vladimir Poutine

Autre exemple, cette image d'une adolescente dans sa chambre. A première vue, rien d'anormal. Mais si regarde l'arrière plan de plus près, on trouve de nombreuses bizarreries et incohérences : objets impossibles à identifier, et surtout, visages déformés sur quasiment toutes les affiches accrochées au mur.

Capture d'écran de Twitter faite le 27 mars 2023

Capture d'écran (détail) de Twitter faite le 27 mars 2023 ( Juliette MANSOUR)

 

• Faire appel au bon sens

Si certains éléments ne sont pas nécessairement déformés, ils peuvent néanmoins trahir une erreur de logique, or "il est bon de s'appuyer sur le bon sens" quand on doute d'une image, poursuit l'expert.

Sur cette photo, générée par l'AFP et censée montrer Paris, on distingue par exemple un panneau sens interdit bleu, modèle de signalisation qui n'existe tout simplement pas en France.

Photo générée par l'AFP sur DALL-E le 22 mars 2023 avec les mots-clés "Brad Pitt, street of Paris, early and sunny morning, holding a croissant, near a bakery and old French car, wearing a white shirt, smiling, realistic, 4K"

Cet indice, associé aux doigts aux extrémités coupées du personnage central, d'un croissant à la texture ressemblant à du plastique et d'une différence d'éclairage sur certaines fenêtres, sont autant de pistes laissant penser que cette image est une création d'IA. Le filigrane en bas à droite de l'image finit d'ôter tout doute et de savoir que le cliché provient de DALL-E.

En outre, alors que la photo générée pour cet exemple était censée montrer Brad Pitt, on peut noter que le résultat n'est pas probant en matière de ressemblance.

Enfin, si un cliché prétend montrer un événement mais qu'il existe un doute sur son origine, la meilleure méthode reste de chercher des informations pour voir si celui-ci est évoqué par des sources fiables et s'est réellement produit, et, si c'est le cas , de s'appuyer sur ce qui est rapporté ainsi que des images existantes pour mettre en avant d'éventuels contresens.

Pour une rencontre entre deux dirigeants politiques, cela peut par exemple être la façon dont les chefs d'Etat étaient habillés, les circonstances de l'événement, la météo à ce moment-là, le décor ou encore les images de foule en arrière-plan.

7 avril 2023 Remplace "Midjourney" par "DALL-E" dans la légende la dernière photo

27 mars 2023 Ajoute exemples, détails

24 mars 2023 met à jour le titre de Tina Nikoukhah de "doctorante" à "docteure"