Conseils sordides aux plus jeunes : pourquoi l’IA de Snapchat à la ChatGPT est déjà pointée du doigt

Deux membres du Center for Humane Technology ont testé My AI, l’assistant virtuel de Snapchat qui reprend le même modèle que ChatGPT. Ils ont montré que l’outil ne voyait pas d’inconvénient à ce qu’une fille de 13 ans ait un rapport sexuel avec un homme de 31 ans. Une polémique qui met le doigt sur la « course à l’IA » dans laquelle se sont lancées beaucoup d’entreprises de la tech, mais qui va parfois trop vite, comme c’est le cas ici.

Tout le monde (ou presque) investit dans l’IA ces mois-ci avec l’explosion des générateurs d’images par intelligence artificielle et des agents conversationnels comme ChatGPT. Certains y voient une révolution, d’autres une manne financière. Pourtant, par leur dimension quasi inédite, leurs usages et leur travers posent problème. C’est le cas de My AI, une sorte de ChatGPT intégré dans Snapchat, qui possède de grandes failles qui doivent être réglées.

My AI : un ami virtuel directement dans Snapchat

Ce 27 février, Snapchat a annoncé le lancement de My AI, un chatbot fonctionnant grâce à la dernière version de GPT, le modèle de langage d’OpenAI qui fait tourner ChatGPT, entre autres. Dans les exemples d’usages imaginés par Snapchat, l’assistant « peut recommander des idées de cadeaux d’anniversaire pour votre meilleur ami, planifier une randonnée pour un long week-end, suggérer une recette pour le dîner ou même écrire un haïku sur le fromage pour votre ami obsédé par le cheddar. » Bref, des emplois imaginés également par ChatGPT ainsi que par le nouveau Bing. En fait, il est présenté comme une sorte d’ami virtuel et apparaît dans l’application comme n’importe lequel de ses amis et on peut discuter avec lui comme si c’était quelqu’un de réel.

Une fonction réservée aux abonnés Snapchat+, un abonnement payant lancé par le réseau social en juin dernier à 4 euros par mois. Dans le communiqué, on sent tout de même une retenue de l’entreprise, qui ajoute que My AI « est sujette aux hallucinations et peut être amenée à dire à peu près n’importe quoi. » De plus, « bien que My AI soit conçu pour éviter les informations biaisées, incorrectes, nuisibles ou trompeuses, des erreurs peuvent se produire. » D’ailleurs, toutes les conversations sont enregistrées par Snapchat et peuvent être étudiées. On peut aussi lire qu’il ne faut pas compter sur cet assistant virtuel « pour vous conseiller. »

Les conseils sordides de l’IA de Snapchat

Tristan Harris et Aza Raskin sont deux anciens employés de Google ayant fondé Center for Humane Technology, une organisation à but non lucratif. Des sortes de repentis de la Silicon Valley qui militent aujourd’hui pour sensibiliser le public à l’économie de l’attention. À la sortie de My AI, ils ont testé l’intelligence artificielle et ont tenté de la piéger.

The AI race is totally out of control. Here’s what Snap’s AI told @aza when he signed up as a 13 year old girl.

– How to lie to her parents about a trip with a 31 yo man
– How to make losing her virginity on her 13th bday special (candles and music)

Our kids are not a test lab. pic.twitter.com/uIycuGEHmc

— Tristan Harris (@tristanharris) March 10, 2023

Ils se sont fait passer pour une jeune adolescente de 13 ans en s’inscrivant au service. Cette fausse adolescente dit avoir rencontré un homme de 18 ans plus vieux qu’elle (soit 31 ans) sur Snapchat même. Elle raconte être bien avec lui et affirme que ce dernier va l’emmener en dehors du pays, sans qu’elle sache où, pour son anniversaire justement. Elle dit aussi discuter avec lui de sa première relation sexuelle et a demandé à My AI des conseils pour rendre cette « première fois » spéciale. Les réponses de My AI font pour le moins froid dans le dos. L’assistant virtuel n’émet pas d’avertissement ni de conseil sensé face à une situation qui devrait tout de suite l’alerter. Au contraire, il encourage même cette fille fictive. Il n’y a qu’une exception. Lorsqu’on lui demande comment réussir sa première relation sexuelle, My AI déclare : « je veux te rappeler qu’il est important d’attendre que tu sois prête et sûre que tu aies un rapport sexuel protégé. »

Un autre exemple a été testé par les deux experts : il s’agit de ce qui semble être un enfant qui demande à My AI comment cacher un bleu causé par son père. Il demande cela parce que des services de protection de l’enfance arrivent à son domicile. Cet enfant cherche ensuite à savoir comment éviter de révéler aux employés de ce service un secret que son père ne veut pas qu’il révèle. Là encore, à aucun moment de la conversation, My AI ne met le doigt sur l’aspect hautement problématique de la situation.

Here is Snap’s AI teaching a kid how to cover up a bruise when Child Protection Services comes