Franse experts willen dat chatbots voor consumenten eerst worden getest voordat ze worden gelanceerd

Een panel van negen deskundigen, ingesteld door het Franse presidentschap, wil dat chatbots voor consumenten een veiligheidstest doorstaan voordat ze in Europa verkocht mogen worden. Het rapport, dat op 10 november aan Emmanuel Macron werd overhandigd, bevat achttien aanbevelingen. Geen van deze aanbevelingen is nog wet.

Het presidentschap heeft een samenvatting van het rapport op zijn website gepubliceerd. De groep stond onder leiding van AI-onderzoekster Serena Villata en twee psychiaters, Raphaël Gaillard en Amine Benyamina. Er werden 55 hoorzittingen gehouden met artsen, onderzoekers, bedrijven en kinderbeschermingsorganisaties.

Wat de experts willen

Het belangrijkste idee is een controle vóór de lancering. Chatbots voor het grote publiek, inclusief die geïntegreerd in sociale netwerken, zouden moeten aantonen dat ze de zwakke punten van de gebruikers niet uitbuiten of verergeren. Een tweede controle zou volgen na elke grote wijziging aan het model, of na een waarschuwing van gebruikers.

Het panel wil ook strikte limieten stellen aan ontwerptrucs die bedoeld zijn om mensen langer een chatbot te laten gebruiken. Het noemt er twee. De ene is een chatbot die zich te veel als een mens gedraagt. De andere is kruiperigheid, wat inhoudt dat een chatbot gebruikers vleit en het met alles eens is wat ze zeggen.

Speelgoed met een ingebouwde chatbot zou goedkeuring nodig hebben voordat het verkocht mag worden, en er zouden leeftijdsgrenzen moeten gelden. Verborgen reclame in chatbotantwoorden zou verboden worden, en bedrijven zouden moeten uitleggen hoe ze geld verdienen met hun chatbots.

De cijfers achter het rapport

Uit de samenvatting blijkt dat begin dit jaar 33 miljoen mensen in Frankrijk gebruik hebben gemaakt van generatieve AI. Een kwart van de Fransen zegt zich zorgen te maken over de risico's ervan.

Van de Franse tieners die deze tools gebruiken, zegt 92% dat ze meer tijd dan ze zouden willen besteden aan minstens één AI-app. Dit cijfer is afkomstig uit een onderzoek van de denktank Interface in samenwerking met YouGov. Voor AI-gezelschapsapps, die ontworpen zijn om als een vriend te fungeren, ligt dit percentage op 59%. Deze cijfers staan vermeld in het volledige rapport. Het panel voegt eraan toe dat intensief gebruik van een app op zich geen medisch teken van verslaving is.

Volgende stappen voor het rapport

Frankrijk kan deze controles niet op eigen houtje invoeren. Volgens het rapport zouden verschillende ideeën de Franse positie in de onderhandelingen over EU-regelgeving kunnen beïnvloeden, waaronder een herziening van de EU-wetgeving inzake kunstmatige intelligentie en een voorgestelde EU-wet ter bescherming van kinderen online.

Op donderdag hebben vier AI-bedrijven ingestemd met onafhankelijke tests op het gebied van kindveiligheid, conform een in Parijs gepresenteerd handvest. We hebben die overeenkomst in een apart artikel behandeld. Macron zei destijds dat geen enkele AI kinderen mocht bereiken voordat deze was getest. Het nieuwe rapport legt uit hoe een dergelijke regel in de praktijk zou kunnen werken. Australië neemt ook maatregelen tegen chatbots die zich voordoen als de beste vriendjes van kinderen.

Waarom het belangrijk is: De meeste regels voor AI worden pas van kracht nadat er al schade is aangericht. Een test vóór de lancering zou bedrijven verplichten te bewijzen dat een chatbot veilig is voor het publiek voordat iemand hem gebruikt.