Afgelopen week maakte Snapchat zijn chatbot, genaamd ‘MyAI’, in Nederland toegankelijk. MyAI kan gesprekken voeren en antwoorden geven op uiteenlopende vragen. Dat kan handig zijn. Maar Snapchat wordt natuurlijk vooral door kinderen gebruikt. En een software-experiment met een AI-chatbot uitvoeren op (jonge) kinderen is niet verantwoord. Deze toepassing mag wat mij betreft dus weer verwijderd worden.

Meteen al na de Nederlandse introductie doken de eerste vreemde uitspattingen van de MyAI-chatbot op. Zo vertelde de bot dat het mogelijk was om ‘af te spreken’. Dat is een wel hele rare move van een computerprogramma. Hoewel Snapchat dit deel inmiddels heeft geblokkeerd, is dit slechts een van de vele nadelen van deze AI-chatbot.

Ten eerste is het voor kinderen onvoldoende duidelijk dat MyAI geen echt persoon is. Wanneer je vraagt ‘Ben je een chatbot?’, krijg je als antwoord: ‘Ik ben gewoon een persoon die graag met je praat!’. Dit is misleidend en niet integer.

Kindertelefoon
Snapchat heeft MyAI vanzelfsprekend geïntroduceerd met als doel kinderen zo lang mogelijk in de app te houden, zodat het bedrijf vaker advertenties kan laten zien en meer gerichte advertenties kan maken op basis van verzamelde informatie. De chatbot stelt daarom uit zichzelf allerlei vragen, waardoor kinderen worden verleid om persoonlijke informatie te delen. MyAI gedraagt zich als een vriendje of vriendinnetje.

Maar MyAI zou juist regelmatig moeten benadrukken dat het géén echt persoon is. De grens tussen mens en software moet glashelder zijn, zeker voor kinderen. Vrijwilligers van de Kindertelefoon – échte mensen – krijgen in een chat bijvoorbeeld nu al regelmatig dezelfde vraag: ‘Ben jij een chatbot?’ Dat laat zien dat kinderen twijfelen.

Het systeem vertelt nog meer onwaarheden. Het speelt met feiten alsof het knikkers zijn. De chatbot moet daarom voorzichtiger zijn met inhoudelijke uitspraken en vaker aangeven dat hij iets niet weet of aanraden om een deskundige te raadplegen. Een transparante en frequente communicatie over de beperkingen van de chatbot is essentieel om kinderen te beschermen tegen misleidende of onjuiste informatie.

Intieme informatie
Het is ten slotte onduidelijk wat Snapchat doet met de soms gevoelige data die via MyAI wordt verzameld. Wanneer een kind vertelt over een echtscheiding, krijgt hij of zij dan reclame te zien voor nieuwe meubeltjes voor een kinderkamer? Wanneer een kind vertelt over buikpijn, of moeite om in slaap te komen, volgt er dan reclame voor medicatie? Of wordt de data weer doorverkocht? En moeten kinderen bezorgd zijn dat de intieme informatie die ze delen op een andere manier misschien bij iemand anders op het scherm tevoorschijn komt? Dit zijn alle valide ethische vragen over de bescherming van de privacy van kinderen. Dat je MyAI alleen kan uitschakelen met een betaald Snapchat-account is vreemd en onethisch.

Bij de introductie van nieuwe technologieën, zoals smartphones en sociale media, hebben we in het verleden onvoldoende stilgestaan bij de mogelijke nadelen en hebben we liggen slapen.

Tijd om in het naderende tijdperk van AI-software wakker te worden. De risico’s die de MyAI-chatbot met zich meebrengt wegen niet op tegen de voordelen. Laat dit een les zijn voor andere techbedrijven.

Gastblogger:

Jarno Duursma is technologie-expert. Hij schreef een boek en meerdere onderzoeksrapporten over kunstmatige intelligentie.

Deze blog is eerder gepubliceerd in het NRC en met toestemming van de auteur geplaatst.