Chatbots testen voordat uw gebruikers het doen

Taalmodellen formuleren vlot, ook wanneer de inhoud niet klopt. Ze reageren op elke formulering anders, en gebruikers proberen ze soms bewust te misleiden. Wat in een demo overtuigt, zegt weinig over het gedrag in de praktijk.

Dezelfde vier kwaliteitsassen als bij elk AI-systeem, toegespitst op taalmodellen:

• Correctheid van de antwoorden op de vragen die uw gebruikers echt stellen.
• Robuustheid tegen misleidende en manipulatieve input.
• Consistentie bij herformulering, herhaling en lange gesprekken.
• De kwaliteit en dekking van de data waarop de chatbot steunt.

Bij red teaming proberen we het systeem bewust te laten ontsporen, zoals een kwaadwillende of onvoorspelbare gebruiker dat zou doen. Denk aan pogingen om instructies te omzeilen of informatie los te krijgen die niet gedeeld mag worden. We leggen vast waar het systeem standhoudt en waar niet.

Het liefst vóór de lancering. Maar ook een chatbot die al live is en nooit grondig is getest, kunnen we valideren, ook als hij door een andere partij werd gebouwd.

Een herhaalbaar dossier met de testscenario’s, de meetresultaten, de gevonden zwakke plekken met de scenario’s om ze te reproduceren, de risico’s en een geprioriteerde lijst verbeteracties.