Effekten #92: ”Att testa AI”

Eva börjar med att avgränsa diskussionen till det vi har mest av idag: snäv, specialiserad AI. Inte generell AI som liknar en mångsidig människa, utan AI som är bra på att lösa ett specifikt problem. Det som skiljer traditionella system från AI-baserade är att de senare lär sig. System som inte har en lärande komponent har ett beteende som är samma över tid.

Så är inte fallet med intelligenta system. Det innebär att du måste ha övervakning även efter produktion, för att inte systemet ska utvecklas till nåt annat – beroende på vilken input den får. Se t ex chatbots där en tweetbot var tvungen att stängas av eftersom den blivit rasistisk. Här hade AI-testning kunnat förebygga problemet genom att sätta upp parametrar som från början rensar bort felaktig input och genom att sätta in övervakning över vissa parametrar. I andra situationer är det AIs träningsdata som felar; man kanske använder historisk data som cementerar strukturer. Systemet får helt enkelt inte rätt grund att stå på. I ytterligare fall måste man testa AIs moral. Eva ger oss målande exempel.

Hur lyckas vi med test av intelligenta system?

• Ha koll på grunddatan och bedöm lärandet systemet har under produktion.
• Övervaka det lärande som sker efter produktion, att det håller sig inom givna parametrar.
• Kontrollera vad det är AI baserar sina analyser på.
• Håll koll på hur systemen verkligen fungerar. En del system kan vara traditionella i en första anblick, men innehålla AI-komponenter. Det påverkar hur man behöver testa.
• Testa som vanligt också.

 
Eva Holmquist, Jonas Jaani (21:50)

 
Eva Holmquist

PRENUMERERA – podcast Effekten
iPhone, Android, Spotify, e-post

When AI “goes bad” 
Algorithms and Bias in the Criminal Justice System 
The Algorithms Aren’t Biased, We Are 
Testing in the Digital Age – AI makes a difference

Eva på LinkedIn 
A tester’s thoughts on Automation and AI: 2 
A tester’s thoughts on Automation and AI: 3 
A tester’s thoughts on Automation and AI: 4