Observation 2:11 Den svarta lådans dilemma

AI kommer bli allt mer omöjlig att förstå med avseende på hur den kommer fram till saker och ting. Det såg vi redan med Drag 37 under Lee Sedols kamp mot AI i spelet Alphago som vi omnämnde i ett annat avsnitt. Vi såg det också då två AI algoritmer skulle sälja saker till varandra och på kort tid utvecklade ett mer effektivt språk än det mänskliga för att klara uppgiften. Språket var obegripligt för människan, till och med för programmerarna som skapat algoritmen (se Del 2 – Nutid).

Om vi till exempel använder AI för att matcha folk mot arbeten så kommer vi inte ha en chans att förstå varför just du matchades mot ett visst jobb. Det är möjligt att AI funnit Drag 37 och att du är perfekt lämpad för arbetet men att vi inte kan se det just nu. Men det är också möjligt att det uppstått ett kolbaserat och mänskligt fenomen, det vill säga att algoritmen begått ett fel. Problemet är att vi inte kan veta det och om vi visste det vet vi inte varför därför att vi inte kan förstå hur den kommit fram till sitt avgörande. Även om den kunde förklara sitt val är det inte säkert att vi skulle ha förmåga att förstå det ändå på grund av en intellektuell underlägsenhet. Kanske skulle vi istället tolka det som ett fel då det i självaverket är en perfekt matchning av arbetssökande och arbetstagare sett ur för oss omöjligt perspektiv.