Observation 2:3 AI som gör som den tror att vi vill

Psykologen och nobelpristagaren Daniel Kahneman delar upp tänkandet i system 1 och 2. System 1 representerar det snabba och spontana tänkandet som bygger på tidigare erfarenheter och kunskap, medan System 2 står för det mer ansträngande och eftertänksamma tänkandet.

Om AI tidigare fått sin input via System 2 där användaren har ställt genomtänkta frågor via en prompt så kommer nu AI få tillgång till system 1. Idag finns till exempel Morph cast som är en emotionell AI teknik med uppgiften att läsa av dina ansiktsuttryck och tolka dem. På så sätt kan den ge feed back utan att du promptar den eller anpassa språket efter hur den upplever att du mår.

Idag kan vi bli arga på teknik som inte gör som vi vill. Då AI kan läsa av dina båda system så kan den via System 1 läsa ditt ansikte. Kommer den då agera på dess tolkning av att du ser ledsen ut och ställa in sitt nätverk på att trösta dig med att ha en smoothie klar då du kommer hem genom att tala med IoT? Men du kanske inte var ledsen? Istället kanske den tog ingredienser du planerat att använda för att överraska ditt barn då hon kom hem efter träningen och nu måste du gå ut och handla igen. AI lyckas väcka din grundkänsla av vrede utan att du givit den någon input precis som en människa kan. Vi kan nu bli arga på teknik som gör som den tror att du vill istället för att göra som vi faktiskt vill. AI upplevs plötsligt mer mänsklig (Troligen hade AI inte gjort misstaget då den vet att smoothie ingredienserna så gott som alltid används till ditt barn och den hade dessutom troligen frågat dig – om den inte vet att du älskar ompysslande överraskningar då du är ledsen förstås).