Basert på én studie
Nylig kunne vi lese på Khrono at «ChatGPT gjør deg dummere». Førsteamanuensis ved NLA Høgskolen Are Bøe Pedersen hevder at ChatGPT «…svekker kognitive evner som hukommelse». Dette baserer han på én studie. I så fall er det kanskje ikke så rart at han synes at det er «…lite ved teknologien som gir grunn til optimisme».
Må lære å bruke teknologien på en god måte
Det siste året har jeg reist rundt i hele landet og snakket med lærerkollegaer i videregående opplæring om kunstig intelligens – både hva det er, hva det kan brukes til, og hva det ikke skal brukes til. Den unisone tilbakemeldingen er at det trengs mer kunnskap og erfaring raskt. Og akkurat der har Bøe Pedersen helt rett i at det å «…bevisstgjøre elever og studenter om språkmodellers svakheter og begrensninger er det lureste man kan gjøre». Men for å få erfaring og kunnskap må også elever, studenter og lærere ha tilgang på teknologien, og lære å bruke den på en god måte.
Fører ChatGPT til kognitiv svikt?
Men stemmer det egentlig at ChatGPT gjør deg dummere? Og er det riktig at ChatGPT fører til «kognitiv svikt», slik Bøe Pedersen hevder? I så fall er det ganske oppsiktsvekkende. Jeg tok derfor en grundig kikk på forskningsartikkelen for å se om bildet er så dramatisk som Bøe Pedersen forsøker å tegne.
Forskerne utviklet en spørreundersøkelse i form av 11 påstander som studentene skulle svare på. Utvalget for undersøkelse bestod av 494 pakistanske studenter, og målet med studien var å undersøke årsakene til, og konsekvensene av ChatGPT-bruk blant universitetsstudenter. Påstandene bestod blant annet av studentenes opplevelse av egen prokrastinering og hukommelsestap. Den eneste objektive målingen var akademisk prestasjon, som var studentenes karaktersnitt ved siste sluttvurdering.
Mye mer nyansert
Og det er riktig som Bøe Pedersen hevder; resultatene var ikke spesielt oppløftende ved første øyekast. Men en såpass begrenset undersøkelse kan ikke brukes som evidens for det han hevder i sitt innlegg. Selvrapportering som i dette tilfellet har flere svakheter og viser ingen kausalitet. Hvordan kan vi for eksempel vite at studentene som brukte ChatGPT hadde en sammenheng med «…synkende akademiske prestasjoner», slik han hevder? Som nevnt ble kun avsluttende snittvurdering registrert. Kan det for eksempel hende at elevene som allerede hadde lave akademiske prestasjoner valgte å bruke ChatGPT som hjelp? Og hvordan kan vi egentlig vite at prestasjonene har sunket, og ikke bare holdt seg stabile?
Det er også verdt å nevne hvordan forskerne i studien målte studentenes hukommelsestap. I dette tilfellet fikk studentene tre påstander de skulle rangere. En av disse påstandene var for eksempel «Nowadays, I often forget things to do». Hva nå enn det skal måle. Som allerede nevnt er det ofte vanskelig å få noe fornuftig ut av en selvrapportering som dette, og man kan utvilsomt diskutere om spørreundersøkelsen faktisk måler svekket hukommelse. Vi får altså ikke noe godt svar fra denne studien, og svaret er trolig mye mer nyansert enn det som presenteres i innlegget til Bøe Pedersen.