Syttitallsspillet Video Chess var stilt inn på nybegynnernivå.
Språkmodeller som ChatGPT kan være enormt nyttige og fascinerende, noe jeg selv har rikelig erfaring med. Men basert på hvor mange artikler jeg ser om bruk av slike modeller, både i det offentlige, i bedrifter og av for eksempel skoleelever, er det jo åpenbart at mange har en grunnleggende misforståelse av egenskapene til disse systemene.
Så hvis du for eksempel gikk med tanker om å legge en prat med ChatGPT som grunn for … tja, en viktig rapport om sammenslåing av skoler og barnehager, kan du jo kanskje prøve å se hvor flink din digitale samtalepartner er i sjakk?
Robert Jr. Caruso, som er programvareutvikler hos Citrix, postet nylig om sine erfaringer med akkurat dette på LinkedIn. Han hadde visstnok snakket med ChatGPT om sjakkspillets historie da ChatGPT selv tilbød å spille mot Video Chess, et sjakkspill fra 1979 som kjører på 1977-konsollen Atari 2600 (der hjertet er en 8-bits MOS 6507-prosessor med en klokkehastighet på 1,19 MHz).
Det skal ha gått fryktelig dårlig for ChatGPT, for selv om Atari Chess var stilt inn på nybegynnernivå tapte OpenAIs språkmodell så det suste. Ifølge Caruso glemte ChatGPT stadig situasjonen på brettet, blandet brikkene sine og gjorde generelt elendige valg. Etter 90 minutter innså språkmodellen at slaget var tapt, og ga opp.
Caruso understreker i en kommentar til sin egen post at ChatGPT så ut til å ha en forståelse av spillet, og at systemet kom med mange gode tilbakemeldinger og taktiske vurderinger i samtalen som foregikk underveis. Caruso hadde bedt om råd og tips for å forbedre sitt eget spill, og forteller at det var flere situasjoner der systemet imponerte.
Men eksperimentet understreker samtidig at det er en vesensforskjell på språkmodeller som ChatGPT og for eksempel maskinlæringsmodeller som AlphaZero – som åpenbart ville snurret både deg, meg, Atari Chess og ChatGPT rundt lillefingeren sin, men neppe ville vært noen spesielt interessant samtalepartner underveis.
Toppbildet er et utsnitt av coverbildet til Video Chess, og hentet fra Mobygames.
Som en som har prøvd å spille mot begge deler så var ikke dette et uventet resultat. De gangene jeg har prøvd meg mot ChatGPT så begynner den fort å rote med både brett og regler, som i glemmer hvor brikkene står, og hvem sin tur det er. Eselet til Arnold Schwarzenegger er stadig en knepen favoritt i et parti sjakk mot ChatGPT.
Video Chess er riktignok et veldig tidlig sjakkprogram for hjemmedatamaskiner, men spiller faktisk helt grei sjakk. Gi den litt tenketid, og den kan hamle opp med enkelte klubbspillere. Og selv på det laveste spiller den stort sett fornuftige trekk. Nybegynnernivået som det vises til her (om det faktisk er det de har brukt) er et eget nivå som med overlegg gjør trekk den vet er dårlige, for å være en oppnåelig motstander for nybegynnere, men den klarer i det minste å holde styr på brettet.