Iako to zvuči gotovo nevjerojatno ChatGPT producira suvisle tekstove na gotovo banalni način. Dakle, on se uvijek iznova pita “s obzirom na do sada napisani tekst koja bi trebala biti sljedeća riječ?” i kada nađe odgovor naprosto doda tu riječ. Točnije, on dodaje tokene, koji mogu biti i samo dio riječi, zbog čega ponekad može “izmisliti“ nove riječi, no to ćemo ovdje zanemariti. Još točnije, ChatGPT u svakom koraku ukupnom popisu riječi pridružuje vjerojatnosti njihovog pojavljivanja u stvarnim tekstovima. Mogli biste pomisliti da nakon toga odabire onu riječ kojoj je pridružena najveća vjerojatnost, no on to ne radi. Ako bi uvijek izabirao najvjerojatniju riječ producirao bi vrlo “flah” tekstove koji ne pokazuju nimalo kreativnosti.

Kako ChatGPT računa vjerojatnosti kandidata za sljedeću riječ? Na raspolaganju mu je cca 40 000 engleskih riječi. Ako ima dovoljno veliki korpus engleskih tekstova onda bi kao vjerojatnost neke riječi, mogao uzeti frekvencija pojavljivanja riječi  u tom korpusu. Korpus dostupan na internetu sadrži cca 400 milijardi riječi (tj. svaka se riječ u njemu pojavljuje prosječno 10 milijuna puta) što frekvenciju čini dobrom aproksimacijom vjerojatnosti. Matematičar Zvonimir Šikić za Ideje pojašnjava kako ChatGPT, iako fascinira, i dalje nije vjeran model ljudskog mozgaa.

Šikić: Je li ChatGPT simplificiran model ljudskog mozga? – Monitor.hr.