Stanford-forskere finner ut at GPT-4 blir dummere over tid

Ny studere fra forskere ved Stanford University bekreftet det nettbrukere har klaget på i flere uker: ChatGPT Plus, basert på GPT-4 har virkelig blitt dummere – i motsetning til GPT-3.5, som kjører gratisversjonen av chatboten.

I sin studie sammenlignet forfatterne svar på forskjellige forespørsler fra en chatbot basert på GPT-4 og GPT-3.5. De fant ut at oppførselen til chatboten og nøyaktigheten av svar på noen forespørsler i den nye versjonen er betydelig forverret seg.

Forfatterne sammenlignet språkmodellene GPT-4 og GPT-3.5 som ble utgitt i mars og januar. De fant at i løpet av denne tiden falt nøyaktigheten til GPT-4 merkbart, mens den til GPT-3.5 tvert imot økte.

For eksempel falt nøyaktigheten av å svare på spørsmålet om 17077 er et primtall med 95,2 %, mens GPT-3.5 tvert imot økte fra 7,4 % til 86,8 %. Også sjansen for vellykket utførelse av koden skrevet av det nevrale nettverket har redusert i de nåværende versjonene av begge modellene.

Tidligere har OpenAI visepresident Peter Welinder allerede svarte til anklagene fra ChatGPT Plus-brukere:

I et av svarene på denne tweeten sier Welinder spurte gi bevis for at chatboten har blitt verre. En studie fra Stanford-forskere dukket opp 5 dager etter det - og det har ennå ikke kommet noe svar fra OpenAI.

Dette er ikke første gang GPT-4 blir anklaget for å gi falsk informasjon. I mars, NewsGuard analytikere oppdagetat ChatGPT basert på GPT-4 er lettere å få til å lyve – mens OpenAI selv hevder en 40 % økning i nøyaktigheten av svar sammenlignet med GPT-3.5. I spesielt i NewsGuard-testene var det mindre sannsynlig at den nye versjonen av det nevrale nettverket motbeviste falsk informasjon - inkludert falske data om moderne hendelser og teorier konspirasjoner.