ChatGPT svarar fel på programmeringsfrågor i över hälften av fallen

I en färsk studie från Purdue University visar det sig att OpenAIs chatbot ChatGPT, trots sin avancerade teknik, ger felaktiga svar på programmeringsfrågor i över hälften av fallen.

Forskarteamet granskade ChatGPTs svar på 517 Stack Overflow-frågor för att bedöma botens riktighet, konsekvens, fullständighet och koncisitet. 52 procent av ChatGPTs svar är felaktiga och 77 procent är utförliga, konstaterade teamets rapport.

Ändå föredrog deltagarna ChatGPTs svar 39,34 procent av gångerna, mycket tack vare botens klara språkstil. Av de föredragna svaren var 77 procent felaktiga.

OpenAI medger på sin webbplats att ChatGPT kan ge inkorrekta uppgifter och har ännu inte kommenterat Purdues studie.