En grupp AI-forskare vid Apple har upptäckt att avancerade AI-modeller kanske inte kan resonera på riktigt. Istället verkar de härma resonemangssteg från sin träningsdata. Studien har uppmärksammats av Techcrunch och är ännu inte granskad av oberoende experter.
Forskarna testade detta genom att ställa hundratals frågor till modeller som OpenAI:s GPT-o1, där de inkluderade detaljer som inte var nödvändiga för att lösa problemen, Till exempel bad de modellen räkna antalet kiwifrukter samtidigt som de nämnde att fem av dem var mindre än andra. Resultatet blev att modellen gav fel svar.
Studien visade att när oväsentlig information lades till i frågorna, minskade AI-modellernas noggrannhet avsevärt. Detta tyder på att modellerna inte riktigt förstår problemen de försöker lösa.
