En ny undersökning har avslöjat att AI fortfarande har långt kvar när det gäller att sammanfatta komplex information på ett effektivt sätt. Studien, genomförd av Amazon i samarbete med australiensiska myndigheten ASIC, visar att AI inte presterar lika bra som människor på denna uppgift.
Forskningen fokuserade på att jämföra sammanfattningar gjorda av en avancerad AI-modell, Metas Llama2-70B, och människor. Modellen fick i uppgift att analysera och sammanfatta fem inlagor från en parlamentarisk utredning om revisions- och konsultföretag. Uppdraget var att lyfta fram viktiga punkter, såsom hänvisningar till ASIC, rekommendationer om reglering och annat relevant, samt att inkludera sidreferenser.
För att skapa en rättvis jämförelse fick även tio anställda på ASIC, med olika bakgrund och erfarenhet, genomföra samma uppgift. Resultaten från både AI och människor bedömdes därefter anonymt av en panel granskare.
Slutsatsen var tydlig: de mänskliga sammanfattningarna överträffade AI:s prestationer på alla områden, särskilt när det gällde att identifiera relevanta referenser till ASIC. Granskarna ansåg till och med att AI-sammanfattningarna kan öka arbetsbelastningen, då de krävde ytterligare insatser för att korrigera.
