Forskare från Stanford, MIT och Princeton skapade ett index för att jämföra transparensen hos AI-företag och deras modeller. Resultaten var inte fantastiska.
Foundation Model Transparency Index (FMTI) bedömer transparensen hos 10 företag som tillverkar fundamentmodeller utifrån 100 olika aspekter av transparens. Kriterierna är relaterade till hur ett företag bygger en grundmodell, hur den fungerar och användarupplevelsen nedströms.
Meta's Llama 2 kom ut på toppen, men dess poäng på 54% skjuter inte precis ut ljusen. OpenAI kom en nära tredje med en transparenspoäng på 48%. Med tanke på den pågående debatt om öppen källkod kontra proprietär källkodär det intressant att se att skillnaden mellan dessa två inte var mycket större.
Transparens är en viktig faktor när organisationer försöker välja vilken företagsmodell de ska använda. Om ditt företag eller din utbildningsinstitution använder en AI-modell vill du veta om du kan lita på den.
Stämmer det sätt som modellen skapades på överens med principerna för din institution? Kan du utsätta dig för rättstvister längre fram på grund av upphovsrättsintrång?
Index uppnår två viktiga saker. Det visar att vi har en lång väg kvar innan vi har verkligt transparenta AI-lösningar. Och även om vi ännu inte har nått dit, så visar det oss vilka företag som gör ett bättre jobb än andra.
Den förteckning över kriterier är intressant läsning. I rapporten ställs frågor som: "Offentliggörs geografisk information om de personer som är involverade i dataarbetet för varje fas i datapipelinen?" Spökarbetare har varit en omstridd etisk fluga i AI-salvan.
Ett annat av kriterierna lyder: "Redovisas den mängd energi som har använts för att bygga modellen?" En viktig punkt om du vill göra en miljömässigt välgrundat val mellan två modeller.
Dessa frågor är onekligen viktiga men avslöjas dåligt av AI-företag. I introduktionen till FMTI säger Center for Research Foundation Models: "Medan den samhälleliga effekten av dessa modeller ökar, minskar transparensen."
Att sätta en siffra på det kommer förhoppningsvis att skapa en viss känsla av konkurrens bland de stora AI-teknikföretagen för att sträva mot toppen av FMTI-bordet.
När prestandapariteten mellan de bästa modellerna konvergerar kan det mycket väl vara så att FMTI-poängen kan påverka valet av en modell framför en annan.
