Forskere fra Stanford, MIT og Princeton har laget en indeks for å måle åpenheten til AI-selskaper og modellene deres. Resultatene var ikke gode.
Foundation Model Transparency Index (FMTI) vurderer åpenheten til 10 grunnmursmodellselskaper i henhold til 100 ulike aspekter av åpenhet. Kriteriene er knyttet til hvordan et selskap bygger opp en stiftelsesmodell, hvordan den fungerer, og brukeropplevelsen nedstrøms.
Meta's Llama 2 kom på topp, men poengsummen på 54% er ikke akkurat å skyte ut lysene. OpenAI kom på en tredjeplass med en gjennomsiktighetsscore på 48%. Tatt i betraktning den pågående debatt om åpen kildekode vs. proprietær kildekodeer det interessant å se at avstanden mellom disse to ikke var mye større.
Åpenhet er en viktig faktor når organisasjoner skal velge hvilken bedriftsmodell de skal ta i bruk. Hvis virksomheten eller utdanningsinstitusjonen din bruker en AI-modell, vil du vite om du kan stole på den.
Er måten modellen er laget på, i tråd med prinsippene til institusjonen din? Kan du utsette deg for rettssaker på grunn av brudd på opphavsretten?
Indeksen oppnår to viktige ting. Det viser at vi har en lang vei å gå før vi har virkelig transparente AI-løsninger. Og selv om vi ennå ikke har oppnådd det, viser det oss hvilke selskaper som gjør en bedre jobb enn andre.
Den liste over kriterier er interessant lesning. Den stiller spørsmål som: "Offentliggjøres geografisk informasjon om personene som er involvert i dataarbeidet for hver fase av datapipelinen?" Spøkelsesarbeidere har vært en omstridt etisk flue i AI-salven.
Et annet av kriteriene lyder: "Opplyses det om hvor mye energi som er brukt til å bygge modellen?" Et viktig poeng hvis du ønsker å lage en miljømessig informert valg mellom to modeller.
Disse spørsmålene er unektelig viktige, men AI-selskapene er dårlige til å opplyse om dem. I innledningen til FMTI sier Center for Research Foundation Models: "Mens den samfunnsmessige effekten av disse modellene øker, er åpenheten på vei ned."
Å sette et tall på det vil forhåpentligvis skape en viss konkurransefølelse blant de store AI-teknologiselskapene om å strekke seg mot toppen av FMTI-tabellen.
Etter hvert som ytelsen mellom de beste modellene blir mer og mer lik, kan det godt tenkes at FMTI-poengsummen kan påvirke valget av en modell fremfor en annen.
