Anthropic verdubbelt zijn snelheid, maar METR zegt dat bewijsmateriaal verborgen is.

Volgens een onafhankelijk onderzoek verbetert Anthropic zijn AI-modellen ongeveer twee keer zo snel als een jaar eerder. Het addertje onder het gras: het bedrijf heeft het grootste deel van het bewijsmateriaal dat volgens de onderzoekers het belangrijkst was, achtergehouden. Het publiek moet hen dus op hun woord geloven voor een bevinding die de perceptie van de risico's van de AI-ontwikkeling zou kunnen veranderen.

De beoordeling kwam van Model Evaluatie en Dreigingsonderzoek (METR), gepubliceerd op donderdag. METR verbleef 11 weken in Anthropic, van half augustus tot eind oktober, en had toegang tot interne benchmarkscores, trainingsgegevens, interviews met medewerkers en enquêtes. METR ontving hiervoor geen betaling van het lab.

Het getal

Op de interne capaciteitsindex (AECI) van Anthropic zijn de modelscores gestegen met een geschat percentage. 1,9 keer Het tempo van vóór oktober 2025, met een betrouwbaarheidsinterval van 95% van 1,5–2,8x. Simpel gezegd, METR stelt dat Anthropic in het afgelopen jaar ongeveer twee jaar aan historische vooruitgang heeft geboekt. De meeste METR-medewerkers die aan het project werken, geloven nu dat het lab op goed gedefinieerde taken waarschijnlijk ongeveer twee keer zo snel vooruitgang boekt als in de periode maart 2024–oktober 2025, hoewel ze niet verbaasd zouden zijn als het werkelijke cijfer dichter bij 1,3x of 3x zou liggen.

METR zegt dat het met “vertrouwen” kan uitsluiten dat de snellere groei van de trainingscapaciteit de oorzaak is. Interviews en enquêtes wijzen in plaats daarvan op het intensieve gebruik van AI-tools om onderzoekers te helpen bij het schrijven van code, het uitvoeren van experimenten en het uitproberen van nieuwe ideeën. Enquêtes onder medewerkers op Slack over zelfgerapporteerde snelheidsverbeteringen lieten in oktober een factor 12 zien voor het nieuwste interne model – los bewijs, benadrukt METR, maar wel consistent met een aanzienlijke verbetering. AI levert nog geen significante, volledig autonome bijdragen aan de moeilijkste trainingsstappen, zo werd de reviewers verteld, hoewel er wel “tekenen van leven” in die richting verschijnen.

Wat je niet kunt zien

Anthropic had eenzijdig het recht om niet-openbare informatie uit het openbare rapport te verwijderen. METR stelt dat het bedrijf het grootste deel van het bewijsmateriaal heeft verwijderd dat het team het meest informatief vond voor zijn risicoconclusies, waaronder gedetailleerde versnellingsschattingen per pijplijnfase, knelpuntenanalyses en prognoses voor toekomstige modellen. Anthropic zei dat de verwijderingen bedoeld waren om vertrouwelijke informatie te schrappen die concurrerende ontwikkelaars zou kunnen helpen.

METR is onomwonden over de uitkomst: het publiek kan het bewijsmateriaal zelf niet beoordelen of vergelijken met andere bronnen. “Dit rapport bereikt geen ‘transparantie over het bewijsmateriaal’”, schreef het. Lezers moeten meer vertrouwen op het oordeel van METR dan de organisatie zelf ideaal acht voor vragen van dit gewicht. AP-nieuws Er werd dezelfde spanning geconstateerd: een waarschuwing voor snellere vooruitgang, gekoppeld aan materiaal dat de meeste mensen niet kunnen inspecteren.

Waarom de bewering over het tempo wordt betwist

De beoordelaars noemen manieren waarop ze in beide richtingen ongelijk zouden kunnen hebben. De versnelling zou beperkt kunnen blijven tot schone, automatisch te beoordelen taken en de rommelige impact in de praktijk overschatten. De eerdere AECI-groei van Anthropic was trager dan de bredere sector, wat de vergelijking van “2x” zou kunnen vertekenen. Aan de andere kant suggereerden interne cijfers (die niet openbaar zijn gemaakt) dat de versnelling hoger dan 2x zou kunnen liggen en nog steeds zou toenemen, en METR zag geen duidelijke knelpunten die verdere versnellingen in het komende jaar zouden belemmeren.

Dat is belangrijk omdat recursieve zelfverbetering — AI-systemen die op zinvolle wijze bijdragen aan de ontwikkeling van de volgende, snellere generatie — het scenario is waar veiligheidsonderzoekers zich zorgen over maken, omdat het de tijdlijnen zou kunnen verkorten. METR schat dat een meerderheid (misschien wel zo'n 80%) van de huidig De versnelling is te danken aan AI-ondersteuning, met meer onzekerheid over de drijfveren voor eind 2025. Medeoprichter Sam McCandlish zei dat Anthropic van plan is een eigen openbare analyse uit te brengen over hoe snel de vooruitgang binnen het bedrijf verloopt., The Verge meldde.

Waarom het belangrijk is

Als grensverleggende laboratoria al een aanzienlijke productiviteitsboost krijgen van hun eigen modellen, hebben externe toezichthouders bewijs nodig dat het publiek kan controleren – niet alleen de cijfers in de krantenkoppen. Een verdubbeling van het tempo van de vooruitgang verandert de tijd die samenlevingen hebben om te testen, te reguleren en zich aan te passen. Het anonimiseren van de onderliggende meetmethoden maakt van een onafhankelijke beoordeling iets dat meer lijkt op de mening van een vertrouwde tussenpersoon, wat nuttig is, maar niet hetzelfde als open verificatie. Voor werknemers die al zien hoe AI hun dagelijkse werkzaamheden verandert – inclusief langere dagen in plaats van kortere. — De vraag is niet langer of de hulpmiddelen helpen. Het gaat erom hoe snel die hulp werkt in de laboratoria die ze ontwikkelen, en wie de resultaten te zien krijgt.