Anthropic ger oberoende AI-granskare tillgång till interna system
Anthropic har börjat ge sex medarbetare från den ideella organisationen METR tillgång till företagets interna verktyg och riskbedömningar. METR ska publicera egna analyser av risker, incidenter och säkerhetsarbete – utan att Anthropic kan stoppa publiceringen annat än genom att kräva begränsade sekretessändringar.
Anthropic ger sex medarbetare från organisationen METR tillgång till företagets interna verktyg, kontor och information på ungefär samma nivå som de egna teamen för riskbedömning. Enligt Anthropic ska upplägget ge externa granskare bättre möjligheter att bedöma riskerna med företagets modeller och säkerhetsarbete.
METR arbetar med att utvärdera avancerade AI-modeller och ska publicera analyser av Anthropics risknivåer, incidenter och arbetssätt. Anthropic säger att företaget inte kan lägga in veto mot publicering, men får kräva att information tas bort inom snävt definierade kategorier. Det gäller exempelvis kunduppgifter, advokatsekretess och viss information om modellarkitekturer. METR får samtidigt beskriva sina redigeringar offentligt och bedöma om de varit motiverade.
Anthropic uppger att oberoende granskare behöver tre saker för att kunna göra meningsfulla bedömningar: expertis om avancerade modeller, ekonomisk och operativ självständighet samt tillräcklig insyn i hur modeller tränas och hur skyddsmekanismerna fungerar. Företaget jämför upplägget med hur banker kan ha granskare på plats för att upptäcka risker som annars är svåra för utomstående att se.
METR är den första partnern i den mest omfattande av tre planerade åtkomstnivåer. På den nivån får granskare tillgång på ungefär medarbetarnivå och kan publicera sina slutsatser utan godkännande från Anthropic, med vissa sekretessbegränsningar. SecureBio arbetar för närvarande på den första nivån och granskar ett kapitel om kemiska och biologiska vapen i Anthropics riskrapport. Organisationen har tidigare publicerat en pilotgranskning.
Anthropic uppger också att företaget samarbetar med Accenture och Faculty kring bland annat modelltester, så kallade red-team-övningar och bedömningar av modellernas anpassning till säkerhetskrav. Diskussioner pågår dessutom med andra organisationer, däribland Hugging Face. Företaget säger att målet är att över tid ge flera oberoende team den högsta åtkomstnivån.
Källor
Latens använder angivna källor för att verifiera och sammanställa artikelns uppgifter.