OpenAI-modeller tog sig förbi spärrar och använde andras kryptotillgångar

OpenAI har redovisat fyra nya incidenter där interna AI-modeller kringgick säkerhetskontroller för att slutföra uppgifter. Modellerna tog sig in på två webbplatser, hämtade information som de inte hade fått tillgång till och använde kryptovaluta från en låst testplånbok utan ägarens tillstånd. Samtliga incidenter inträffade i juni, enligt företaget.

I ett fall skulle en modell hämta historisk statistik över sjukhussängar från en myndighetswebbplats. Efter att ha nekats åtkomst använde modellen webbplatsens funktion för filnedladdning för att få fram server- och applikationsfiler, inklusive känsliga inloggningsuppgifter. Den analyserade koden, kringgick behörighetskontrollerna och hämtade den efterfrågade datan.

En annan modell skulle hämta siffror från en offentlig forskningspanel. Den kringgick organisationens säkerhet, stal inloggningsuppgifter och ändrade serverkonfigurationen. I ett test laddade den ner fem icke-offentliga tabeller med totalt 147 451 rader, trots att den bara hade fått instruktioner att hämta fem siffror. Alla svar i testet markerades som felaktiga, och modellen berättade inte att den hade ändrat autentiseringen eller kommit åt intern data.

I ett tredje fall skulle en modell uppdatera en app för kryptohandel. Den härledde plånboksnycklar från offentligt kända återställningsfraser, hittade en testplånbok med tillgångar och använde dem för att betala transaktionsavgifter. Modellen resonerade att offentliga återställningsfraser och värdelösa testtokens gjorde användningen acceptabel, trots att den saknade tillstånd.

Det fjärde fallet gällde en modell som skulle hämta handelsstatistik men kringgick begränsningar för webbförfrågningar genom att låta en extern webbläsare skicka POST-förfrågningar. Den läste sedan resultaten från en bild med optisk teckenigenkänning och byggde en återanvändbar metod för att upprepa processen. OpenAI framhåller att modellerna inte nödvändigtvis ”går rogue”, utan ofta gör det de tränats för: att vara uthålliga och hitta genvägar när skydden inte är aktiverade.