Meta släpper öppen modell för kodning med text, bild, ljud och video

Muse Spark Open är Meta senaste modell i Muse-serien och har utvecklats för så kallad agentisk kodning. Det innebär att modellen kan läsa en kodbas, planera ändringar, skriva och felsöka kod samt använda verktyg under längre arbetsflöden. Enligt Meta är det företagets hittills mest kapabla öppna viktmodell från USA.

Modellen är multimodal och kan ta emot bilder, ljud och video utöver text. Den kan exempelvis läsa en skärmbild, lyssna på ett röstmeddelande eller analysera en skärminspelning medan den arbetar med kod. Meta visar också exempel där modellen används för att styra en webbläsare utifrån skärmbilder och för att skapa och förbättra 3D-objekt i Three.js.

Muse Spark Open använder en mixture-of-experts-arkitektur med 256 experter i varje block. En router väljer åtta experter för varje token, vilket gör att omkring 42 miljarder parametrar beräknas för varje token trots att modellen totalt har 816 miljarder parametrar. Alla experter måste dock finnas i minnet vid körning. BF16-versionen är omkring 1,5 terabyte stor, medan en särskild NVFP4-version är gjord för Nvidias Blackwell-grafikkort.

I Transformers kräver BF16-versionen enligt Meta fyra noder med åtta H200-kort vardera. NVFP4-versionen kan köras på en B200-nod. Modellen stöds även av bland annat llama.cpp, SGLang, vLLM och MLX. I ett test med en 2-bitars kvantiserad version på en Mac med M3 Ultra uppmättes 18 genererade token per sekund, men det är ett specifikt testresultat och inte en generell prestandagaranti.

Kontextfönstret är satt till upp till en miljon token, där text, bild, video och ljud delar samma utrymme. Meta beskriver också stöd för verktygsanrop och finjustering med LoRA-adaptrar. I ett eget träningsförsök kördes 500 steg på 64 H100-kort under ungefär två timmar, med en rapporterad ökning av tokenprecisionen från 72 till 84 procent.