Muse Spark Open: il MoE da 816B che vede, sente e programma (pesi aperti)

Meta ha aperto i pesi di Muse Spark Open: circa 816 miliardi di parametri totali, con soli 42 miliardi attivi per ogni token grazie all'architettura mixture-of-experts. Legge testo, immagini, audio e video, e risponde in testo, con una finestra di contesto fino a un milione di token.

I numeri che contano

• 816B parametri totali, 42B attivi per token: 256 esperti per layer, 8 selezionati dal router per ogni token.
• Input: testo, immagini, audio e video. Output: testo. Contesto fino a 1M di token.
• 62 layer, hidden 8192, grouped-query attention; gli esperti contengono il 97% dei parametri.
• Checkpoint BF16 da circa 1,5 TB e variante NVFP4 per GPU Blackwell.

816 miliardi suonano impossibili da far girare, ma il trucco degli experts cambia tutto: in memoria servono i pesi di un 816B, ma ogni token costa come un 42B. Il checkpoint BF16 occupa circa un terabyte e mezzo in safetensors.

Ottimizzato per programmare e usare strumenti

Meta lo ha addestrato sui flussi di lavoro veri degli sviluppatori: refactor multi-file, debug lunghi, pianificazione e auto-correzione. Sa chiamare tool, navigare il web guardando le immagini e ragionare su screenshot, note vocali e registrazioni dello schermo mentre lavora sul codice.

Il ragionamento non si spegne mai

Il modello ragiona sempre: non esiste l'opzione per disattivarlo. Si regola solo lo sforzo con quattro livelli, low, medium, high e xhigh. Per i compiti facili conviene low, per non bruciare token inutilmente.

Come farlo girare

• Transformers: BF16 su 4 nodi da 8 H200 con parallelismo 32; NVFP4 su un singolo nodo B200.
• llama.cpp: quant a 2 bit su Mac M3 Ultra da 512GB a circa 18 token al secondo, con WebUI per chat, immagini e audio.
• MLX: quant oQ3e da circa 344GB a circa 21 token al secondo in generazione.
• vLLM e SGLang: ricette ufficiali per NVFP4. Inference Endpoints con un comando.

llama serve -hf ggml-org/Muse-Spark-Open-816B-A42B-GGUF:Q2_K

Le demo che contano

• Generatore di asset 3D: il modello scrive codice Three.js, lo renderizza e si autocorregge guardando gli screenshot.
• Browser agent: decide solo guardando gli screenshot, senza DOM né HTML.
• Agente vocale: ascolta la richiesta, cerca e compra da solo.

Il punto onesto: licenza e accesso

I pesi sono aperti ma non liberi stile Apache: licenza custom con policy d'uso, e il repo è gated (la richiesta va approvata). Prima di qualsiasi uso commerciale, leggere LICENSE.md e USE_POLICY.md sul repo ufficiale.

Da dove partire

Fonte: Blog Hugging Face: Welcome Muse Spark Open — Numeri, architettura e ricette ufficiali

Fonte: Collection ufficiale su Hugging Face — Checkpoint BF16 e NVFP4