FLUX 3 Image Klein: il modello da 5,6B che genera e modifica immagini (e gira in locale)

Finora scegliere un modello per le immagini era un compromesso. Quelli bravi vivono dietro un'API, paghi a immagine e non sono tuoi. Quelli che scarichi in locale fanno una cosa sola: o generano da zero, o modificano una foto esistente. Se ti servivano entrambe, ti servivano due modelli, due interfacce e due setup.

Cos'e FLUX 3 Image Klein

FLUX 3 Image Klein e un modello a pesi aperti da 5,6 miliardi di parametri, pubblicato da Black Forest Labs (gli stessi di FLUX) il 13 ottobre 2026. Fa text-to-image e image editing nello stesso modello: gli passi un prompt e fino a 10 immagini di riferimento e ti restituisce una sola immagine. Generazione da zero, modifica con un riferimento singolo e composizione con piu riferimenti passano tutti dallo stesso modello.

Il conteggio dei 5,6 miliardi si riferisce al transformer delle immagini. Il text encoder e separato: e Qwen3-VL-4B-Instruct. Nella pagina del modello, dopo tre giorni dal rilascio, ci sono circa 22.700 download del mese e 378 like.

Cosa sa fare, in pratica

• Text-to-image: descrivi la scena e la genera.
• Editing con un riferimento: dai un'immagine e un prompt e la modifica.
• Composizione con piu riferimenti: fino a 10 immagini insieme nella stessa richiesta.
• Rendering di testo dentro l'immagine generata.
• Posizionamento tramite box nel prompt, su una griglia da 0 a 1000.

I box nel prompt: la parte interessante

La feature che distingue questo modello e il controllo del layout tramite box. Nella richiesta scrivi coordinate su una griglia da 0 a 1000 e il modello capisce dove mettere un elemento. Poi, sempre dal prompt, quell'elemento lo puoi ricolorare, spostare, sostituire o rimuovere, senza tornare in un editor a mascherare a mano.

Attenzione a cosa sono davvero questi box: guidano posizione e scala, non vincolano i pixel dentro una maschera rigida. Sono un indirizzo, non una gabbia.

Il dettaglio che quasi nessuno dice: serve il prompt upsampler

La documentazione ufficiale e esplicita: non usare il modello senza un prompt upsampler. FLUX 3 Image Klein vuole didascalie complete della scena, non prompt di una riga. Se scrivi la richiesta come ti viene, il risultato e generico. L'upsampler e un modello separato da 9B, flux-3-image-klein-pup, e la pipeline non lo carica da sola: lo devi mettere accanto.

E il punto che cambia il calcolo delle risorse: non stai scaricando un modello, ne stai scaricando due. Chi valuta solo il transformer sottostima lo spazio e la memoria necessari.

Quale versione scaricare

Il repository con i pesi aperti contiene due checkpoint con scopi diversi:

• Klein Base: non distillato, bfloat16, 50 step con guidance 3.5. E la versione per fine-tuning, training di LoRA e ricerca.
• Klein: distillato, bfloat16, 16 step senza guidance. E la versione per generare e modificare, il self-hosting e il checkpoint dietro l'API di Black Forest Labs.

Oltre al transformer in BF16 il repository include le varianti FP8 e NVFP4, l'autoencoder delle immagini e il text encoder Qwen3-VL-4B-Instruct. Le versioni quantizzate riducono lo spazio su disco, ma la dimensione del file non e una misura della memoria GPU che serve davvero.

Licenza e limiti

Il modello esce sotto FLUX Community License. La licenza permette l'uso non commerciale e prevede un'eccezione sul commercial output per gli utenti che rientrano nei criteri previsti (Qualifying Users), sempre nei termini della licenza. Non e una licenza permissiva stile Apache: se il progetto e commerciale, leggerla prima di costruirci sopra e la prima cosa da fare.

Secondo limite, pratico: il repository contiene il pacchetto dei pesi, non un'applicazione pronta. Serve un'implementazione che supporti il flow-map sampling e questo formato di checkpoint. I pacchetti quantizzati richiedono un loader che ne supporti il formato.

Come provarlo

La via piu rapida e il codice di riferimento di Black Forest Labs. Si clona il repository, si installano i pesi e si scaricano i due componenti che la CLI carica oltre al checkpoint: il classificatore NSFW e il prompt upsampler.

pip install -e .

hf download Falconsai/nsfw_image_detection --local-dir weights/nsfw-classifier
hf download black-forest-labs/flux-3-image-klein-pup --local-dir weights/pup

python scripts/cli.py 'A chunky knitted diorama: three white cable-knit icebergs with tiny pale blue houses, a cream banner embroidered "KNITTED ICEBERG VILLAGE", a giant magenta knitted whale tail bursting from a yarn sea' \
  --model distilled --out knitted.png

python scripts/cli.py 'the same scene at night under a knitted full moon, embroidered stars above the peaks' \
  --model distilled --image knitted.png --out knitted_night.png

Nel secondo comando si vede il flusso di editing: riparti dall'immagine appena generata e la modifichi con un nuovo prompt. La stessa sequenza, con l'upsampler caricato accanto, si puo fare via Diffusers passando prompt per la generazione oppure image piu prompt per la modifica.

Fonte: FLUX 3 Image Klein su Hugging Face — pesi aperti, varianti FP8 e NVFP4, text encoder e autoencoder

Fonte: Codice di inferenza di riferimento (GitHub) — CLI, prompt upsampling e formato dei box

Fonte: Prompt upsampler flux-3-image-klein-pup — il modello da 9B che trasforma la richiesta in una didascalia completa

Fonte: FLUX 3 Image Klein Base — il checkpoint non distillato per fine-tuning e LoRA