Allegro: Trasforma il Testo in Video con l’Intelligenza Artificiale Open Source

Ciao a tutti!

Sono Manuel di Geekandhack, e oggi voglio parlarti di Allegro, un modello di intelligenza artificiale open source che ti permette di creare video a partire da semplici frasi. Immagina di digitare una descrizione e vedere prendere vita un video di alta qualità. Fantastico, vero?

Cos’è Allegro?

Allegro è un modello AI sviluppato da Rhymes AI, capace di generare clip video di 6 secondi a 15 fotogrammi al secondo con una risoluzione di 720p, tutto basato su un tuo input testuale. È open source, quindi puoi scaricarlo e utilizzarlo liberamente.

Caratteristiche principali di Allegro

• Open Source: Disponibile con licenza Apache 2.0, puoi accedere al codice e ai pesi del modello.
• Versatilità: Genera una vasta gamma di contenuti, dai primi piani di persone e animali a scene dinamiche.
• Efficienza: Utilizza 9,3 GB di memoria GPU in modalità BF16 con offloading su CPU, rendendolo adatto anche a sistemi con risorse hardware limitate.

Come installare Allegro sul tuo computer

Ecco una guida passo-passo per installare Allegro:

1. Prerequisiti

Assicurati di avere:

• Python 3.10 o superiore
• PyTorch 2.4 o superiore
• CUDA 12.4 o superiore

2. Crea un ambiente virtuale

Ti consiglio di usare Anaconda per creare un nuovo ambiente Python:

conda create -n allegro_env python=3.10
conda activate allegro_env

3. Installa le dipendenze

Installa le librerie necessarie:

pip install torch torchvision

4. Scarica i pesi del modello

Accedi a Hugging Face e scarica i pesi del modello Allegro:

huggingface-cli login
huggingface-cli download rhymes-ai/Allegro -p allegro_model

5. Clona il repository di Allegro

Clona il repository GitHub di Allegro:

git clone https://github.com/rhymes-ai/Allegro.git

6. Esegui l’inferenza

Vai nella directory del repository e usa lo script single_inference.py per generare video:

cd Allegro
python single_inference.py \
  --user_prompt 'Una tigre che corre nella foresta' \
  --save_path ./output_videos/tigre_nella_foresta.mp4 \
  --vae path/to/vae \
  --dit path/to/transformer \
  --text_encoder path/to/text_encoder \
  --tokenizer path/to/tokenizer \
  --guidance_scale 7.5 \
  --num_sampling_steps 100 \
  --seed 42

Considerazioni sulle prestazioni

Durante i miei test, generare un video di 6 secondi con 100 passaggi ha richiesto circa 48 minuti su una GPU A100 80GB. Riducendo il numero di passaggi a 30, il tempo si è ridotto a circa 20 minuti, con una qualità video comunque notevole.

Conclusione

Allegro è uno strumento potente per chi vuole sperimentare la generazione di video basati su testo. Anche se i tempi di generazione possono essere significativi, la qualità dei video prodotti rende questo modello uno strumento prezioso per sviluppatori e creatori di contenuti.

Se vuoi vedere Allegro in azione, ho realizzato un video sul mio canale YouTube dove mostro passo passo come utilizzarlo. Iscriviti al canale per rimanere aggiornato su tutte le novità!

Scritto da Cavallaro Manuel di Geekandhack