Google Genie — un modello di intelligenza artificiale generativa che crea mondi completamente interattivi a partire dalle immagini | AI nel business #123

Che cos’è Google Genie?

Google Genie (https://sites.google.com/view/genie-2024/) è un modello mondiale fondamentale sviluppato da DeepMind. È un modello di intelligenza artificiale generativa addestrato su oltre 30.000 ore di filmati di videogiochi platform 2D disponibili pubblicamente. La sua caratteristica principale è la capacità di generare ambienti completamente interattivi e giocabili direttamente da singole immagini, foto e persino schizzi disegnati a mano.

Fonte: Genie: Generative Interactive Environments (https://arxiv.org/abs/2402.15391)

Come è possibile? Genie utilizza una tecnica di apprendimento non supervisionato nel processo di acquisizione della capacità di controllare con precisione l’ambiente basandosi esclusivamente su filmati video. Non è necessaria alcuna etichettatura delle azioni umane. Utilizzando un modulo di codifica delle azioni speciale, cattura cambiamenti sottili tra fotogrammi video successivi e li mappa a rappresentazioni interne del movimento, come saltare o girare a sinistra. Il modello dinamico genera quindi il fotogramma successivo nella sequenza basandosi sulle azioni codificate.

Di conseguenza, Genie può creare ambienti di gioco completamente controllabili e interattivi da qualsiasi dato visivo. Ogni movimento del giocatore genera un nuovo fotogramma unico in tempo reale, creando una sessione di gioco fluida e giocabile. Questa è una grande innovazione che ci consente di creare interi mondi interattivi da immagini o testo.

Perché Genie è innovativo?

L’innovazione di Genie risiede nella combinazione di diversi elementi chiave in un unico modello:

• modelli video generativi, come Phenaki (https://phenaki.video/), TECO (https://wilson1yan.github.io/teco/) o maskvit (https://arxiv.org/abs/2206.11894), che possono prevedere i fotogrammi futuri di una sequenza basandosi su fotogrammi e testo di input, ma non offrono capacità di controllo attivo,
• modelli di mondo che si concentrano sulla previsione degli stati ambientali futuri basati sulle azioni di un agente, ma richiedono dati forniti dagli esseri umani,
• apprendimento non supervisionato, che consente a Genie di apprendere sia le dinamiche ambientali che lo spazio delle azioni solo dai dati video grezzi, senza etichette di azione umane.

Sebbene ciascuna di queste aree sia stata esplorata in precedenza, Genie è il primo modello a combinarle per apprendere ambienti controllabili direttamente dai filmati video. Questo approccio senza precedenti all’insegnamento dei modelli senza supervisione umana è un’innovazione chiave di Genie. Apre la porta all’utilizzo della vasta quantità di video disponibile su Internet come fonte di addestramento per i modelli di intelligenza artificiale e abbatte le barriere associate alla disponibilità limitata di dati etichettati.

La combinazione di modelli video generativi, modelli di mondo e apprendimento non supervisionato in una singola soluzione rappresenta un avanzamento fondamentale nello sviluppo dell’intelligenza artificiale. Genie dimostra che i sistemi di intelligenza artificiale avanzati possono apprendere comportamenti e ambienti complessi direttamente dai dati non strutturati, senza etichettatura manuale. Questo è un passo chiave verso il raggiungimento della vera Intelligenza Artificiale Generale (AGI).

Fonte: Google Genie (https://sites.google.com/view/genie-2024/)

Applicazioni potenziali di Google Genie

Le capacità di Google Genie vanno ben oltre la generazione di videogiochi. Questo modello di intelligenza artificiale pionieristico può trovare applicazioni in molti campi:

• strumento per animatori – basta caricare un’immagine, uno schizzo o una breve descrizione testuale e Genie genererà un’animazione coerente,
• risorsa di addestramento illimitata per agenti AI – con la sua capacità di generalizzare a domini completamente nuovi, Genie offre un’infinita gamma di sfide su cui i futuri sistemi di intelligenza artificiale possono apprendere. La mancanza di ambienti di addestramento diversificati è stata finora uno dei principali ostacoli allo sviluppo di agenti AI generici,
• simulazioni fisiche per la robotica – la ricerca ha dimostrato che Genie è in grado non solo di controllare robot virtuali, ma anche di realizzare le proprietà fisiche di oggetti deformabili. Questo potrebbe avere enormi implicazioni per lo sviluppo della robotica e delle simulazioni fisiche,
• applicazioni nelle industrie creative – Genie può facilitare la creazione di installazioni artistiche interattive, mostre virtuali o film. Basta caricare uno schizzo e il modello genererà un mondo 3D completamente controllabile, pronto per essere esplorato.

Tuttavia, le potenziali sfide e limitazioni di questa tecnologia non devono essere trascurate. Nella fase attuale di sviluppo, Genie funziona meglio in domini ristretti come i giochi platform 2D. L’espansione a ambienti 3D più complessi richiederà ulteriori ricerche e ottimizzazioni. Inoltre, c’è il rischio che questa tecnologia possa essere abusata per creare contenuti dannosi o pericolosi. È quindi fondamentale sviluppare un solido quadro etico e legale per governare lo sviluppo e l’uso di tali modelli di intelligenza artificiale.

Fonte: Google Genie (https://sites.google.com/view/genie-2024/)

Riepilogo

Consentendo la creazione di ambienti completamente interattivi direttamente dai dati visivi, senza la necessità di etichettare manualmente le azioni, Google Genie rappresenta una vera e propria svolta nell’intelligenza artificiale generativa. Questo modello mondiale fondamentale dà il potere di esprimere immagini sotto forma di realtà virtuali giocabili che possono essere esplorate e controllate da un agente umano o AI.

Il potenziale di Genie è enorme – da strumenti per sviluppatori di giochi, a una fonte illimitata di dati di addestramento per l’AI, a simulazioni fisiche per la robotica. È anche un passo importante verso l’AGI. Man mano che modelli come Genie continuano a evolversi, il confine tra i mondi reale e virtuale sta diventando sempre più fluido.

Se ti piace il nostro contenuto, unisciti alla nostra comunità di api laboriose su Facebook, Twitter, LinkedIn, Instagram, YouTube, Pinterest, TikTok.