ChatGPT programma l’app AR utilizzando solo il linguaggio naturale

Immagine: Bart Trzynadlowski

L’umanità ha esplorato le profondità della rete neurale ChatGPT di OpenAI dall’inizio di dicembre. Uno sviluppatore ha ottenuto l’intelligenza artificiale del dialogo per sputare codice AR funzionante.

Finestra di dialogo ChatGPT di OpenAI AI è ottimizzato per generare testi e rispondere a domande. Ma i primi test dall’inizio di dicembre hanno mostrato rapidamente che c’è più al sistema di poche frasi ben formulate. Codice di programmazione, per esempio.

ChatARKit – App AR generata da ChatGPT

Lo sviluppatore Bart Trzynadlowski voleva scoprire se poteva utilizzare ChatGPT per sviluppare un’app AR che posizionasse autonomamente oggetti 3D digitali nell’ambiente utilizzando solo comandi vocali. Riconosce anche i comandi vocali utilizzando un modello AI – Whipser di OpenAI – e poi li porta nell’ambiente JavaScript dell’app ChatARKit come prompt AI.

Di conseguenza, ChatGPT seleziona gli oggetti 3D da Sketchfab che corrispondono al comando vocale e li posiziona sul desktop o sul pavimento come richiesto. Se lo chiedi, ChatGPT ridimensiona e ruota anche i modelli 3D. Il sistema AI genera il codice per questo da solo.

Questi sono alcuni esempi di prompt funzionanti secondo Trzynadlowski:

• “Metti un cubo sul piano più vicino.”
• “Metti un cubo rotante sul pavimento.”
• “Metti un’auto sportiva sul tavolo e ruotala di 90 gradi.”
• “Posiziona uno scuolabus sull’aereo più vicino e fallo guidare avanti e indietro lungo la superficie.”

Secondo Trzynadlowski, ChatGPT non funziona in modo affidabile. Per comandi identici, il modello AI genera output molto diversi e inserisce righe di codice JavaScript errate nell’app. Occasionalmente, ChatGPT trasforma le descrizioni degli oggetti in identificatori di codice, il che significa che i modelli 3D non possono più essere recuperati da Sketchfab.

Trzynadlowski fa il suo ChatGPT AR app disponibile gratuitamente come open source su Github.

Genera oggetti 3D in VR con il linguaggio naturale

Per la realtà virtuale, lo sviluppatore Jasmine Roberts ha recentemente dimostrato un’implementazione di Il nuovo 3D AI Point-E di OpenAI: come l’immagine AI DALL-E 2, può generare contenuti basati esclusivamente sull’input di testo. Invece di immagini, tuttavia, Point-E genera nuvole di punti 3D che rappresentano un modello 3D. Per generazione, Point-E richiede solo uno o due minuti su una singola GPU Nvidia V100. La demo di Roberts funziona in tempo reale.

Point-E è un punto di partenza per OpenAI per ulteriori lavori nella sintesi da testo a 3D. Google con DreamFusion o NVIDIA con Magic3D anche i sistemi text-to-3D di recente introduzione, che potrebbero svolgere un ruolo importante nell’ulteriore diffusione dei contenuti 3D – un presupposto fondamentale della tesi del metaverso – nel futuro.

Nota: i link ai negozi online negli articoli possono essere i cosiddetti link di affiliazione. Se acquisti tramite questo link, MIXED riceve una commissione dal fornitore. Per te il prezzo non cambia.