NVIDIA pune la dispoziție în regim open source modelele și SDK-ul Audio2Face, astfel încât orice dezvoltator de jocuri sau aplicații 3D să poată crea și implementa personaje de înaltă fidelitate, cu animații de ultimă generație. De asemenea, NVIDIA publică sub licență open source și framewok-ul de antrenare Audio2Face, permițând oricui să ajusteze și să personalizeze modelele existente pentru propriile nevoi.
NVIDIA Audio2Face accelerează crearea de personaje digitale realiste prin animație facială și lip-sync în timp real, bazate pe inteligență artificială generativă. Audio2Face folosește AI pentru a genera animații faciale realiste pornind de la intrări audio. Analizează elemente acustice precum foneme și intonație pentru a produce un flux de date de animație, care apoi este mapat pe expresiile faciale ale unui personaj. Aceste date pot fi randate offline pentru conținut deja scris sau transmise în timp real pentru personaje dinamice controlate de AI, oferind lip-sync precis și expresii credibile.
Modelul Audio2Face este utilizat pe scară largă în industriile de gaming, media & entertainment și servicii customer service. Numeroși furnizori independenți de software (ISV) și dezvoltatori de jocuri folosesc Audio2Face în aplicațiile lor. Printre studiourile de jocuri se numără Codemasters, GSC Game World, NetEase, Perfect World Games, iar printre ISV se regăsesc Convai, Inworld AI, Reallusion, Streamlabs și UneeQ.
| Pachet |
Utilizare
|
| Audio2Face SDK | Biblioteci și documentație pentru crearea și rularea animațiilor faciale, atât pe dispozitiv, cât și în cloud |
| Autodesk Maya plugin | Plugin de referință (v2.0) cu execuție locală, care permite trimiterea de fișiere audio și obținerea de animații faciale pentru personaje în Maya |
| Unreal Engine 5 plugin | Plugin UE5 (v2.5) pentru UE 5.5 & 5.6, care permite trimiterea de fișiere audio și obținerea de animații faciale pentru personaje în Unreal Engine 5 |
| Audio2Face Training Framework | Framework (v1.0) pentru crearea de modele Audio2Face cu datele proprii |
| Audio2Face Training Sample Data | Exemple de date pentru primii pași in antrenarea framework-ului |
| Audio2Face Models | Modele de regresie (v2.2) și de difuzie (v3.0) pentru generarea sincronizării buzelor (lip-sync) |
| Audio2Emotion Models | Modele de producție (v2.2) și experimentale (v3.0) pentru deducerea stării emoționale din audio |
