NVIDIA Audio2Face, şirketin açık gerçek vakitli simülasyon platformu Omniverse’de çalışan etkileyici bir araç. Teknoloji, bir ses evrakı ile dahil edilen Digital Mark üç boyutlu karakter modeline şaşırtan derecede yeterli eşleşen animasyonlar uygulama yeteneğine sahip. Teknoloji karakterleri oyun, sinema, gerçek vakitli dijital asistanlar yahut yalnızca cümbüş için canlandırıyor olun, rastgele bir seslendirme modülüne uyacak biçimde bir 3B karakterin animasyonunu sıradanleştirebiliyor. Teknoloji bunu otomatik olarak yapıyor, birden fazla lisanda uygun çalışıyor ve daha fazla detay uygulamanıza müsaade veriyor.
NVIDIA, bunu yapmak için yüz animasyonlarını gerçek vakitli olarak sesle eşleştiren derin bir hudut ağı uyguladı. Programı birinci başlatmış olduğunızda, hudut ağını donanımınız için optimize eden Tensor RT Motoru’nu oluşturmak biraz vakit alabiliyor. Oradan, donanımınız kaldırabildiği sürece değişiklikleri gerçek vakitli olarak gorebiliyorsunuz ve süreç yapabiliyorsunuz.
Ek bir bonus olarak şirketin eğitim web sitesi NVIDIA on Demand, Omniverse ve Audio2Face için fazlaca sayıda görüntü içeriyor. Audio2Face’teki birinci görüntü, Sürecin Unreal Engine 4 üzere öbür araçlara nasıl aktarılacağını dair bile detaylı olarak bilgiler burada mevcut.
Sürecin başarısı kullanılan sesin kalitesine de bağlı üzere gözüküyor. Charlie Chaplin’in sinemadaki sıra dışı derecede ünlü konuşması The Great Dictator bir görüntüde gösteriliyor ve hareketler daha canlı, çağdaş kayıtlarda olduğu kadar net görünmüyor. tıpkı vakitte ses kalitesinin tersine, bu aracın vakit içinde daha yeterli hale geleceğini de rahatlıkla söyleyebiliriz.
NVIDIA, bunu yapmak için yüz animasyonlarını gerçek vakitli olarak sesle eşleştiren derin bir hudut ağı uyguladı. Programı birinci başlatmış olduğunızda, hudut ağını donanımınız için optimize eden Tensor RT Motoru’nu oluşturmak biraz vakit alabiliyor. Oradan, donanımınız kaldırabildiği sürece değişiklikleri gerçek vakitli olarak gorebiliyorsunuz ve süreç yapabiliyorsunuz.
Ek bir bonus olarak şirketin eğitim web sitesi NVIDIA on Demand, Omniverse ve Audio2Face için fazlaca sayıda görüntü içeriyor. Audio2Face’teki birinci görüntü, Sürecin Unreal Engine 4 üzere öbür araçlara nasıl aktarılacağını dair bile detaylı olarak bilgiler burada mevcut.
Sürecin başarısı kullanılan sesin kalitesine de bağlı üzere gözüküyor. Charlie Chaplin’in sinemadaki sıra dışı derecede ünlü konuşması The Great Dictator bir görüntüde gösteriliyor ve hareketler daha canlı, çağdaş kayıtlarda olduğu kadar net görünmüyor. tıpkı vakitte ses kalitesinin tersine, bu aracın vakit içinde daha yeterli hale geleceğini de rahatlıkla söyleyebiliriz.