Każdy, kto choć raz próbował obejrzeć zagraniczny serial z dubbingiem, zna to uczucie konsternacji. Kwestia w wybranym języku już wybrzmiała, tymczasem aktor na ekranie nadal porusza wargami, jakby wypowiadał zupełnie inne słowa. Ten brak synchronizacji potrafi skutecznie wybić z seansu i zepsuć całą przyjemność z oglądania.
Amazon postanowił raz na zawsze wyeliminować ten problem. Platforma Prime Video zaprezentowała rozwiązanie o nazwie visual dubbing. Technologia ta łączy możliwości sztucznej inteligencji z cyfrową obróbką efektów specjalnych (VFX), aby w naturalny sposób dopasować ruch ust bohaterów do nagranej ścieżki dźwiękowej.
Sztuczna inteligencja zmienia mimikę na ekranie. Amazon zapowiada przełom w dubbingu
Nowa technologia nie polega na zastąpieniu ludzkich lektorów przez generatory głosu. Zamiast tego AI skupia się bezpośrednio na obrazie. System analizuje ścieżkę dźwiękową w danym języku i w czasie rzeczywistym koryguje ruch warg oraz mimikę aktorów na ekranie, idealnie synchronizując je z wypowiadanymi słowami.
Rozwiązanie to ma całkowicie zlikwidować efekt „rozjeżdżania się” dźwięku z obrazem, co znacząco zwiększy imersję podczas seansu. Amazon zdecydował, że nowość zadebiutuje w jego popularnym serialu „Maxton Hall”. Pierwsze dwa sezony otrzymują właśnie aktualizację wizualną w wersji angielskiej, natomiast finałowy, trzeci sezon zadebiutuje z wbudowanym systemem już 9 grudnia.
Twórcy wciąż u sterów. Co przyniesie przyszłość?
Amazon uspokaja branżę filmową i podkreśla, że wszelkie modyfikacje wizualne powstają pod ścisłą kontrolą reżyserów oraz producentów. Celem technologii nie jest zniekształcanie gry aktorskiej, lecz wyłącznie wyeliminowanie barier językowych w globalnej dystrybucji.
Kwestia ta budzi spore emocje w Hollywood, gdzie aktorzy od dawna ostrzegają przed niekontrolowanym modyfikowaniem ich wizerunku przez algorytmy. Amazon zapewnia jednak, że sztuczna inteligencja ma jedynie wspomagać przekaz, a nie zastępować ekspresję artystów.
Raf Soltanovich, wiceprezes ds. technologii w Prime Video, zapowiedział już, że po testach na „Maxton Hall” rozwiązanie będzie sukcesywnie wdrażane w kolejnych produkcjach oryginalnych. Jeśli technologia się przyjmie, klasyczny, nienaturalny dubbing może wkrótce stać się jedynie reliktem przeszłości.
Co o tym sądzicie?
Źródło tekstu: Amazon / Zdjęcie otwierające: Unsplash (@boliviainteligente)