Ekranizacje komiksów są już od dawna, więc Polacy stworzyli narzędzie, które przerobi film na komiks

{reklama-artykul}Wiele komiksów zostało przeniesionych do filmów. Oczywiście najczęstszym skojarzeniem tutaj są DC Comics oraz Marvel. Ale co gdyby zrobić to na odwrót? Gdybyśmy wzięli jakiś ciekawy film i na jego podstawie stworzyli komiks? Oczywiście są już takie projekty – sam kiedyś spotkałem się z komiksem, na który składały się sceny z Mrocznego widma. Był on jednak bardzo krótki, ciężko nawet nazwać go streszczeniem filmu, a wybór odpowiednich scen i przygotowanie całości na pewno pochłonęły masę pracy. Dzisiaj są do tego lepsze metody.

Comixify: Transform video into a comics. They used a 2-stage approach: (a) frame selection and (b) style transfer. The results look pretty cool!
paper: https://t.co/cYmCk5YosP
web demo: https://t.co/QZq41b2TnN pic.twitter.com/FGcPfsN9u2

— hardmaru (@hardmaru) 12 grudnia 2018

Grupa badaczy z Politechniki Warszawskiej (Maciej Pęśko, Adam Svystun, Paweł Andruszkiewicz oraz Tomasz Trzciński) przygotowała projekt o nazwie Comixify. Jest to narzędzie, które wybiera najlepsze sceny z wideo, które mu prześlemu, a następnie układa je i dopasowuje do ramek. Całość również odpowiednio przerabia graficznie, tworząc prawdziwy komiks. 

 

Algorytm wykorzystuje w tym wypadku Generatywną Sieć Przeciwstawną (GAN) – uczy się on przy użyciu generatora i dyskryminatora. Pierwszy ma na celu tworzenie instancji danych w oparciu o masę dostarczonych informacji. Drugi natomiast dostaje instacje wygenerowane i zaimplementowane – jego zadaniem jest odróżnić czy dana instancja została stworzona czy dostarczona z zasobów generatora. Proces trwa do momentu, w którym generator będzie tworzyć dane tak podobne, że dyskryminator nie poradzi sobie z wyłapywaniem różnic.

Liczba ramek w komiksie jest ograniczona, więc system ma niełatwe zadanie. Musi wychwycić najbardziej istotne momenty i reprezentatywne sceny filmu, aby stworzyć dobrej jakości komiks. Kiedy już wybierze i ułoży sceny, nakłada na całość filtr, który sprawia, że komiks nie wygląda jak zbiór zdjęć, a rysunków. 

Pod tym adresem możecie znaleźć pełny opis działania Comixify, a jeżeli chcecie przetestować narzędzie w boju, możecie to zrobić korzystając z jego webowej wersji demo  dostępnej tutaj. Oto co potrafi zrobić:

Zapewne poznajecie te sceny, prawda?

Źródło: Engadget