Wykorzystując wcześniejsze badania nad technologią znaną jako NeRF (ang. Neural Radiance Field), która pozwala na odtworzenie złożonych scen lub obiektów w 3D przy użyciu ograniczonego zestawu obrazów 2D, oraz fakt, że wszyscy zdrowi dorośli ludzie posiadają soczewki oczu o mniej więcej takim samym kształcie, naukowcy z Uniwersytetu Maryland byli w stanie odtworzyć w trójwymiarze proste sceny na podstawie obrazów uzyskanych z odbić oczu.
Cel, realizacja którego nie była prosta
Aby dokonać powyższego osiągnięcia, naukowcy musieli stawić czoła nie lada wyzwaniom. Przede wszystkim, zwykle trójwymiarowe modele uzyskuje się na podstawie obrazów 2D o wysokiej jakości – na przykład przechwyconych z pomocą aparatu cyfrowego współczesnego smartfonu. Refleksy powstające na powierzchni ludzkich oczu cechują się zaś bardzo niską rozdzielczością i są nałożone na złożone tekstury rogówki oka. Ponadto na ich wygląd wpływa kolor tęczówki oka. Wszystko to sprawia, że wymagają one szeroko zakrojonego przetwarzania, tak aby je odpowiednio oczyścić.
Sprawę dodatkowo komplikuje to, że serie obrazów 2D powstające na powierzchni oczu pochodzą z tego samego miejsca. Poszczególne obrazy różnią się od siebie tylko w niewielkim stopniu. Jakiekolwiek różnice powstają tylko wtedy, jeśli oko się porusza, na przykład wtedy, gdy człowiek się rozgląda. Jeżeli kiedykolwiek próbowałeś wygenerować trójwymiarowy model obiektu lub pomieszczenia z pomocą aparatu w smartfonie i odpowiedniej aplikacji, doskonale wiesz, że obiekt lub pomieszczenie trzeba nagrać z każdej strony, aby jego model 3D był dokładny.
Ze względu na opisane ograniczenia modele 3D wygenerowane jak dotychczas na podstawie odbić powstałych na powierzchni ludzkich oczu mają bardzo niską rozdzielczość i nie są szczegółowe. Niemniej, pewne obiekty można na nich zidentyfikować, tak jak pluszowego psa czy maskotkę Kirby. Takie rezultaty udało się jednak osiągnąć tylko przy optymalnych warunkach – gdy sceny nie zawierały wielu elementów i były oświetlone w przemyślany sposób.
Rozwiązane, którego jeszcze nikt nie zastosuje w praktyce
Kiedy badacze próbowali zastosować swoje podejście w przypadku materiałów wideo, których nie zarejestrowali samo, ale które powstały przy idealnych warunkach oświetleniowych, rezultaty były znacznie gorsze. Na przykład, naukowcy nie zdołali określić, co odbijało się w oczach Miley Cyrus w teledysku do utworu Wrecking Ball. Niewyraźna plama uzyskana na modelu 3D to być może obiektyw aparatu wyglądający zza białej zasłony otaczającej plan zdjęciowy, ale nie ma możliwości, by to potwierdzić.
Metoda badaczy z Uniwersytetu w Maryland jest naprawdę fascynująca. To powiedziawszy, w najbliższej przyszłości raczej nie stanie się ona narzędziem wykorzystywanym przez policyjnych detektywów. Kto wie, może z czasem zostanie ona jednak udoskonalona na tyle, że nawet porucznik Horatio Cane z CSI: Miami byłby zaskoczony.
Źródło: World-From-Eyes.github.io, fot. tyt. World-From-Eyes.github.io