captcha image

A password will be e-mailed to you.

Telefon, który działa jak skaner 3D? Takim urządzeniem możesz zeskanować sobie głowę i stworzyć taki trójwymiarowy model, jak ten na zdjęciu. A potem wydrukować to na drukarce 3D albo wykorzystać jako awatar w grze. Technologia, która to umożliwia to fotogrametria.

Ten tekst powstał dzięki wyjątkowym możliwościom, jakie dają testowane przeze mnie nowe telefony Sony Xperia (XZ Premium, XZ1, XZ1 Compact, XZ2, XZ2 Compact). Bo odpowiedni sprzęt, specjalne oprogramowanie i ogromna moc obliczeniowa dały tym smartfonom możliwości, jakie do niedawna miał profesjonalny i strasznie drogi sprzęt.

O co więc chodzi w fotogrametrii? Dzięki niej możliwe staje się zdalne wykonywanie pomiarów sfotografowanych obiektów, ale najciekawsze jest odtwarzanie ich trójwymiarowych kształtów na podstawie zrobionych zdjęć. Dysponując odpowiednio dużą serią nakładających się na siebie obrazów, oprogramowanie może na ich podstawie stworzyć model 3D tego, co zostało sfotografowane.

U podstaw tego procesu leży zasada rzutowania obiektów mówiąca, że wektor promienia rzutującego w przestrzeni obrazowej kamery jest współliniowy z wektorem w przestrzeni przedmiotowej. Pozwala to na znalezienie położenia punktów w przestrzeni, a uzyskanie przestrzenności i głębi jest zasługą wykorzystania sztucznego efektu stereoskopowego i różnicy paralaks podłużnych, punktów fotografowanego obiektu. Tych, których interesują matematyczne podstawy tego procesu, odsyłam do szczegółowego opisu dr Reginy Tokarczyk portalu geoforum.pl, albo do jeszcze głębiej wchodzącego opisu w pracy T. Schenka Introduction to Photogrammetry. Jeśli chcecie dowiedzieć się więcej, to rozwińcie kolejny śródtytuł.

 

Jak działa fotogrametria? Rozwiń i dowiedz się więcej
Przede mną karkołomne zadanie opowiedzenia Wam o fotogrametrii, która nie jest wcale prostym procesem (co możecie przeczytać powyżej, po rozwinięciu plusika) – powinienem to zrobić w taki sposób, abyście nie umarli z nudów. Spróbuję zatem podejść do wyjaśnienia zasad fotogrametrii od innej strony.

Czy wiecie, dlaczego obraz wyświetlany na ekranie domowego telewizora widzimy jako płaski, a ten oglądany w kinie 3D widziany gołym okiem jest rozmazany, za to po założeniu okularów staje się ostry i trójwymiarowy?

Odpowiedź jest prosta*. Kiedy patrzymy na zwykły telewizor, lewe i prawe oko widzi taki sam obraz. Kiedy oglądamy film 3D, specjalne okulary dbają o to, żeby wpuścić do każdego oka przeznaczony dla niego obraz. To, co widzimy w kinie 3D bez okularów, jest niewyraźne, bo na ekranie wyświetlane są naraz dwa płaskie obrazy zarejestrowane dwoma nieznacznie oddalonymi od siebie kamerami. Resztę robi już nasz mózg – dwa osobne obrazy składa w jeden, za to przestrzenny. To dzięki temu widzimy głębię, nie potykamy się, mamy poczucie odległości itd.
Jeśli nie wierzycie, to wykonajcie następujące doświadczenie: unieście prawą dłoń na wysokość głowy, zamknijcie lewe oko i spróbujcie szybko trafić w klawisz H na leżącej przed Wami klawiaturze. Powtórzcie dla drugiego zamkniętego oka, a potem zróbcie to bez żadnych kombinacji.

Teraz przenieśmy się do piątej klasy na lekcję przyrody i przypomnijmy sobie, jak działa soczewka. Nie będę się rozpisywał, bo to przecież wiecie, ale wspomogę się rysunkiem:Dla nas na tym obrazku istotna jest jedna linia – środkowa (zielona), która przechodzi przez środek soczewki i służy do wyznaczenia osi perspektywy. Ta linia ilustruje również, dlaczego obraz na zdjęciu pozbawiony jest informacji o głębi. Optyka jest tutaj nieubłagana i pokazuje, że jednemu punktowi na zdjęciu może odpowiadać wiele innych w rzeczywistym świecie.

Jak pokonać to ograniczenie? Tak jak w kinie 3D! Czyli robiąc przynajmniej dwa zdjęcia tego samego obiektu, ale z innej perspektywy. Dzięki zasadzie, że bez względu na to, skąd zrobimy zdjęcie, wzajemne relacje pomiędzy tym, co na zdjęciu, nie ulegają zmianie, ale „inne spojrzenie” pozwala na zdobycie informacji o głębi.Teraz wystarczy takie dwa zdjęcia wprowadzić do odpowiedniego programu, który znając dane kalibracyjne użytego obiektywu, zamieni je na trójwymiarową scenę. Zanim to jednak nastąpi, aplikacja porówna obydwa zdjęcia i znajdzie kilkadziesiąt kluczowych punktów wspólnych, które pomogą wyznaczyć miejsce, gdzie znajdował się aparat podczas robienia zdjęcia.
Potem następuje dalszy proces wyszukiwania kolejnych punktów wspólnych oraz ich zagęszczanie przez wyznaczenie punktów pochodzących z interpolacji. Tak powstaje bardzo gęsta chmura pojedynczych punktów, które następnie zostają przekształcone w poligonalny szkielet poprzez połączenie odpowiednich wierzchołków. Jeśli wypełnimy ją szarością, to zobaczymy cyfrowy model przetwarzanego obiektu. Wystarczy jeszcze tylko dołożyć teksturę, np. pobraną ze zdjęcia, i gotowe. Zobaczcie, jak to wygląda na tych przykładowych filmach. Jeden pokazuje proces budowania przestrzennego modelu w oparciu o zaledwie dwa zdjęcia, a drugi przykład idzie znacznie, znacznie dalej.

Wróćmy znów do Xperii. Sama technika fotogrametrii nie jest zupełnie nowa, ale w wydaniu Kreatora 3D wszystko odbywa się zdecydowanie prościej. W przeciwieństwie do przykładów pokazanych na filmach (kliknijcie ten plusik…), budowanie modelu głowy czy jakiegokolwiek innego przedmiotu, na smartfonie Sony jest całkowicie zautomatyzowane. Nasza rola ogranicza się do przesuwania telefonu pod dyktando aplikacji i zmieniania perspektywy, tak by zebrać odpowiednią ilość zdjęć do stworzenia modelu. Efekty widoczne na naszych zdjęciach są już całkiem dobre, ale możliwości fotogrametrii idą jeszcze dalej.

Model 3D z jednego zdjęcia

Zrobienie prostego trójwymiarowego modelu, jak widać nie jest już skomplikowane. Nie potrzeba chmury obliczeniowej, superwydajnego komputera, wystarczy tylko mocny telefon i kilka zdjęć. No właśnie kilka… a co by było, gdyby mieć tylko jedno zdjęcie?

Okazuje się, że jest to też możliwe i to na waszych komputerach, a nie w scenariuszu serialu “CSI: Las Vegas”.  Rekonstrukcję twarzy 3D na bazie zwykłego zdjęcia pokazuje poniższy film z 2007 roku. Choć nie ma tutaj dwóch zdjęć, to tak naprawdę są! W programie FaceShop (dziś HeadShop) na płaskim zdjęciu Winstona Churchilla krok po kroku oznaczmy punkty twarzy odpowiadające wcześniej zapisanym kluczowym miejscom twarzy wirtualnego modelu głowy. Kiedy już to zrobimy, to algorytm interpoluje bazowy model do kształtu twarzy Churchilla, a następnie nałoży na niego pobraną ze zdjęcia teksturę.

To działa, ale pewnie każdy zastanawia się, czy nie da się prościej. Da się. Badacze z brytyjskich uczelni University of Nottingham i Kingston University zrobili podobną aplikację, którą w całym procesie kalibracji wspomaga sztuczna inteligencja. Splotową sieć neuronową (CNN) naukowcy nakarmili bazą zdjęć 2D, modeli 3D i skanów głowy, i stworzyli algorytm, który sam wykonuje cały ten pracochłonny proces. Co więcej, może być używany do rekonstrukcji całej trójwymiarowej geometrii twarzy, łącznie z tymi jej częściami, których nie widać. Nie wierzycie? Sami sprawdźcie pod tym linkiem, a tu zapoznajcie się z pracą opisującą cały projekt.Co ciekawe, podobne mechanizmy, jak te opisane powyżej, wykorzystują różne aplikacje, by na nasze twarze nałożyć maski, wąsy czy zamienić nas w zwierzęta. Takie efekty znajdziecie w Snapchacie czy w aplikacjach Aparat na swoim telefonie. W Sony ten tryb nazywa się Efekty AR.

To, co możemy zrobić za pomocą Xperii, to jednak rozrywka. Jednak tak dalece idące uproszczenie całego procesu tworzenia trójwymiarowych modeli jest również interesujące dla lekarzy czy kryminologów.

Naukowcy z Universidade Paulista w São Paulo już w tych prostych metodach widzą narzędzie, które może okazać się przydatne do sporządzania trójwymiarowych modeli głowy pacjentów z urazami twarzoczaszki. Miałyby być one punktem wyjścia do drukowania protez, które wypełniłyby ubytki (tutaj praca, Uwaga! Zamieszczone w niej zdjęcia mogą okazać się dla niektórych osób drastyczne).

A jak ktoś lubi CSI, to warto zobaczyć poniższy film. To koncept, a nie gotowe rozwiązanie, ale pokazuje, co taka technika jak fotogrametria może dać policyjnym technikom.

*Przy objaśnieniu fotogrametrii skorzystałem z pomysłu portalu ADAM Technology Team Blog.

Tekst jest elementem współpracy z firmą Sony Mobile Polska. Partner nie miał wpływu na opinie, które wyrażamy.

Nie ma więcej wpisów