Być może spotkaliście się ze terminem trackingu już wcześniej, może dopiero w naszej ofercie. Jeśli nie wiecie co oznacza to słowo, spieszymy z wyjaśnieniem – nie ma ono nic wspólnego z układaniem torów (ang. track – tory, ścieżka)! W najszerszym znaczeniu termin ten oznacza śledzenie ruchu jaki odbywa się w nagraniu video i zapisywanie informacji o tym ruchu.
Po co nam takie informacje? Zastosowań jest wiele, ale wszystkie sprowadzają się do jednej idei – nadania ruchu obiektom/warstwom, które dodajemy do obrazu. Dzięki temu wydają się one spójne z obrazem w sensie ruchu/perspektywy. Dopiero po spełnieniu tego warunku możemy zająć się compositingiem, by ostatecznie uwiarygodnić nasze filmowe „oszustwa”.
Wyróżniamy 3 rodzaje trackingu:
Tracking 2D
Polega na śledzeniu punktu/grupy punktów na płaszczyźnie obrazu takiej, jak ją widzimy. Zwykle najlepiej „zaczepić” się o charakterystyczny punkt obrazu – świecącą w oddali latarnię na tle ciemnego nieba, punktowe zabrudzenie na stole, pieprzyk na twarzy bohatera, narożnik jakiegoś obiektu odcinający się od tła barwą lub jasnością.
Tracker zapisuje informacje o przesunięciu punktu/grupy punktów z klatki na klatkę w dwóch osiach kartezjańskich (X,Y). Możliwe jest także śledzenie 2 punktów lub ich grup w celu określenia rotacji i wielkości, która wynika ze zmiany odległości tychże punktów kontrolnych.
Zastosowanie: Tracking 2D ma zastosowanie wszędzie tam, gdzie nieistotna jest perspektywa. Dotyczy to w szczególności ujęć z niewielkim ruchem, gdzie kamera nie przemieszcza się w przestrzeni względem trackowanej płaszczyzny. Najlepiej sprawdza się przy obiektywach standardowych i długich, dla obiektów znajdujących się w oddali.
W prostych słowach: Dzięki trackingowi 2D możesz:
-podmienić/usunąć napis lub obraz na płaskiej powierzchni takiej jak ściana czy tablica reklamowa.
-dodać flary i prześwietlenia w obrazie
-wystabilizować obraz z kamery stacjonarnej, ale niestabilnej
Tracking planarny
Polega na śledzeniu wybranej płaszczyzny obrazu o dowolnym kształcie. Daje to efekty pozornie zbliżone do trackingu 2D ze śledzeniem dwóch punktów, ale daje więcej możliwości i działa na innej zasadzie. Ponieważ trackowane są nie 2 punkty a cała wybrana powierzchnia (musi być bezwarunkowo płaska), dostajemy dodatkowe informacje o perspektywie (w ograniczonym zakresie) oraz skrzywieniach rombowatych obrazu. Ta ostatnia informacja jest szczególnie ważna przy filmowaniu kamerami z matrycami CMOS – dotyczy to nie tylko lustrzanek, ale także takich kamer jak RED Epic, RED Scarlet czy Arri Alexa – wada kamer o której mowa, w branży nazywana jest Rolling Shutter Effect.
Informacje o przesunięciach, obrotach we wszystkich 3 osiach X,Y,Z i skrzywieniach rombowatych najlepiej generowane są na podstawie powierzchni niejednolitej, chropowatej, z napisami lub własną wyrazistą fakturą. Oczywiście sam fakt chropowatości nie wystarczy – chropowatość musi być wyraźnie widoczna w zarejestrowanym obrazie.
Zastosowanie: Tracking planarny sprawdza się w sytuacjach, kiedy potrzebujemy większej dokładności niż w przypadku trackingu 2D oraz kiedy kamera porusza się względem trackowanego obiektu. Ruch ten podlega pewnym ograniczeniom – są one zależne od śledzonej płaszczyzny i spełnione muszą być 2 warunki. Po pierwsze, płaszczyzna musi być stale widoczna w kadrze (dopuszczalne są częściowe zasłonięcia, np. przez przechodzącego bohatera). Po drugie płaszczyzna nie może podlegać drastycznym przekształceniom obrotowym (w osiach X,Y) – tracker lubi się gubić w takich sytuacjach.
W prostych słowach: Dzięki trackingowi planarnemu możesz:
-podmieniać płaszczyzny obrazu w ujęciach z ruchomą kamerą
-wstawiać/zmieniać obraz na ekranach i monitorach
-zmienić treść książki czytanej przez bohatera
-wstawić logo firmy na ścianie/drzwiach samochodu
-dodać/usunąć napis lub grafikę na szybie
-wystabilizować obraz posiadający zniekształcenia rombowate
Pewnym szczególnym zastosowaniem trackingu planarnego są systemy eyetrackingowe, pozwalające na śledzenie ruchu gałek ocznych. Informacje te są potrzebne do analizowania skuteczności stron internetowych, badania percepcji i psychologii wzroku, do wyświetlania informacji HUD w samolotach wojskowych i cywilnych.
Tracking 3D
Śledzi wybrane w sposób automatyczny lub przez użytkownika punkty znajdujące się w różnych płaszczyznach obrazu. Na podstawie relacji ich ruchu (np. punkty znajdujące się bliżej kamery przesuwają sie szybciej, niż te w oddali) komputer odtwarza ścieżkę ruchu, który kamera wykonała w trakcie ujęcia. Dostajemy więc komplet informacji o obrazie. Translacje i rotacje kamery w przestrzeni, zmiany ogniskowej, dystorsje obiektywu oraz skrzywienia rombowate.
Zasada „zaczepiania” się jest taka sama co w przypadku Trackingu 2D jak i planarnego – analiza 3D wykorzystuje obie te metody. Konieczne jest jedynie wybieranie punktów z płaszczyzn znajdujących się na różnych głębokościach obrazu, dla jak najwierniejszego oddania perspektywy.
Zastosowanie: Ten rodzaj trackingu daje pełną swobodę w sprawie ruchu kamery. Może ona doolnie obracać się, przemieszczać, zmieniać przestrzeń w której się porusza. Zebrany komplet informacji wraz ze stworzonym poglądowym środowiskiem (w formie chmury punktów) pozwala lokalizować w nagranym obrazie obiekty 3D. Przy odpowiednim ich oświetleniu i dobrym compositingu będą sprawiały wrażenie, jakby rzeczywiście znajdowały się przed kamerą i zostały zwyczajnie zarejestrowane. Tą metodą wykonano większość efektów specjalnych w takich filmach jak Władca Pierścieni, Transformers, Matrix
W prostych słowach: Tracking 3D daje Ci możliwość:
-wstawiania obiektów 3D do nagranego obrazu video (ktory jest 2D) przy zachowaniu pełnej spójności obu elementów.
Tylko tyle. I aż tyle.
Skoro Tracking 3D daje takie możliwości, to dlaczego nie korzysta się wyłącznie z niego? Z prostej przyczyny – nie zawsze jest potrzebny, a czas oszczedzony dzięki wybraniu prostszej metody pozwala na obniżene kosztów!
Motion Capture
Nie jest to typowy tracking obrazu wideo, ale w pewien sposób to technologia silnie powiązana i korzystająca ze zdobyczy trackingu. Służy ona do zapisywania danych o ruchu postaci (człowieka/zwierzęcia) do komputera. Aktor ubierany jest w czarny kostium z przyczepionymi markerami (lub jak kto woli – małymi piłeczkami pokrytymi materiałem odblaskowym), które śledzone są przez zespół kamer. Dzięki rejestrowaniu tego samego punktu z różnych punktów widzenia, można określić precyzyjnie położenie każdego z punktów w przestrzeni oraz ich relację względem siebie – jest to więc tracking 2-D dla każdej z kamer, które po zsumowaniu różnych perspektyw dają tracking 3D. Aktor może poruszać się swobodnie w przestrzeni zakreślonej przez wspólne pole widzenia kamer, a jego ruch zapisywany jest do komputera.
Zastosowanie: Motion Capture (w skrócie MoCap) pozwala na zapisanie ruchu postaci, a następnie podpięcie pod nagrany ruch dowolnego modelu 3D. Tym sposobem np. po założeniu obciążników na ciało grającego aktora, możemy uzyskać wiarygodny ruch masywnej postaci, choćby nawet i aktor był bardzo drobnej budowy. Nałożony nań model 3D będzie poruszać się w sposób wiarygodny.
W prostych słowach: Motion Capture daje Ci możliwość:
-nagrania ruchów postaci, w celu uniknięcia tworzenia ich animacji od podstaw
-uzyskania wiarygodności ruchów animowanej postaci
-łatwej interakcji między postaciami 3D
-zachowania realistycznej fizyki upadków, walk, skoków itd…
MoCap jest dziś powszechnie stosowany w grach komputerowych, oraz filmach wykorzystujących postacie CGI.
Czy to wszystko?
Tracking to skomplikowany proces, którego omówienie zajęłoby całkiem pokaźne tomiszcze. Najwięcej jednak przychodzi wraz z praktyką. Niektóre ujęcia wymagają nagrania dodatkowych trackerów (płaszczyzn/obiektów wspomagających proces trackowania, usuwanych później w procesie postprodukcji), w zalezności od ruchu stosuje się różne czasy migawki, a nawet dla trackingu 3D istnieją ograniczenia co do ruchu, a w zasadzie jego szybkości. Pojawiają się problemy z dystorsjami obiektywów, zmianą oświetlenia w trakcie ujęcia. Można szukać o tym informacji, testować, uczyć się…albo postanowić zrobić to właściwie i bezstresowo, czyli zlecić to nam!