captcha image

A password will be e-mailed to you.

Gęsty las, a pomiędzy drzewami pędzi dron. To nie scena z filmu science fiction, ale niewielki quadcopter wyposażony w cyfrowe oczy i sztuczną inteligencję, która sprawiła, że nie roztrzaska się o byle drzewo.

Inteligencja zabawkowego quadcoptera, który kupiłem kiedyś za 80 zł, sprowadza się do wykonania błyskawicznego przewrotu w powietrzu po przytrzymaniu odpowiedniego przycisku. Bardziej zaawansowane drony – choć wciąż „rekreacyjne” – mogą więcej. Są wyposażone w kamerę, nawigację GPS, systemy stabilizacji i kontroli lotu. Potrafią wrócić do miejsca startu, kiedy stracą łączność albo samodzielnie wylądować tuż przed kompletnym wyczerpaniem się baterii. Jednak daleko im do prawdziwej samodzielności. Nie potrafią widzieć i myśleć jak pilot, by ominąć przeszkodę podczas lotu czy nie zawisnąć na drzewie, gdy awaryjnie muszą wylądować.

Rozpoznawaj i unikaj

Dron, by można było powiedzieć o nim, że jest prawdziwie autonomiczny, musi znać odpowiedź na cztery pytania: gdzie się znajduję? Dokąd mam lecieć? Co znajduje się dookoła mnie? Jaka jest odległość od przeszkody?

Odpowiedź na dwa pierwsze pytania jest stosunkowo prosta, jeżeli tylko miniaturowy statek powietrzny wyposażony jest w nawigację GPS i ewentualnie zwiększający precyzję pomiaru wysokości barometr. By odpowiedzieć na dwa pozostałe pytania, trzeba wyposażyć czterowirnikowca w cyfrowe oczy i mózg, czyli samouczącą się sieć neuronową. Problem w tym, że w przeciwieństwie do autonomicznych samochodów, nie ma na nim miejsca na instalację wielu kamer, radarów, lidarów i obsługujących je ciężkich komputerów, nie wspominając już nawet o ich zasilaniu. Dlatego producenci małych dronów wykorzystują w tym celu mniejszy od paznokcia procesor obrazu (Vision Processing Unit – VPU) i podłączoną do niego kamerę lub kamery.Działanie takiego systemu najprościej wytłumaczyć, odnosząc to do nas samych. Pieszy, kierowca czy pilot widzi to, co znajduje się przed nim i wokół niego. Para oczu dzięki widzeniu stereoskopowemu (w tej roli występują kamery) sprawia, że możemy precyzyjnie ocenić odległość od ewentualnej przeszkody. Za wszystkim oczywiście stoi nasz mózg (w dronie będzie to sieć neuronowa), którego rola idzie jeszcze o wiele dalej. W sytuacji krytycznej potrafimy przecież odróżnić mur od sterty siana i tuż przed nieuniknionym zderzeniem odbić kierownicę w stronę tego ostatniego. Tak samo podczas parkowania zignorujemy stertę trawy za bagażnikiem, ale zahamujemy, gdy zobaczymy wystające z drogi słupki.

Maszyna, która widzi jak człowiek

Wprowadzenie autonomii do dronów, które nie kosztują fortuny, zapoczątkowała firma DJI. W 2015 roku wprowadziła przeznaczony dla developerów moduł Guidance – system pięciu kamer stereoskopowych, sprzężonych z czujnikami ultradźwiękowymi (takie możecie mieć w swoim samochodzie) skierowanych w przód, tył, lewo, prawo i w dół. Kamery służą do wykrywania przeszkód z większych odległości, a czujniki ultradźwiękowe pomagają zidentyfikować trudne do wykrycia obiekty, takie jak szkło czy liście drzew. Sztuczne oczy sprzężone z algorytmami pracującymi na platformie sprzętowej wyposażonej w procesor ARM Cortex-A9 pozwalały na wykrywanie i unikanie (wyhamowanie) przeszkód znajdujących się w odległości od 0,2 do 20 metrów przy maksymalnej prędkości do 16 m/s.

Pierwszym dronem, którym można było nie tylko bezpiecznie polatać, ale też  zrobić sobie z jego pomocą selfie, stał się DJI Phantom 4. Tutaj zamiast pięciu czujników zastosowano tylko dwa: patrzący w przód i w dół oraz potrzebujący 1 wata mocy procesor VPU (Vision Processing Unit) Myriad 2 firmy Movidus. I choć Phantom, by skorzystać z jego dobrodziejstw, musi latać nieco wolniej (10 m/s; 13,8 m/s w wersji Pro), to może więcej. Potrafi nie tylko zatrzymać się przed przeszkodą, ale poleci bez naszej pomocy tam, gdzie klikniemy na ekranie kontrolera. Jeśli napotka po drodze drzewo czy górę, to albo je ominie, albo nad nimi przeleci. Wystarczy jedno kliknięcie i dron zacznie śledzić wskazany na ekranie obiekt niczym satelita szpiegowski.

Jest także technologia Intel RealSens 3D, którą możemy spotkać w niektórych komputerach. Tutaj całe serce analizy obrazu przypomina gruby patyczek od lodów. W niewielkim opakowaniu zmieściły się VPU oraz 3 kamery i laser IR, pomagający zmierzyć głębię w trudnych warunkach. Dzięki 300 000 punktom głębokości dostarczanym 60 razy na sekundę analizowane jest otoczenie drona. To, co może sześciosilnikowiec z systemem kamer, można zobaczyć na tym wideo:

System jest też stosowany w komercyjnie dostępnym dronie Typhoon H firmy Yuneec. Dzięki czujnikom RealSens dron nie tylko unika przeszkód (prędkość maksymalna wynosi wtedy 6 m/s), ale potrafi je zapamiętać i ominąć, kiedy w przyszłości na nie natrafi.

Z marsjańskiego łazika wprost do robienia selfie

Innym sposobem na autonomię drona jest wykorzystanie tylko jednej kamery (nawet tej samej, która służy do nagrywania obrazu) i… działającej na smartfonie aplikacji. Takie rozwiązanie oferuje Neurala – firma sfinansowana przez NASA, która zamierza komercyjnie wykorzystać algorytmy stworzone dla łazika Curiosity. Oprogramowanie nie wykorzystuje dedykowanego VPU, a tylko moc obliczeniową naszego telefonu. Wystarczy, że wycelujemy w osobę lub obiekt, który chcemy śledzić, a Neurala Intelligence Engine (NIE) błyskawicznie nauczy się go rozpoznawać za pomocą zwykłej kamery. Od tej pory dron zacznie poruszać się za wybranym celem autonomicznie, a aplikacja dalej będzie się uczyć poprzez porównywanie tego, co widzi, z tym, co zobaczyła w przeszłości. Dron będzie mógł nam zrobić selfie, obleci nas dookoła, czy podąży za nami, kiedy się zaczniemy wspinać na skałach.

Jak na razie ta technologia dostępna jest dla dwóch stosunkowo tanich modeli czterowirnikowców Parrota. Jest też wykorzystywana w stworzonym przez 18-letniego George’a Matusa najszybszym komercyjnie dostępnym minidronie Teal. Może on latać z prędkością do 136 km/h i nie straszny mu wiatr wiejący z prędkością 60 km/h. Dzięki temu, że nad lotem Teala czuwa układ Nvidia Tegra TX1, sieć neuronowa działa już bez udziału telefonu. Choć platforma sprzętowa ma spory potencjał, to sieć neuronowa Neurali jeszcze nie jest w stanie unikać kolizji.

Ten dron poleci nawet w ciemności

O ile unikanie przeszkód nie stwarza zasadniczo problemów na zewnątrz budynków, to w pokoju dron taki jak Phantom 4 jest tylko w stanie zawisnąć w powietrzu. Na tyle pozwalają mu systemy bezpieczeństwa i dopiero przejście na tryb manualny pozwoli nam polatać po mieszkaniu.

Dlatego też bardzo ciekawie zapowiada się projekt startupu Exyn Technologies, który stworzył oprogramowania AI pozwalające dronom bezpiecznie latać w ciasnych pomieszczeniach. Ale to nie wszystko, quadcopter bez dostępu do sygnału GPS, w całkowitej ciemności, w nieznanym wcześniej środowisku potrafi samodzielnie odnaleźć drogę do wskazanego na kontrolerze celu. Unosi się, obraca i zaczyna w czasie rzeczywistym mapować otoczenie. Następnie wybiera optymalną trasę prowadzącą do celu, kiedy pojawi się nowa przeszkoda, np. ktoś stanie w drzwiach, dron zmieni decyzję i poszuka innego wyjścia.

AirSim, czyli pokarm dla sieci neuronowych

Sieci neuronowe uczą się same, ale zanim będziemy mogli z nich skorzystać, inżynierowie muszą je wysłać do cyfrowego przedszkola, by nauczyć podstaw. Jak wiadomo, najlepsza jest nauka przez własne doświadczenie. To niestety wiąże się z ryzykiem uszkodzeń, które będą mieć miejsce, dopóki system nie osiągnie odpowiedniego stanu dojrzałości. Innym problemem w przypadku dronów jest sam poligon ćwiczebny. Projektanci muszą mieć przecież swój kawałek przestrzeni, w której można bezkarnie wpadać na drzewa czy spadać z nieba.
Te problemy dostrzegł Microsoft i stworzył symulator drona. Polatać na nim może każdy – jest za darmo dostępny na platformie GitHub  – ale skorzystać mają z niego projektanci algorytmów, sieci neuronowych i systemów odpowiadających za autonomię UAV.

AirSim zbudowany został na znanym z gier silniku Unreal 4. Komputerowo generowany świat nie tylko wygląda ultrarealistycznie, ale też wiernie oddaje fizykę przedstawionego świata (grawitacja, magnetyzm, warunki atmosferyczne itp.), jak i samego pojazdu. Oznacza to, że na wirtualnego drona działają tam te same siły, które występują w rzeczywistości. Quadcopter ogląda świat swoimi oczami, czyli kamerami. W dokumencie opisującym projekt Aerial Informatics and Robotics Platform, inżynierowie Microsoftu twierdzą, że silnik fizyki do symulacji autonomicznych pojazdów musi działać z częstotliwością 1000 Hz, czyli musi dawać 1000 informacji na sekundę. By to osiągnąć, programiści wykorzystali do analizy kolizji silnik Unreala, który obciąża procesor karty grafiki, a nie serce komputera.

Po co to wszystko

Dron automatycznie robiący selfie czy bezpiecznie podążający za nami to niewątpliwie przydatne funkcje, ale… można się w sumie bez nich obyć. Prace nad autonomią dronów nie są prowadzone tylko dla naszej wygody. Mogą mieć też bardzo ciekawe i praktyczne zastosowania.

Podniebna karetka
Alec Momont stworzył drona–karetkę. Ma to być sposób na jak najszybsze dotarcie do osób, u których doszło do zatrzymania krążenia. Najczęściej pomóc może im tylko resuscytacja i użycie defibrylatora. Niestety w zakorkowanym mieście czas dojazdu karetki może przesądzić o życiu chorego. Stąd pomysł na rozmieszczenie w mieście dronów wyposażonych w zestawy AED (automatyczny defibrylator zewnętrzny), takich jak te znajdujące się w metrze czy galeriach handlowych. W razie wypadku po wykręceniu numeru alarmowego operator automatycznie wyśle na miejsce zdarzenia małego wirnikowca, który po wylądowaniu będzie instruował, co należy zrobić. Latający defibrylator ma dotrzeć na miejsce w ciągu jednej minuty i według autora to rozwiązanie ma podnieść szanse przeżycia z 8 do 80%.

Doręczyciel
Z branżą medyczną związany jest również projekt firmy Matternet, która wraz ze szwajcarską pocztą testowała dostarczanie próbek laboratoryjnych pomiędzy szpitalami. To już nie pomysł, ale zaaprobowane przez nadzór lotniczy rozwiązanie. Dron samodzielnie ląduje, startuje, wybiera trasę i kiedy trzeba, może też zrobić międzylądowanie w stacji serwisowej, by zmienić w niej akumulatory. Jedyne, co trzeba zrobić, to włożyć w niego przesyłkę i baterię.

Matternet korzysta z inteligencji dostarczanej przez chmurę obliczeniową, a nie rozwiązanie zainstalowane na swoim pokładzie. O tym, że jest to bardzo poważne rozwiązanie, świadczą zdublowane systemy nawigacyjne i czujniki (np. wysokościomierz, barometr), i uwalniany automatycznie w przypadku awarii spadochron.

Latająca taksówka
Ten pomysł zdecydowanie wykracza już poza skalę małego drona, ale nie mogliśmy powstrzymać się, by go nie pokazać. W Dubaju już tego lata mają zacząć latać autonomiczne drony-taksówki Ehang 184! Ich zasięg wynosi od 40-50 km, mogą zabrać na pokład jedną osobę i do 100 kg bagażu. Wsiedlibyście, mając świadomość, że baterie wystarczają tylko na 30 minut lotu?

Źródła: producenci oraz informacje zgromadzone m.in. w serwisie Dronelife.com; zdjęcia: DJI

Tekst jest elementem współpracy z firmą Intel. Partner nie miał wpływu na treść ani opinie, które wyrażamy.

Nie ma więcej wpisów