Разведывательный полет

Видео советую смотреть в разрешении 720p или 1080p

Беспилотная тема выходит из лаборатории на свежий воздух. В результате кооперации с энтузиастами летающих моделей состоялся летный эксперимент – своего рода разведка боем. Он преследовал сразу несколько целей:

  • получение качественного видео, имитирующего взлетно – посадочную полосу (ВПП) с расположенными на ней маркерами. В качестве ВПП была отснята автострада;
  • проход над “ВПП” под различными углами, высотами и имитация захода на посадку;
  • получение данные телеметрии и создание подсистема их визуализации в реальном времени.

Все это – для дальнейшей обработки автопилотом оптической посадки, что и является основной целью данного проекта.

Результаты обработки эксперимента были сведены в два клипа длительностью около одной минуты. На первом клипе – данные с камеры, на втором – показания приборной панели, полученные по результатам телеметрии. Клипы были синхронизированы по времени, насколько это возможно.

Итак, рассказываю про эксперимент, что и как )

Борт

В качестве беспилотника взяли имеющийся в наличии Phantom 4. Это квадрокоптер, которому автоматическая посадка особо не нужна. Но мы все равно решили полетать на нем, чтобы иметь возможность сделать несколько проходов и обеспечить качество картинки. Фантом управлялся с отдельного пульта, к которому был подключен планшет Samsung/Android.

Когда дело дойдет до автоматической посадки, будем облетывать свое. Например это:

IMAG3305

Иди даже вот это:

IMAG3306

Энтузиасты свое дело знают!

Камера

На Фантоме установлена камера Go Pro с разрешением HD. Камера стабилизирована на карданном подвесе, есть возможность управления углом наклона. Мы выставили около 30° вниз, чтобы лучше было видно дорогу с маркерами.

Видео с камеры идет на экран приложения планшета, и также записывается приложением в формате mp4 целым файлом. Видео также записывается на SD карту которая вставляется в квадрокоптер, на карте я обнаружил несколько MOV файлов с размером около 2 Гб каждый.

Тут возникла первая проблема: частота фреймов Go Pro – 120 кадров в секунду, мои кодеки на Ubuntu неправильно определяли ее (как 30 fps) и соответственно попытка понизить frame rate до 30 кадров в секунду не увенчалась успехом. Потом я нашел другой способ: в видеоредакторе kdenlive использовал фильтр, который понижает скорость воспроизведения в четыре раза. В конечном счете, я просто взял mp4 файл который записался в планшете и работал с ним.

Вторая проблема касается синхронизации видео и телеметрии. В определенный момент соответствие картинки и данных компаса и высотомера расходились. Я предполагаю, что оператор Фантома не включал соответствующие режимы записи видео или телеметрии на некоторых взлетах/посадках. Это предположение основывается на том, что суммарная длительность видео и время лога телеметрии различались в полтора раза. Этот вопрос предстоит изучить более детально.

Софт

На планшет я установил приложение DJI Go, в котором можно получать изображение с камеры квадрокоптера. Покопавшись в файловой системе,  нашел лог телеметрии. Его формат неизвестен, но есть возможность перекодировки в csv. Для парсинга лога я воспользовался сервисом сайта healthydrones.com.

Были оставлены только данные, которые представляют интерес: координаты в виде широта/долгота, данные компаса, высоты, угол наклона камеры и метки времени. Лог выглядел примерно так:

Лог телеметрии БПЛА

Как я уже говорил, в определенный момент произошла рассинхронизация лога телеметрии и видео. Поэтому клип в начале статьи имеет небольшую продолжительность, когда эти данные соответствуют друг другу.

Для обработки лога и визуализации полета “по приборам” было написано Qt приложение, которое разбирало лог синхронно с временными метками и отображало информацию на “приборах” кокпита. В качестве таких приборов были применены замечательные виджеты QFlightInstruments.

Индикация организована следующим образом. Данные высоты не калибровались. Они отображаются на отдельном индикаторе и на комбинированном индикаторе авиагоризонта.

Поскольку камера стабилизирована, горизонт показывает фактически не положение квадракоптера, а угол наклона камеры.  На авиагоризонте также отображается компас, и он дублируется на отдельном индикаторе.

Фиолетовые линии крест – накрест используются нестандартным образом. На них я вывел информацию о местоположении относительно точки взлета. В процессе полета видно, как меняется позиционирование квадрокоптера по широте и долготе.

В правом верхнем углу – отметка даты и времени.

На панели есть еще один индикатор, который пока не используется. На него будет выводится посадочная информация – отклонение БПЛА от глиссады. Это позволит оператору вести посадку как в ручном режиме, так и контролировать посадочный автопилот.

ToDo

Дальше – прогон видео через алгоритм распознавания изображений, в том числе маркеров ВПП, и через трекер. Предстоит выбрать аппаратную платформу, которая будет летать на борту, и набор сенсоров. И конечно сделать соответствующую авиамодель, которая сейчас находится в работе.

Leave a Reply

You can use these HTML tags

<a href="" title=""> <abbr title=""> <acronym title=""> <b> <blockquote cite=""> <cite> <code class="" title="" data-url=""> <del datetime=""> <em> <i> <q cite=""> <s> <strike> <strong> <pre class="" title="" data-url=""> <span class="" title="" data-url="">