Соколов С.М.., Богуславский А.А. Москва, УРАН ИПМ им. М.В. Келдыша РАН

1. система информационного обеспечения задач сближения и стыковки, посадки КА на основе компьютерного видения Соколов С.М.., Богуславский А.А. Москва, УРАН ИПМ им. М.В. Келдыша РАН e-mail:sokolsm@list.ru НТК "Техническое зрение в СУ мобильными объектами" Таруса 16-18 марта 2010

2. система информационного обеспечения задач сближения и стыковки, посадки КА на основе компьютерного видения Введение Алгоритмическое обеспечение Программные технологии Примеры реализации Заключение НТК "Техническое зрение в СУ мобильными объектами" Таруса 16-18 марта 2010

3. Введение Одним из эффективных средств информационного обеспечения при решении навигационных задач в процессах сближения и стыковки, посадки космических аппаратов (КА) является визуальный канал. До последнего времени этот канал использовался в «ручном» режиме, в виде визуальной обратной связи посредством зрительной системы человека в контуре управления КА (например, комплекс ТОРУ на транспортных кораблях и космических станциях). Человеческий фактор привносит в контур управления ряд особенностей, сдерживающих эффективность самого зрительного канала и всей системы управления (СУ) КА в целом. Цель автоматизированного мониторинга Конечная цель программного комплекса для автоматизации визуального мониторинга процессов сближения и стыковки КК и МКС - полная автоматизация визуального контроля стыковки КК и МКС с момента видимости МКС в поле зрения ТВ-камеры КК (приблизительно 150 м) и до полной стыковки КК и МКС На основных этапах сбора и обработки зрительных данных комплекс работает подобно человеку-оператору В дополнение к действиям оператора, комплекс вычисляет и отображает в виде принятом для анализа, количественные параметры, характеризующие относительное движение КК и МКС Возможности многофункциональных расширений. НТК "Техническое зрение в СУ мобильными объектами" Таруса 16-18 марта 2010

4. Алгоритмическое обеспечение • На кадре видеоизображения выбираются несколько характерных точек станции, координаты которых в ее строительной системе координат известны. Координаты этих точек в кадре измерялись – алгоритмами выделения интересующих объектов и формировании их математического описания (геометрических мест точек). • Затем методом наименьших квадратов с использованием формул пересчета координат точек реальной станции в координаты тех же точек на ее изображении в кадре находятся координаты фокуса камеры и ее ориентация в строительной системе координат станции. Функционал метода наименьших квадратом формировался так, чтобы его минимизация по определяемым параметрам позволила наилучшим образом согласовать расчетные и измеренные координаты выбранных точек на видеоизображении. Найденные таким образом координаты фокуса камеры и параметры ее ориентации пересчитывались в параметры положения строительной системы координат корабля относительно строительной системы координат станции. • В результате описанной обработки получается последовательность положений корабля (точнее, последовательность параметров, задающих положение его строительной системы координат) во времени. Интерполяция этой последовательности позволяет рассчитывать положение корабля для любого момента на представляющем интерес отрезке времени, а геометрические модели корабля и станции, позволяют визуализировать это положение. НТК "Техническое зрение в СУ мобильными объектами" Таруса 16-18 марта 2010

5. Алгоритмическое обеспечение Основные составные подсистемы автоматизированного мониторинга Измерительная подсистема Вычислительная подсистема НТК "Техническое зрение в СУ мобильными объектами" Таруса 16-18 марта 2010

6. Измерительная подсистема • Выделение положения областей интереса (ROI)на текущем изображении • Предобработка зрительных данных в области интереса • Выделение (распознавание) образов объектов интереса в ROI • Определение размеров и координат распознанных образов НТК "Техническое зрение в СУ мобильными объектами" Таруса 16-18 марта 2010

7. Выделение положения областей интереса (ROI)на текущем изображении Пример выделения области интереса в поле зрения ТВ-камеры на борту КК a) полное изображение поля зрения камеры на борту КК b) изображение области интереса (ROI) a) b) НТК "Техническое зрение в СУ мобильными объектами" Таруса 16-18 марта 2010

8. Предобработка зрительных данных в области интереса Выделение креста мишени среди кандидатов на основе априорной информации (размеры и относительное расположение перекладин креста).

9. Выделение (распознавание) образов объектов интереса в ROI Пример выделения меток мишени на основании априорной информации об их расположении (a) оценка расположения области интереса для выделения меток (b) грубая оценка радиуса мишени по результатам обработки диаметрально расположенных фрагментов/кандидатов меток (c) кольцеобразная область интереса с метками мишени (d) результаты распознавания меток мишени и уточнённой оценки радиуса мишени b) a) c) d)

10. Измерительная подсистемавыходные данные Измерительная информация, полученная в результате обработки одного телевизионного полукадра кадра, имеет вид: – время привязки полукадра (в секундах от начала видеоклипа); – координаты центра креста (действительные числа); – количество точек на верхней/нижней горизонтальной стороне креста (целое число); – координаты точек на верхней горизонтальной стороне креста (целые числа – координаты точек на нижней горизонтальной стороне креста (целые числа); – координаты точек на левой вертикальной стороне креста и их координаты (целые числа); – координаты точек на правой вертикальной стороне креста (целые числа); – координаты центра окружности мишени и ее радиус (действительные числа); – количество точек на окружности мишени и их координаты (целые числа); – координаты центра внешнего обода станции (окружности) и ее радиус (действительные числа).

11. Вычислительная подсистема Методом наименьших квадратов с использованием формул пересчета координат точек реальной станции в координаты тех же точек на ее изображении в кадре находятся координаты фокуса камеры и ее ориентация в строительной системе координат станции. Функционал метода наименьших квадратом формировался так, чтобы его минимизация по определяемым параметрам позволила наилучшим образом согласовать расчетные и измеренные координаты выбранных точек на видеоизображении. Найденные таким образом координаты фокуса камеры и параметры ее ориентации пересчитывались в параметры положения строительной системы координат корабля относительно строительной системы координат станции. В результате описанной обработки получается последовательность положений корабля (точнее, последовательность параметров, задающих положение его строительной системы координат) во времени. Интерполяция этой последовательности позволяет рассчитывать положение корабля для любого момента на представляющем интерес отрезке времени, а геометрические модели корабля и станции, позволяют визуализировать это положение.

12. ВЫЧИСЛИТЕЛЬНАЯ ПОДСИСТЕМА Определение координат центра перекрестия мишени The cross is supposed to be formed by the orthogonal straight lines , , where the coefficients , and are unknown. They are determined as follows. Processing the digital image results in two sequences of points: the points , …, lie on the first line, the points , …, lie on the second line. Solving the linear problem of least squares on gives the values of the coefficients. Then the cross coordinates are calculated: , .

13. Вычислительная подсистемаопределение движения КК The mathematical model of the spacecraft motion is described by formulas , , , , , . Here is time counted from the beginning of the clip, and are constant coefficients. The measurement data , Where , etc., are processed by portions. Each portion contains about 10 frames (instants ). Its processing is carried out in two stages. At first, the coefficients are determined as the solution of the regression problem , , . Then, the coefficients are determined as the solution of the problem , , . At the processing of the second and subsequent portions of data, the previous estimations of and are taken into account as a priori information about these coefficients.

14. Программные технологии Компонентный каркас для разработки ПрО СТЗ реального времени Структура предлагаемого каркаса Каркас – заготовка приложенияСТЗ для доработки применительно к конкретной задаче. • Наращиваемая среда разработки ПрО СТЗ на языке программирования Си++ • Компоненты: классы и подсистемы Архитектура каркаса основана на применении трех параллельных подсистем: • подсистема ввода зрительных данных • подсистема интерфейса пользователя • подсистема обработки зрительных данных НТК "Техническое зрение в СУ мобильными объектами" Таруса 16-18 марта 2010

15. Компонентный каркас для разработки ПрО СТЗ реального времени Режимы функционирования Координация взаимодействия подсистем – объекты-режимы • Режим настройки: • проверка аппаратной части • проверка обработки изображений • просмотр результатов НТК "Техническое зрение в СУ мобильными объектами" Таруса 16-18 марта 2010

16. Компонентный каркас для разработки ПрО СТЗ реального времени Режимы функционирования Координация взаимодействия подсистем – объекты-режимы • Автоматический режим: • Обработка в реальном времени • Отключение буфера кадра НТК "Техническое зрение в СУ мобильными объектами" Таруса 16-18 марта 2010

17. Примеры реализации • Сближение и стыковка КК «Прогресс» и МКС • Сближение и стыковка КК «ATV»и МКС • Работа с оптическим потоком в Земных условиях НТК "Техническое зрение в СУ мобильными объектами" Таруса 16-18 марта 2010

18. Пример работы комплекса автоматизированного мониторинга НТК "Техническое зрение в СУ мобильными объектами" Таруса 16-18 марта 2010

19. Сравнение результатов определения параметров относительного движения КК и МКС по зрительным данным и традиционно (радиолокация). На верхнем рисунке темным – традиционными методами, розовым - СТЗ; на нижнем: красным – традиционными, черным - СТЗ НТК "Техническое зрение в СУ мобильными объектами" Таруса 16-18 марта 2010

20. Сближение и стыковка КК «ATV»и МКС НТК "Техническое зрение в СУ мобильными объектами" Таруса 16-18 марта 2010

21. Стыковочный узел СО1 НТК "Техническое зрение в СУ мобильными объектами" Таруса 16-18 марта 2010

22. Стыковочный узел ФГБ НТК "Техническое зрение в СУ мобильными объектами" Таруса 16-18 марта 2010

23. модуль ЛНС на основе бесконтактного одометра Домбай 6НТК "Техническое зрение в СУ мобильными объектами" Таруса 16-18 марта 2010 тая Всероссийская научно-практическая конференция ПЕРСПЕКТИВНЫЕ СИСТЕМЫ И ЗАДАЧИ УПРАВЛЕНИЯ Система сама подстраивается под изменяющуюся текстуру подстилающей поверхности для сохранения надёжности результата 23

24. модуль ЛНС на основе бесконтактного одометра Домбай 6—10 апреля 2009 Четвертая Всероссийская научно-практическая конференция ПЕРСПЕКТНТК "Техническое зрение в СУ мобильными объектами" Таруса 16-18 марта 2010 Пример определения траектории движения ТС 24

25. Заключение • Описанные системы используются в настоящее время наземными службами в режиме опытной эксплуатации. Получают необходимую информацию в режиме реального времени. • Все элементы описанной системы и её функциональные возможности продолжают совершенствоваться • Открытая архитектура и компонентные технологии позволяют говорить о возможности формирования многофункционального информационного комплекса на основе системы компьютерного видения НТК "Техническое зрение в СУ мобильными объектами" Таруса 16-18 марта 2010