Естественно-интуитивное взаимодействие с компьютером

1. Естественно-интуитивное взаимодействие с компьютером Лекция 1 Обзор применения технологии естественно-интуитивного взаимодействия с компьютером в сферах жизни, основываясь на исследовании пользовательского опыта

2. Содержание лекции • Введение • Приложения для медицинских целей • Воспринимающий компьютинг в образовании • Управление встроенными системами и техникой • Естественно-интуитивное управление мультимедиа • Дополненная реальность • Виртуальные музыкальные инструменты • Естественно-интуитивное управление в играх • Заключение

3. Естественно-интуитивное взаимодействие с компьютером Перстами легкими как сон Моих зениц коснулся он. Отверзлись вещие зеницы, Как у испуганной орлицы. Моих ушей коснулся он, — И их наполнил шум и звон: И внял я неба содроганье, И горний ангелов полет, И гад морских подводный ход, И дольней лозы прозябанье. ... И бога глас ко мне воззвал: «Восстань, пророк, и виждь, и внемли, Исполнись волею моей, И, обходя моря и земли, Глаголом жги сердца людей» А.С. Пушкин «Пророк»

4. Введение • Начиная с интерфейса командной строки (CLI) и перейдя к графическим пользовательским интерфейсам (GUI), в данный момент мы находимся на пороге открытия следующего этапа более естественных интерфейсов, которые основаны на традиционных парадигмах человеческого взаимодействия, таких как осязание, зрение, речь и, самое главное, творчество.

5. Приложения для медицинских целей (1) Система GestSure (http://gestsure.com/) использует усовершенствованные датчики, которые позволяют хирургу получать доступ к изображениям с помощью простых жестов. Находясь рядом с операционным столом, хирург использует простой набор команд-жестов, который позволяет им выполнять все, что и при работе с обычной мышью.

6. Приложения для медицинских целей (2) Jintronix (http://www.jintronix.com/) использует сенсор глубины Kinect и превращает процесс реабилитации жертв инсульта в интересный и менее болезненный процесс. Система отображает последовательность действий и жестов, которые должен совершить пациент, отслеживает и анализирует их, повышая тем самым выносливость пациента и его мобильность.

7. Приложения для медицинских целей (3) В Центре по работе с детьми с аутизмом (штат Вашингтон, США) используется интерактивные камерыдля лечения нарушения моторики двигательного аппарата, выработки специальных навыков и повышения социальной активности детей.

8. Приложения для медицинских целей (4) Небольшое приложение Sit Perfect, присланное в рамках конкурса IntelPerceptualChallenge, отслеживает положение человека за компьютером и сигнализирует о неправильной осанке и близости нахождения к монитору. Ссылка на видео: http://youtu.be/WbBASANEYDg

9. Воспринимающий компьютинг в образовании (1) Дистанционное обучение принимает новый вид при использовании анимированных аватаров. Анимация дистанционного обучения, совместной работы над проектами и общение между классами с помощью аватаров превращает обычные видео-звонки в полностью виртуальную среду. С другой стороны, применив данную возможность в классе, ученик теряет страх выступления перед аудиторией, ведь вместо него может выступать его аватар, а это еще один интересный способ вовлечь ученика в активное обучение. Ссылка на видео: http://youtu.be/-U-pPJsQiMA

10. Воспринимающий компьютинг в образовании (2) Возможности воспринимающего компьютинга позволяют производить сегментацию изображения, за счет камеры глубины. Подобная функция также нашла свое место в дистанционном образовании и онлайн общении. Программный продукт NuvixaStagePresenceпомещает изображение лектора поверх любого презентуемого материала. Такой подход к созданию электронных учебных материалов позволит студентам видеть лектора в процессе дистанционного обучения. Ссылка на видео: http://youtu.be/BmGtKRve7I8

11. Воспринимающий компьютинг в образовании (3) Функции дополненной реальности реализованы в системе AugmentedRealityMagicMirrorforMedicalDataVisualization. Система создает иллюзию рентгеновского снимка части тела в реальном времени. Такая система, например, может бы использована для обучения анатомии. Ссылка на видео: http://youtu.be/Oske0c1sOVE

12. Управление встроенными системами и техникой (1) Управление освещением в помещении, на улице с помощью датчиков, камер уже стало привычным. Происходит обнаружение присутствия человека в той или иной части комнаты, участка улицы и в зависимости от этого включаются или отключаются соответствующие осветительные приборы. Проект Kilight - ссылка на видео: http://youtu.be/zlChtCHcKJw.

13. Управление встроенными системами и техникой (2) Новая технология интеллектуального управления SamsungSmartInteraction позволяет управлять работой телевизора без нажатия кнопок на пульте управления. Используя голосовые команды и жесты, становится возможным включать или выключать телевизор, переключать каналы, открывать и закрывать приложения, работать в Интернете. Интегрированная камера с функцией распознавания лиц запомнит лицо пользователя и даст возможность зайти на портал SmartHub (сервис дополнительных функций) без ввода логина и пароля. Ссылка на видео: http://youtu.be/M3k7gdsavek

14. Управление встроенными системами и техникой (3) Проект GestureCarAudioController, представленный КазукиАриматсу в рамках финального этапа конкурса IntelPerceptualChallenge, позволяет водителю управлять аудио системой автомобиля без каких-либо нажатий, только с помощью жестовых команд. Система состоит из камеры Creativegesturecamera и IntelNUC. Жестовый модуль Intel Perceptual Computing SDK обнаруживает движения рук водителя и управляет аудио системой автомобиля. Ссылка на видео: http://youtu.be/oPxn_71SSG0

15. Управление встроенными системами и техникой (4) Роберт Волтер предложил простой подход к превращению любую плоской поверхности в сенсор, реагирующий на множественные касания. Рабочая поверхность сенсора касания определяется вручную. Самая близкая к поверхности точка в пределах заданного порогового значения считается касанием и может являться курсором. Ссылка на видео: http://youtu.be/4zXtV66cFDY.

16. Управление встроенными системами и техникой (5) Английские студенты из Школы компьютерных наук и электронной инженерии Университета Эссекса разработали модель инвалидного кресла, управляемого движением головы. Программы управляет электрическим мотором по заранее заданным жестам. Ссылка на видео: http://youtu.be/sD-bKbDUvik.

17. Управление встроенными системами и техникой (6) В рамках конкурса Intel Perceptual Challenge было разработано приложение для управления роботом. Управление может работать в нескольких режимах: голосовое управление – робот реагирует на простые голосовые команды, может следовать за человеком, распознавая его присутствие в видеопотоке, объезжать препятствия, реагировать на жесты и отвечать на несложные вопросы. Для реализации проекта использовалась Creative Interactive Gesture Camera и Intel Perceptual Computing SDK. Ссылка на видео: http://youtu.be/f83ZZ0kfU-Y.

18. Естественно-интуитивное управление мультимедиа (1) Приложение NoTouchWindowControlразработано для управлениями окнами в ОС Windows. С помощью стандартных жестов из Intel Perceptual Computing SDK, пользователь может перемещать открытые окна, менять их размер, сворачивать и восстанавливать окна. Также в приложение реагирует на простые голосовые команды. Ссылка на видео: http://youtu.be/_vzkS_t75fc в рамках проекта Intel Perceptual Challenge.

19. Естественно-интуитивное управление мультимедиа (2) В рамках конкурса Intel Perceptual Challenge было разработано приложение PerceptualHelper, которое позволяет назначать жестовые команды для выполнения действий по управлению мультимедиа в операционной системе. Разработчики заявляют, что в следующей версии функционал приложения будет расширен голосовыми и мимическими командами. Ссылка на видео: http://youtu.be/YWnQppEZSiE .

20. Естественно-интуитивное управление мультимедиа (3) • В рамках конкурса Intel Perceptual Challenge было разработано • приложение PerceptualGalleryдля навигации в фотоальбоме при помощи жестов. С помощью жестовых команд пользователь может перемещаться между папками с фото, переключать фотографии, вращать фото и запускать слайд шоу. Ссылка на видео: http://youtu.be/5bdSKaP0AnM • приложение GoogleEarthControllerдля виртуальных путешествий в любую точку мира, с помощью него можно просматривать фотоснимки городов и зданий при помощи жестового управления. Ссылка на видео: http://youtu.be/QhjbTqc253o • .

21. Дополненная реальность (1) Система Beamatronиспользует интерактивную камеру для отслеживания объектов в видеопотоке и проектор для создания ощущения взаимодействия виртуального объекта с реальным миром. В демонстрации видео (Ссылка на видео: http://youtu.be/L9yccRm3Zu8), главный научный сотрудник Энди Уилсон показывает, как виртуальная машинка на пульте дистанционного управления сталкивается с реальными препятствиями. Расстояние до проектора компенсируется и, заехав на некоторое возвышение, размеры машинки остаются неизменными.

22. Дополненная реальность (2) TryLiveEyewear от компании Total Immersion, чье программное обеспечение входит в состав Intel Perceptual Computing SDK, работает как виртуальная примерочная, позволяя онлайн-покупателям просмотреть весь ассортимент оправ и в реальном времени подобрать себе подходящую (http://www.trylive.com/).

23. Виртуальные музыкальные инструменты(1) Можно сказать, что мы стоим на пороге революции в области музыкальной индустрии. Джонатан Хаммонд из Великобритании работает над диджейской станцией, где все управление музыкой и звуковыми эффектами происходит при помощи жестов. В его проекте в качестве технического обеспечения взята технология захвата движения Leap Motion. Следующее видео демонстрирует невероятные возможности человеко-машинного взаимодействия (http://vimeo.com/76066715).

24. Виртуальные музыкальные инструменты(2) Возможности Intel Perceptual Computing SDK демонстрируются в приложении DigitalPiano. Нажатие клавиш виртуальных музыкальных инструментов происходит за счет отслеживания кончиков пальцев, а смена музыкального инструмента производиться голосом. Ссылка на видео: http://youtu.be/yuMeKyhRpio

25. Естественно-интуитивное управление в играх(1) Современный мир невозможно представить без игровой индустрии. Примерно 30% времени, проведенного за компьютером, современный человек проводит в играх. Очевидны возможности применения идей естественно-интуитивного взаимодействия в компьютерных играх. Напрашивается реализация жестового или голосового управления действующими игровыми персонажами, а также возможность манипуляции игровыми объектами с помощью жестов или голосовых команд.

26. Естественно-интуитивное управление в играх(2) Часто можно наблюдать ребенка, изображающего машину и управляющего ею с помощью воображаемого руля. Существуют решения, позволяющие управлять движущимися на экране объектами с помощью жестов. Управление автомобилем: https://www.youtube.com/watch?v=4ODA2uWe7yQ. Управление самолетом: https://www.youtube.com/watch?v=KPE332rX5Yc.

27. Естественно-интуитивное управление в играх(3) Часто встречаются игры, в которых реализуется уход и взаимодействие с виртуальным домашним животным, когда-то все начиналось с тамагочи. Пример приложения, реализующего уход за виртуальным животным с использованием идей естественно-интуитивного взаимодействия: https://www.youtube.com/watch?v=71WHObUzRaQ. Жестовое управление марионеткой: https://www.youtube.com/watch?v=LCWPv67uhxE.

28. Естественно-интуитивное управление в играх(4) Можно предположить, что использование идей естественно-интуитивного взаимодействия является будущим индустрии компьютерных игр. Ссылка на видео: https://www.youtube.com/watch?v=1edFLuMvyOs

29. Выводы Реализация функций естественно-интуитивного взаимодействия в интерактивных приложениях позволит: • Отражать реальность, а не создавать копию реальности; • Буквально, а не абстрактно отображать объекты реального мира; • Создавать приложения интуитивно понятными; • Создавать надежные приложения; • Расширять функционал интерактивных приложений.

30. Заключение С развитием технологий обработки речи, изображений и видео, взаимодействие человека с компьютером выходит на новый этап. В последние годы человеко-компьютерное взаимодействие было расширено и конечной целью является то, что связь между людьми и машинами должна стать похожа на коммуникацию человека с человеком.