Документы и мультимедиа

1. Документы и мультимедиа Баркан Георгий gbarkan@microsoft.com

2. Электронные документы: от экрана до принтера XPS —XML Paper Specification

3. Документы сбогатымоформлением Системыдокументо-оборота «Умные» устройства

4. XPS: «Электронная бумага» • XML Paper Specification • Точно отражает содержимое бумажной страницы • В точности WYSIWYG • Не изменяется — архивная копия документа • Содержит все необходимые ресурсы • Безопасность • Отображение на разных платформах

5. Структура документа XPS Требуемые илирекомендуемыефрагменты Package Parts Core Properties Thumbnail Необязательныефрагменты X509 Cert Signature Signature Origin Ресурсы Отношения Fixed Payload Parts FixedDocumentSequence XPS Package Relationships DocumentStructure FixedDocument Thumbnail FixedPage Font Fonts & Images FixedPage Thumbnail

6. OPC —Open Packaging Conventions • Открытый стандарт на файлы-контейнеры • Часть Office Open XML стандарта ECMA • Есть API для работы • Подходит для построения своих собственных форматов, так и для расширения существующих

7. Структура и отношения • Реляционная структура — можно работать с частями контента без чтения содержимого • Легко ориентироваться в контенте— тип MIME • Для описания отношений не нужна схема • Ссылочная целостность — можно использовать ID отношения для ссылки

8. Безопасность • Можно подписывать как фрагменты, так и отношения • Аутентификация и валидация с помощью подписи • API поддерживает шифрацию и защиту с помощью Windows Rights Management

9. Документы с богатым оформлением • Элементы • Canvas • Glyphs • Paths • Кисти: Image, solid, gradients • Форматы изображений: PNG, TIFF, JPEG, HD Photo • Расширенная цветовая модель • Прозрачность • sRGB, scRGB,profiled CMYK, named, and N-channel

10. Windows Vista и .NET

11. Windows 7

12. Печать XPS Print API

13. Что делать? • Если используется Win32 —подWindows 7можно применять новые API • Объектная модель XPS • XPS PrintAPI • Если используется .NET • WPF и поддержка XPS

14. Usability превыше всего! Multi-Touch

15. Touch сценарии • Используем Интернет • Разбираем почту • Просматриваем фото • Играем в незамысловатые игры • Слушаем музыку и смотрим видео • Перебираем файлы • Располагаем окна поудобнее • Используем офисные приложения

16. Планы развития Touch платформы Windows 7 Release NET 4.0 / Surface 2.0 Release Native Win32 Application WinFormsApplication WPF Application Surface Application Surface SDK 1.0 Surface SDK 2.0 Multi-Touch Controls Surface Multi-Touch Controls & API Multi-Touch API WPF 3.5 SP1 WPF 4.0 Managed Wrapper and Interop WPF 3.5 Managed Wrapper and Interop Multi-Touch API and Controls Surface Hardware Windows Vista Surface Hardware Windows 7 Windows 7 Multi-Touch API

17. Multi-Touch в .NET • Для WPF: • 3.5 update примерно вместе с выходом Windows 7 • Multi-touch, жесты • 4.0 release • Multi-touch с новыми элементами управления • ДляWinForms (3.5 update): • Interop to native Win32 APIs • Использовать обертки

18. Что будет в WPF • Все для UIElement & UIElement3D • События Touch • TouchDown, TouchMove, TouchUp • TouchEnter, TouchLeave • Multi-Capture • Жесты • TouchGestureStarted, TouchGestureChanged, TouchGestureEnded • Инерция • Включаем на событии TouchGestureStarted • Дальнейшие события TouchGestureChanged

19. На чем это работает? • Железо, доступное уже сейчас: • HP TouchSmart 2 • Dell Latitude XT

20. 3 уровня интеграции • Минимальная: Touch API не используется, пользовательский интерфейс имеет достаточные размеры и хорошо работает со стандартными жестами • Стандартная: Поддержка API жестов для более естественного взаимодействия • Улучшенная: Поддержка множественных касаний, глубокая интеграция, специально спроектированные взаимодействия

21. 3 уровня интеграции

22. Что делать? • Обеспечить минимальный уровень интеграции • Guideline:http://msdn.microsoft.com/en-us/library/cc872774.aspx • Дальше действовать исходя из реальных сценариев

23. Direct2D и DirectWrite Графика

24. Высокий DPI Обрезанный текст Размеры картинок и расположение элементов Расположение элементов Размытые картинки Неправильные размеры шрифтов Размытый текст

25. Виртуализация DPI • Появилась в Vista • Применяется для приложений, которые не указали явно DPI awareness • Через манифест или вызовSetProcessDPIAware() • Подсистема Win32 возвращает метрики как будто установлен 96 DPI (вызовы GetSystemMetrics(), GetDeviceCaps, DEFAULT_GUI_FONT, и т. п.) • DWM масштабирует окно приложения • DPI Virtualization — это временное решение

26. Графическая платформа Windows 7 WIC Direct2D DWM Direct Write DXVA Direct3D 11 Direct3D 10 GDI+ DXGI Direct3D9 USER GDI Win32K DXGKernel Windows 7 Windows Vista

31. Архитектура Direct2D Приложение Приложение Direct2D Direct3D Программный рендеринг DXGI

32. Обзор Direct2D • Высокопроизводительная и высококачественная подсистема рендеринга графики • Аппаратный или программный рендеринг • Использует Direct3D • Работает на старых DX9 картах(10Level9) • Может использоваться для рендеринга на сервере (работает в сессии 0) • 2D векторная графика, картинки и текст

33. Direct2D API • Координаты не зависящие от DPI • Значения с плавающей точкой • ЕдиницыDIPS (DPI-independent pixels) • 1 DIP при 96 DPI — это один пиксел • Аффинные преобразования • Три основных категории объектов • «Устройства» вывода (HWND, HDC, Direct3D) • Стандартные ресурсы • Геометрические фигуры • Ресурсы, зависящие от устройства вывода • Кисти, картинки

34. Архитектура DirectWrite Приложение DirectWrite Graphics API Text Layout API Font System Font Rasterizer Script Processor

35. Обзор DirectWrite • Работает с любой технологией рендеринга • GDI, Direct2D, Direct3D • Аппаратное ускорение при работе через Direct2D • ClearType фильтрация и блендинг выполняются в «железе» • Уменьшается загрузка CPU при прорисовке элементов шрифтов

36. Поддержка OpenType

37. Типы письменностей

38. Размещение текста • Субпиксельное размещение символов • Точнее выдерживается межсимвольное расстояние • Более гладкий скроллинг и вращение текста

39. ClearType и Direct2D Сглаживание текста в вертикальном направлении с помощью блендинга

40. Что делать? • Если используется Win32 —подWindows 7 переходить на Direct2D и DirectWrite для повышения качества графики и текста • Если используется .NET — WPF

41. Фокус на коммуникационных приложениях Аудио

42. Аудио в Windows Vista • Первая существенная ревизия начиная с Windows 98 • Большая часть кода аудио-стека перенесена из режима ядра в пользовательский режим • Появились регулировки громкости по приложениям

43. Архитектура аудио-подсистемы DirectSound WINMM Media Foundation PlaySound SWMIDI Mixer API WAVE API WASAPI MMDeviceAPI DeviceTopology Endpoint Volume Audio Client Policy Engine Audio Engine Audio Driver

44. Роли аудио-устройств • Устройство по умолчанию — этого мало • Пока введена одна стандартная роль • eCommunications • Можно создавать свои роли • OEM’ы могут конфигурировать логику по определению ролей • Положение разъема • Сигналы с разъемов

45. Автоматическое приглушение аудио • Когда используется устройство с ролью eCommunications, другие аудио-потоки приглушаются • Также есть нотификация для приложений • Возможно отметить это поведение как программно на уровне приложения, так и на уровне пользователя

46. Другие изменения в аудио • Уменьшилась задержка обработки в аудио-тракте • Автоматическое переключение аудио-потока при отключении устройства • Поддержка Bluetooth аудио-устройств • HDMI аудио • Аудио-кнопки работают без входа в систему • Пониженное энергопотребление при использовании DirectSound

47. Что делать? • Всем разработчикам • Использовать устройство по умолчанию • Разработчикам голосовых приложений • Использовать устройство по умолчанию с ролью eCommunications • Добавить поддержку органов управления Bluetooth гарнитурами • Разработчикам медиа-проигрывателей • Подписаться на оповещения о событии приглушения аудио-потока и приостанавливать проигрывание • Другим разработчикам • Отменить приглушение своего потока, если это необходимо

48. Ресурсы • XPS • www.microsoft.com/xps • blogs.msdn.com/xps • blogs.msdn.com/adrianford • Touch • Guideline:msdn.microsoft.com/en-us/library/cc872774.aspx • Графика • MSDN / Win32 and COM Development / Graphics and Multimedia • Аудио • blogs.msdn.com/larryosterman