Оцифровка архивных документов в центральных архивах Москвы

1. Оцифровка архивных документов в центральных архивах Москвы Тихонов Владимир Иванович к.и.н., директор Центра автоматизированных архивных технологий Государственное бюджетное учреждение города Москвы «Центральный государственный архив города Москвы» (ГБУ «ЦГА Москвы»)

2. Задачи презентации: • Поделиться опытом оцифровки архивных аудиовизуальных и бумажных документов в центральных архивах Москвы • Определить круг проблем, возникающих при организации постоянного хранения электронных образов и электронного НСА к документам на бумажном носителе

3. Государственное бюджетное учреждение города Москвы «Центральный государственный архив города Москвы» (ГБУ «ЦГА Москвы») • Руководство архивом • Отделы аппарата управления • Центры хранения документов: • Центр хранения документов до 1917 г. • Центр хранения документов после 1917 г. • Центр хранения документов общественно-политической истории Москвы • Центр хранения документов личных собраний • Центр хранения научно-технической документации Москвы • Центр хранения электронных и аудиовизуальных документов Москвы • Функциональные центры: • Научно-информационный центр • Центр автоматизированных архивных технологий • Центр микрографии и реставрации документов • Центр научного описания документов • Центр публикации архивного фонда

4. Миссия государственных архивов • Обеспечение граждан, общества и органов власти архивной информацией Использование в работе архивов информационно-коммуникационных технологий – один из эффективных способов, повышающих оперативность и качество обслуживания пользователей архивными документами

5. Цели оцифровки архивных документов • Получение эффективных средств копирования и распространения архивной информации • Создание фонда пользования архивными материалами • Включение электронных образов документов в информационно-поисковые системы архива ГБУ «ЦГА Москвы» использует электронные копии документов в поисковых системах двух центров хранения документации: • Центр хранения электронных и аудиовизуальных документов Москвы (ЦХЭАДМ) • Центр хранения документов после 1917 г. (ЦХД после 1917 г.)

6. Оцифровка документов ЦХЭАДМ • Оцифровка фонодокументов на магнитной ленте с 2004 г. • Оцифровка фотодокументов (негативов, позитивов и слайдов) с 2005 г. • Оцифровка видеодокументов с 2009 г.

7. Оцифровка документов ЦХЭАДМ Оцифровка фонодокументов на магнитной ленте Технические характеристики: • Кодек – PCM (Pulse Code Modulation), преобразующий звуковые сигналы в цифровой формат несжатого (т.е. без потери качества) звука • Частота дискретизации – 44,1 КГц • Разрядность – 16 бит Объем оцифрованного ресурса: • 1043 ед. хр. (бобин с лентой) из общего фонда в 4629 ед. хр. (22,5 %) Хранение: • диски DVD-R (в двух экземплярах)

8. Оцифровка документов ЦХЭАДМ Оцифровка фотодокументов Разрешение: • 2000 точек на дюйм Форматы хранения: • TIFF – копия страхового формата • JPEG – копия пользовательского формата Объем оцифрованного ресурса: • около 17,5 тыс. фотодокументов (6,5 % всего фонда) Хранение: • TIFF-файлы на дисках DVD-R (в двух экземплярах) и на файл-сервере АИПС архива (один экземпляр) • JPEG-файлы на дисках CD-R (в двух экземплярах) и в СУБД АИПС архива (один экземпляр)

11. Оцифровка документов ЦХЭАДМ Оцифровка видеодокументов в Видеоархивном комплексе Вместимость основной ленточной библиотеки: • 1927 картриджей LTO-3 совокупной емкостью в 750 Тбайт • более 10 тыс. часов видеодокументов Территориально разнесенное однотипное оборудование: • по 2 видеомонтажных станции • по 2 станции нелинейного видеомонтажа Avid Liquid Chrome HD • сервера с дисковыми системами хранения видеоконтента • ленточные библиотеки (одна основная и две удаленные по 30 картриджей LTO-3 для создания резервных копий) • сетевое оборудование (Cisco, SAN и т.п.) • выделенный канал связи в 100 Мбит/сек • 14 рабочих станций для работников и посетителей архива

12. Оцифровка документов ЦХЭАДМ Оцифровка видеодокументов в Видеоархивном комплексе Входные форматы для оцифровки: • Betacam, VHS • DV, DVcam, DV, DVCpro • DVD Видеокодеки и форматы хранения в ленточной библиотеке: • MPEG-2 (с битрейтом до 50 Мбит/с) в формате файлового контейнера MXF OP1A • DV, DIF (до 50,3 Мбит/с) • Rawvideo, uyvy422i, некомпрессионный (176 Мбит/сек) Объем оцифрованного ресурса: • 228 ед. хр., более 200 часов архивных видеодокументов (16,2% от фонда)

13. Оцифровка документов ЦХЭАДМ Оцифровка видеодокументов в Видеоархивном комплексе Запись и хранение копий на внешних носителях: • на лентах DVcam – страховой фонд видеодокументов • на дисках DVD-R (в двух экземплярах) – резервный фонд пользования видеодокументами Количество цифровых копий видеодокументов: • две копии в страховом формате в основной библиотеке • одна копия на картридже резервного хранения • две копии низкого разрешения (битрейт 1 Мбит/с) на серверах АИПС архива • одна копия страхового фонда • две копии резервного фонда пользования

14. Оцифровка документов ЦХЭАДМ Задачи Видеоархивного комплекса : • создание страховых копий видеодокументов в цифровых форматах • создание автоматизированного фонда пользования видеодокументами (интегрированного с АИПС архива) • создание копий видеодокументов по запросам пользователей без дополнительного использования оригиналов • использование в качестве временного хранилища при поступлении в архив на хранение видеодокументов в цифровых форматах

20. Оцифровка документов ЦХЭАДМ Оцифровка видеодокументов в Видеоархивном комплексе Перспективы развития Видеоархивного комплекса: • организация открытого доступа к копиям видеодокументов через Интернет-сайт архива • приобретение и внедрение видеокодека MPEG-4 • приобретение для архива технологий оцифровки кинодокументов и фонодокументов на виниловой основе и их интеграция с Видеоархивным комплексом

21. Оцифровка документов ЦХД после 1917 г. Работы по оцифровке проводились в соответствии с п. 3.5.1 «Плана мероприятий по проектированию, разработке и внедрению информационных систем на 2008 год» утв. распоряжением Правительства Москвы от 11.04.2008 № 753-РП: • Создание единой системы электронных архивов документов Правительства Москвы Цель оцифровки документов: • создание автоматизированного фонда пользования архивными документами органов исполнительной власти Москвы через включение электронных образов документов и индексной информации в Интегрированную автоматизированную информационную систему (ИАИС) Главархива Москвы

22. Оцифровка документов ЦХД после 1917 г. Решение предварительных задач: Выбор документального массива: • распорядительные документы райисполкомов Москвы, использование которых имеет беспрецедентное социальное значение, главным образом в сфере имущественных отношений граждан Выбор объекта индексирования (описания): • индексирование на уровне отдельного документа Интеграция с ИАИС Главархива Москвы: • проведение модернизации структуры и модулей АИС «Научно-справочный аппарат по документам на бумажной основе»

23. Оцифровка документов ЦХД после 1917 г. Решение предварительных задач: Реквизиты индексирования электронных копий документов райисполкомов Москвы: • номера фонда, описи и единицы хранения (архивного дела), номер листа дела, с которого начинается документ • вид документа райисполкома (решение, протокол и т.д.) • номер, дата, заголовок документа • фамилии и инициалы персоналий, встречающиеся в документе • адреса зданий, встречающиеся в документе • комментарий • путь к папке с электронными копиями документа на передаваемом носителе

24. Оцифровка документов ЦХД после 1917 г. Решение предварительных задач: Правила индексирования определялись в соответствии с нормативным документов Главархива Москвы по описанию распорядительных документов органов исполнительной власти Москвы: • Методические рекомендации по описанию и классификации документной информации для создания АИПС «Организационно-распорядительные документы Московского городского совета и Исполнительного совета народных депутатов за 1931–1991 гг.». (Мосгорархив, 2003)

25. Оцифровка документов ЦХД после 1917 г. Решение предварительных задач: Оцифровка документов проводилась на территории архива, но на оборудовании и специалистами Исполнителя по государственному контракту. Были оборудованы рабочие места: • 10 рабочих мест с планетарными сканерами (9 сканеров для оцифровки документов форматом до A2, один сканер – для формата A1) • 6 рабочих мест для расшивки и последующей сбрюшеровки оцифрованных дел • промышленные сканеры с автоматической протяжкой листов не применялись, в связи с ветхим состоянием некоторых документов

26. Оцифровка документов ЦХД после 1917 г. Работы по сканированию документов: Разрешение: • 300 точек на дюйм Режим сканирования: • «бинарный» – для документов в хорошем состоянии • «градации серого» – для документов с нечетким текстом (пожелтевшая бумага, нечеткость машинописи и т.п.) Формат сохранения файлов: • TIFF Объем получаемых файлов: • от 50 Кбайт до 60 Мбайт (в зависимости от режима сканирования и формата документа) • средний объем файла – 3-4 Мбайта Выборочный контроль качества электронных образов

27. Оцифровка документов ЦХД после 1917 г. • Индексирование электронных копий архивных документов проводилось специалистами Исполнителя по государственному контракту и на его территории • Готовый информационный ресурс передавался архиву • электронные копии документов записывались на диски DVD-R в двух экземплярах (в среднем на каждый диск помещались копии документов двух дел) • база данных с индексной информацией (в формате MS Access) – на диски CD-R в двух экземплярах • Передача осуществлялась по актам и описям дисков с электронными копиями архивных документов

30. Оцифровка документов ЦХД после 1917 г. Завершающий этап: Прием информационного ресурса оформлялся только после проверки технического состояния поступивших дисков с помощью специализированного ПО в Информационном центре Главархива Москвы Трудозатраты на проверку дисков: • 30-40 мин. на проверку одного диска DVD • задействовались один-два работника на 2-3 ПК Объем выявленного брака: • 8% (около 229 дисков) Рабочая рекомендация: Записывать экземпляры электронных документов на носители разных фирм-производителей

31. Оцифровка документов ЦХД после 1917 г. Завершающий этап: Импорт электронных копий документов и индексной информации в ИАИС Главархива Москвы Исправление ошибок индексации (не более 0,01%): • в составлении пути к электронным образам на переданных носителях • в привязке электронных образов к идентификации документа • в фамилиях персоналий, названиях улиц

35. Оцифровка документов ЦХД после 1917 г. Затраты времени на реализацию проекта: Оцифровка документов: • около 4 месяцев (3921 архивное дело, 802956 образов) Индексация документов: • около 6 месяцев (420800 документов райисполкомов) Проверка дисков: • более 9 месяцев (1812 дисков) Экспорт информационного ресурса в ИАИС: • две недели

36. Оцифровка документов ЦХД после 1917 г. В 2011–2012 гг. работы по оцифровке архивных документов ЦАГМ были продолжены: Состав документов: • распорядительные документы райисполкомов Москвы • распорядительные документы Мосгорисполкома (Моссовета) Формат хранения: • JPEG Электронные носители: • DVD-R • внешние жесткие диски емкостью 1-1,5 Тбайт (с 2012 г.) Наличие в составе ИАИС Главархива Москвы электронной картотеки «Решения и распоряжения Мосгорисполкома» сократило объемы работ по индексации документов Мосгорисполкома

37. Оцифровка документов ЦХД после 1917 г. Промежуточные итоги проекта: Объем электронных копий фонда пользования: • 8126 дел по фондам 6 райисполкомов Москвы (из 30), более 1,6 млн листов • 8712 дел по фонду Мосгорисполкома, более 2,5 млн листов • Всего: 16838 дел, около 4,2 млн листов Формы хранения информационного ресурса: • в двух экземплярах на 2792 дисках DVD (райисполкомы) • в двух экземплярах на 24 внешних жестких дисках (Мосгорисполком и райисполкомы) • один экземпляр на 238 дисках BD-R в роботизированном дисковом накопителе, интегрированном с ИАИС • Совокупный объем хранения – около 25 Тбайт

38. Оцифровка документов ЦХД после 1917 г. Перспективы развития проекта в 2014–2018 гг.: • Организация удаленного доступа к электронным копиям документов для органов власти Москвы и гражданам (через Интернет) • Планируется оцифровать более 100 тыс. ед. хр., в том числе метрические книги (ЦХД до 1917 г.) и дела с научно-технической документацией Центрального архива научно-технической документации Москвы (ЦХНТДМ) При сохранении существующих темпов оцифровки потребуется не менее сотни лет на то, чтобы перевести в электронную среду лишь наиболее востребуемую часть фондов центральных архивов Москвы

39. Спасибо за внимание!Вопросы?