Toni Prieto antonio.juan.prieto@upc Universitat Politècnica de Catalunya

1. Tutorial DSpaceGijón, diciembre de 2007 Ecología de los repositorios institucionales Toni Prieto antonio.juan.prieto@upc.edu Universitat Politècnica de Catalunya Servei de Biblioteques i Documentació

2. Ecología de los repositorios institucionales. Gijón, diciembre del 2007 Sumario • Introducción a DSpace • Funcionalidades • Personalización • Herramientas administrativas (scripts)‏ • Conclusión

3. Ecología de los repositorios institucionales. Gijón, diciembre del 2007 Introducción – Funcionalidades – Personalización – Scripts – ConclusiónIntroducción a DSpace • Software en código abierto para implementar depósitos digitales. • Objetivo: Coleccionar y organizar la producción intelectual de una institución, describirla, diseminar y preservar sus objetos digitales. • Actualmente en la versión estable 1.4.2. • Versión 1.5 en fase alfa

4. Ecología de los repositorios institucionales. Gijón, diciembre del 2007 Introducción – Funcionalidades – Personalización – Scripts – ConclusiónModelo de Datos I La información que almacena DSpace está estructura en 5 componentes básicos: 1.- Comunidades/subcomunidades (conjunto de colecciones y subcomunidades) 2.- Colecciones (agrupaciones de ítems con un workflow en común) 3.- Ítems (metadatos + archivos) 4.- Bundles (paquetes de archivos) • Archivos originales: ORIGINAL • De licencia: LICENSE, CC-LICENSE • Generados a partir de los originales: TEXT, THUMBNAIL 5.- Bitstreams (archivos)

5. Ecología de los repositorios institucionales. Gijón, diciembre del 2007 Introducción – Funcionalidades – Personalización – Scripts – ConclusiónModelo de Datos II

6. Ecología de los repositorios institucionales. Gijón, diciembre del 2007 Introducción – Funcionalidades – Personalización – Scripts – ConclusiónVisión general I • Dos interfaces web: JSPUI / XMLUI (Manakin)‏ • Interfaz web bastante completa: mostrar el contenido, añadir nuevo y administrar. • XHTML 1.0 y WAI • Multilenguage • Motor de búsqueda, basado en lucene, indexación de texto completo • Índices de navegación: título, autor, materia y fecha (configurable) • RSS • OAI-PMH • Herramientas de importación e exportación de ítems • Herramientas de exportación en diferentes formatos en XML (METS, MODS. DCQ, MPEG-21)

7. Ecología de los repositorios institucionales. Gijón, diciembre del 2007 Introducción – Funcionalidades – Personalización – Scripts – ConclusiónVisión general II Nivel colección / comunidad • Página propia para las comunidades y colecciones: posibilidad añadir logo, texto personalizados,... • Alertas por colección • RSS a nivel de colección y de comunidad • Índices de navegación y búsquedas acotados a nivel de colección y comunidad Nivel de ítem • Diferentes niveles de acceso: abierto, solo metadatos,... • Recomendar un ítem • OpenURL • Handle: identificadores persistentes • Metadatos: nivel simple (configurable) /nivel completo • Licencias creative commons

8. Ecología de los repositorios institucionales. Gijón, diciembre del 2007 Introducción – Funcionalidades – Personalización – Scripts – Conclusión Metadatos I • Inicialmente esquema DC Qualified http://dublincore.org/documents/dcmi-terms/ • Soporta más de un esquema • Se puede modificar a través de la interfaz web • Añadir nuevos DCQ al esquema por defecto • Crear nuevos esquemas • Mover elementos entre esquemas • UTF-8 • Soporte para metadatos en diferentes lenguas

9. Ecología de los repositorios institucionales. Gijón, diciembre del 2007 Introducción – Funcionalidades – Personalización – Scripts – ConclusiónMetadatos II • Un metadato en DSpace tiene asociado: • Esquema • Elemento • Cualificador • Lengua • Valor

10. Ecología de los repositorios institucionales. Gijón, diciembre del 2007 Introducción – Funcionalidades – Personalización – Scripts – ConclusiónAutorización • Los autorizaciones se gestionan a través de dos objetos: • Eperson: una cuenta usuario • Group: un conjunto de usuarios • Existen dos grupos especiales, anónimo, administradores. • Se pueden crear grupos a partir de otros grupos. • Modelo flexible: • Para la mayoría de objetos del modelo de datos es posible dar permisos de lectura, inserción, edición, borrado. • En el caso de las colecciones existe el rol administrador de colección. • En el caso de los ítems es posible definir diferentes niveles de lectura: restringir el acceso al texto completo o a todo.

11. Ecología de los repositorios institucionales. Gijón, diciembre del 2007 Introducción – Funcionalidades – Personalización – Scripts – ConclusiónAutenticación • Sistema por defecto - correo electrónico / contraseña • LDAP • Certificados X.509 • Sistema basado en IP (versión 1.5) • Posibilidad de utilizar más de un método de autenticación a la vez

12. Ecología de los repositorios institucionales. Gijón, diciembre del 2007 Introducción – Funcionalidades – Personalización – Scripts – Conclusión Formulario de envío • El formulario de envío consta de diversos pasos. • Selección de la colección • Preguntas previas • Metadatos (2 pasos) • Inclusión de archivos • Revisión • Selección Licencia Creative Commons (opcional) • Aceptación licencia final • El formulario de metadatos es configurable mediante un archivo de configuración propio. Ahora lo veremos... • En la versión 1.5 también es posible modificar/adaptar estos pasos mediante otro archivo de configuración. Incluir nuevos pasos, modificarlos, ...

13. Ecología de los repositorios institucionales. Gijón, diciembre del 2007 Introducción – Funcionalidades – Personalización – Scripts – Conclusión Workflow • Paso 1: aceptar / rechazar envío • Paso 2: aceptar / rechazar envío + editar metadatos • Paso 3: editar metadatos • A nivel de colección, por cada colección se puede definir que pasos están activos. • Cada paso se asocia un conjunto de usuarios • Se pueden definir un conjunto de metadatos por defecto • Se puede modificar a través de la interfaz de usuario.

14. Ecología de los repositorios institucionales. Gijón, diciembre del 2007 Introducción – Funcionalidades – Personalización – Scripts – Conclusión OAI-PMH • Inicialmente esquema Dublin Core sin cualificar • Los sets que ofrece son las colecciones definidas en DSpace. En la versión 1.5 se han incluido las comunidades. • Configurable para servir otros esquemas de metadatos a través de Crosswalks de Dublin Core: Mets, mod, dcq, ...

15. Ecología de los repositorios institucionales. Gijón, diciembre del 2007 Introducción – Funcionalidades – Personalización – Scripts – Conclusión Manakin I • Un nueva interfaz web de DSpace basada en XML • Apache Coocon, XSL, CSS Manakin vs interfaz JSP • Interfaz JSP • La interfaz JSP es difícil y costosa de modificar y extender. • Una interfaz única para todas las colecciones a pesar de poder tener diferente contenido • Manakin • Facilidad para cambiar el estilo de la interfaz • Mejorar la visualización: permitir mostrar los metadatos de formas muy distintas • Diseño modular: fácil de extender, adaptar y personalizar

16. Ecología de los repositorios institucionales. Gijón, diciembre del 2007 Introducción – Funcionalidades – Personalización – Scripts – Conclusión Manakin II Tres componentes básicos • Aspects • Son los generadores de contenido en XML • Implementan un conjunto de funcionalidades relacionadas • Esquema DRI (Digital Repository Interface)‏ • Representación abstracta en XML de la página del repositorio • Es la entrada y salida de los aspects • Tema: definen como se visualiza el contenido • Tres partes fundamentales: • Sitemap.xml: fichero de configuración del tema • Hoja(s) de estilo XSL: transforma el DRI Schema (XML) en HTML • Hoja de estilo CSS: determina la visualización final

17. Ecología de los repositorios institucionales. Gijón, diciembre del 2007 Introducción – Funcionalidades – Personalización – Scripts – Conclusión Manakin III Archivo xmlui.conf • Define los aspects que intervienen <aspects> <aspect name="Artifact Browser" path="resource://aspects/ArtifactBrowse/” /> <aspect name="Submission and Workflow" path="resource://aspects/Submission/” /> <aspect name="Administration" path="resource://aspects/Administrative/" /> <aspect name="E-Person" path="resource://aspects/EPerson/" /> </aspects> • Define los temas que se aplican a cada página. Se pueden a aplicar a: • Una única página: <theme name="Test Theme 2" regex="community-list" path="theme1/"/> • A todas las páginas de una comunidad / colección: <theme name="Test Theme 1" handle="123456789/1" path="theme2/"/> • A todo/resto del repositorio <theme name="Default Reference Theme" regex=".*" path="Reference/" />

18. Ecología de los repositorios institucionales. Gijón, diciembre del 2007 Introducción –Funcionalidades – Personalización – Scripts – Conclusión Localización carpetas Hay que tener en cuenta que diferentes partes de DSpace residen en diferentes zonas del servidor: • [dspace-source]: el código fuente de DSpace, aquí se deben realizar los cambios / personalizaciones de la interfaz • [tomcat]: donde están las interfaces web de DSpace funcionando • [dspace]: contiene los archivos de configuración (dspace.cfg, input-forms.xml, ...), scripts de administración, archivos almacenados, ...

19. Ecología de los repositorios institucionales. Gijón, diciembre del 2007 Introducción –Funcionalidades – Personalización – Scripts – Conclusión Archivo configuración Archivo [dspace]/config/dspace.cfg • Aquí están: • La configuración básica • Funcionalidades que se pueden activar o desactivar • La configuración de las interfaz • Es un listado de claves / valores: webui.itemdisplay.default = dc.title, \ dc.contributor.*, \ ... • Cada par clave valor debe ir en una sola linea, si no se debe escapar con \

20. Ecología de los repositorios institucionales. Gijón, diciembre del 2007 Introducción –Funcionalidades – Personalización – Scripts – Conclusión Cambiar apariencia global [dspace-source]/jsp/layout/*.jsp – archivos comunes casi todas las páginas [dspace-source]/jsp/styles.css.jsp – hoja de estilo • Los archivos modificados se deberían guardar en [dspace-source]/jsp/local/... • Después de realizar los cambios se debe recompilar y volver a copiar la interfaz en el webapp del tomcat.

21. Ecología de los repositorios institucionales. Gijón, diciembre del 2007 Introducción –Funcionalidades – Personalización – Scripts – Conclusión Cambiar texto • DSpace usa archivos de i18n para gestionar los textos de la interfaz: [dspace-source]/config/language-packs/Messages.properties • Es un listado de claves-valor: jsp.home.com1 = Communities in DSpace jsp.home.com2 = Choose a community to browse its collections. • En los archivos jsp están referenciados así: <h3><fmt:message key="jsp.home.com1"/></h3> <p><fmt:message key="jsp.home.com2"/></p> • Por cada cambio se debe recompilar el DSpace y volverlo a instalar en Tomcat.

22. Ecología de los repositorios institucionales. Gijón, diciembre del 2007 Introducción –Funcionalidades – Personalización – Scripts – Conclusión Internacionalización • Para incluir o cambiar la traducción en castellano se debe incluir una réplica del archivo Messages.properties traducido: [dspace-source]/config/language-pack/Messages_es.properties • La interfaz se mostrará en el idioma en que este configurado el navegador web. • Para incluir un selector de idioma, se debe instalar un parche: [ Patch 1450491 ] i18n configurable multilingualism support • Para activar el soporte multilenguage es necesario modificar un par de claves de dspace.cfg: default.locale = es webui.supported.locales = es, en Versión 1.5: • La posición de los archivos ha cambiado: [dspace-source]/dspace-api/src/main/resource/Messages.properties (principal) [dspace-source]/language-packs/es/Messages_es.properties • Ya incluye el parche para hacer la plataforma multilenguaje • La interfaz XML (manakin) tiene su propio archivo de textos diferenciado. En formato xml. [dspace-source]/dspace-xmlui/dspace-xmlui-webapp/src/main/webapp/i18n/messages.xml

23. Ecología de los repositorios institucionales. Gijón, diciembre del 2007 Introducción –Funcionalidades – Personalización – Scripts – Conclusión Visualización simple de metadatos de un ítem I • En la interfaz jsp es posible modificar los metadatos que se muestran en la visualización simple de un ítem modificando una clave del archivo dspace.cfg: webui.itemdisplay.default = dc.title, dc.title.alternative, dc.contributor.*, \ dc.subject, dc.date.issued(date), dc.publisher, \ dc.identifier.citation, dc.relation.ispartofseries, \ dc.description.abstract, dc.description, \ dc.identifier.govdoc, dc.identifier.uri(link), \ dc.identifier.isbn, dc.identifier.issn, \ dc.identifier.ismn, dc.identifier (link) -> el metadato se mostrará como un enlace (date) -> el metadato se mostrará como una fecha en el idioma en que se este mostrando la interfaz

24. Ecología de los repositorios institucionales. Gijón, diciembre del 2007 Introducción –Funcionalidades – Personalización – Scripts – Conclusión Visualización simple de metadatos de un ítem II • Es posible definir listados de metadatos distintos en algunas colecciones: webui.itemdisplay.<style>.collections = <collection handle>, ... webui.itemdisplay.tutorial.collections = 123456789/3 webui.itemdisplay.tutorial = dc.title, dc.contributor.*, \ dc.relation.ispartof, dc.identifier.citation, \ dc.description.tableofcontents, my.custom.metadata, \ dc.identifier.uri(link)

25. Etiquetas ??? alguna.clave.exto??? Si se incluyen nuevos metadatos a mostrar es necesario incluir las claves i18n en el archivo de textos de la interfaz (Messages.properties): metadata.<schema>.<element>.<qualifier> = ... (ej.: metadata.dc.title, metadata.dc.identifier.citation) Introducción –Funcionalidades – Personalización – Scripts – Conclusión Visualización simple de metadatos de un ítem III Ecología de los repositorios institucionales. Gijón, diciembre del 2007

26. Ecología de los repositorios institucionales. Gijón, diciembre del 2007 Introducción –Funcionalidades – Personalización – Scripts – Conclusión Búsqueda e índices Búsqueda • DSpace utiliza un motor de búsqueda basado en Lucene. • Lucene crea un conjunto de índices que guarda en [dspace]/search Índices de navegación • También dispone de índices para la navegación a partir de ciertos metadatos del ítem: listado por título, fecha de publicación, autor y materia. • Estos índices se guardan en tablas de la base de datos. En dspace.cfg se puede configurar parte del sistema de búsqueda e índices:

27. Ecología de los repositorios institucionales. Gijón, diciembre del 2007 Introducción –Funcionalidades – Personalización – Scripts – ConclusiónBúsqueda I Definir los índices que queremos tener: • Los índices están definidos a partir de claves de esta forma: search.index.<n> = nombre_indice:schema.element.qualifier <n> es el número de índice definido • Para un índice se puede asignar más de un metadato creando más de una entrada de search.index. (ejemplo índice author) • En lugar de qualifier se puede incluir * para indexar cualquier metadato con ese elemento • La configuración básica utiliza otro índice llamado default que contiene: • Todos los índices definidos • El texto completo extraído • El nombre de las comunidades y colecciones

28. Ecología de los repositorios institucionales. Gijón, diciembre del 2007 Introducción –Funcionalidades – Personalización – Scripts – Conclusión Búsqueda II • Definición de índices que viene por defecto: search.index.1 = author:dc.contributor.* search.index.2 = author:dc.creator.* search.index.3 = title:dc.title.* search.index.4 = keyword:dc.subject.* search.index.5 = abstract:dc.description.abstract search.index.6 = author:dc.description.statementofresponsibility search.index.7 = series:dc.relation.ispartofseries search.index.8 = abstract:dc.description.tableofcontents search.index.9 = mime:dc.format.mimetype search.index.10 = sponsor:dc.description.sponsorship search.index.11 = identifier:dc.identifier.* search.index.12 = language:dc.language.iso • Si se incluyen nuevos índices, para que aparezcan en la interfaz es necesario modificar el archivo que genera el formulario de búsqueda avanzada. No se incluye automáticamente!

29. Ecología de los repositorios institucionales. Gijón, diciembre del 2007 Introducción –Funcionalidades – Personalización – Scripts – Conclusión Índices de navegación I • Actualmente ofrece 4 índices de navegación (título, autor, materia, fecha) • A través de dspace.cfg se puede elegir que metadatos utiliza: webui.browse.index.date = dc.date.issued webui.browse.index.author = dc.contributor.* webui.browse.index.title = dc.title webui.browse.index.subject = dc.subject.* • Y definir que metadatos se muestran en los listados: webui.itemlist.columns = dc.date.issued(date), dc.title, dc.contributor.*

30. Ecología de los repositorios institucionales. Gijón, diciembre del 2007 Introducción –Funcionalidades – Personalización – Scripts – Conclusión Índices de navegación II En la versión 1.5 se han incluido varias mejoras para hacer estos índices más configurables: • Se puede crear más índices (no solo los 4 que vienen por defecto). • Definir para que campos se pueden ordenar los listados y como se ordenan estos campos • Más opciones sobre como mostrar los índices (número de autores que muestra, longitud máxima de campo listado, ... )

31. Ecología de los repositorios institucionales. Gijón, diciembre del 2007 Introducción –Funcionalidades – Personalización – Scripts – Conclusión Búsqueda e índices • Cada vez que realizamos algún cambio en la configuración que afecta a la búsqueda o a los índices de navegación es necesario re-indexar mediante el script index-all: [dspace]/bin/index-all • En la versión 1.5 el cambio en la configuración de índices puede implicar que se deban cambiar algunas tablas. Se puede utilizar este comando para reconstruir las tablas: [dspace]/bin/dsrun org.dspace.browse.IndexBrowse –f –r

32. Ecología de los repositorios institucionales. Gijón, diciembre del 2007 Introducción –Funcionalidades – Personalización – Scripts – Conclusión Formulario de envío I Para modificar el formulario de envío es necesario modificar el archivo de configuración [dspace]/config/input-forms.xml <form-map> <name-map collection-handle="default" form-name="traditional" /> ... </form-map> <form-definitions> <form me="traditional"> <page> ... <field> ... <field> <page> </form> </form-definitions> <form-value-pairs> <value-pairs value-pairs-name="common_iso_languages" dc-term="language_iso ... </form-value-pairs> </input-forms> Parte 1: Asignación de formularios a las colecciones Parte 2: Definición de los formularios y sus campos Parte3: Definición de pares de valores para los campos controlados

33. Ecología de los repositorios institucionales. Gijón, diciembre del 2007 Introducción –Funcionalidades – Personalización – Scripts – Conclusión Formulario de envío II • La etiqueta field:

34. Ecología de los repositorios institucionales. Gijón, diciembre del 2007 Introducción –Funcionalidades – Personalización – Scripts – Conclusión Formulario de envío III Input-type define el tipo de campo:: • Campo de texto libre: • onebox : un campo simple de texto (ej.: título) • twobox: dos campos simples de texto (ej.: materias) • textarea: campo de texto largo (ej.: abstract, resumen) • Campo de datos específicos • name: nombre de personas (apellido, nombre) • date: fecha • Campos de datos con valores controlados • dropdown : un seleccionable • list: implementado como checkbox o radio button • qualdrop_value : compuesto de un seleccionable para escoger el cualificador, y un campo de texto para introducir el valor

35. Ecología de los repositorios institucionales. Gijón, diciembre del 2007 Introducción –Funcionalidades – Personalización – Scripts – Conclusión Formulario de envío IV • En los campos de tipo onebox, twobox o textarea, se puede añadir la etiqueta: <vocabulary>XXX</vocabulary> para capturar los valores de un vocabulario controlado • Las vocabularios controlados están definidos en archivos xml en [dspace]/config/controlled-vocabulary/ y tiene esta forma: <node id="acmccs98" label="ACMCCS98"> <isComposedBy> <node id="A." label="General Literature"> <isComposedBy> <node id="A.0" label="GENERAL"/> <node id="A.1" label="INTRODUCTORY AND SURVEY"/> ... </isComposedBy> </node> ... </isComposedBy> </node>

36. Ecología de los repositorios institucionales. Gijón, diciembre del 2007 Introducción –Funcionalidades – Personalización – Scripts – Conclusión Formulario de envío V • Se pueden realizar búsquedas en el vocabulario controlado a través de la interfaz: • Se debe activar en el archivo de configuración webui.controlledvocabulary.enable = true

37. Ecología de los repositorios institucionales. Gijón, diciembre del 2007 Introducción –Funcionalidades –Personalización – Scripts – Conclusión Scripts I • A parte de la interfaz web DSpace incorpora un conjunto de utilidades de administración ejecutables a través de línea de comandos • Se trata en su mayoría de clases java ejecutables que se deben usar mediante el script dsrun: [dspace]/bin/dsrun org.dspace.administer.CommunityFiliator • Las más utilizadas son directamente ejecutables mediante scripts específicos en [dspace]/bin [dspace]/bin/index-all • Algunas se deben programar para ejecutar diariamente (cron de linux)

38. Introducción –Funcionalidades –Personalización – Scripts – Conclusión Scripts II Ecología de los repositorios institucionales. Gijón, diciembre del 2007

39. Ecología de los repositorios institucionales. Gijón, diciembre del 2007 Introducción –Funcionalidades –Personalización – Scripts – Conclusión ItemImport [dspace]/bin/dsrun org.dspace.app.itemimport -a -w -c <coleccion> -e <eperson> -s <ruta> -m mapfile O [dspace]/bin/import -a -w -c <coleccion> -e <eperson> -s <ruta> -m mapfile • Script para hacer importaciones de ítems en DSpace • Existe su análogo para realizar exportaciones: ItemExport • En tres modos: inserción, borrado, modificado • Los ítems deben tener como mínimo dos archivos: • dublin_core.xml – xml con los metadatos • contents – listado de archivos a cargar • archivos a cargar

40. Introducción –Funcionalidades –Personalización – Scripts – Conclusión Tareas programables (cron)‏ Ecología de los repositorios institucionales. Gijón, diciembre del 2007

41. Ecología de los repositorios institucionales. Gijón, diciembre del 2007 Introducción –Funcionalidades –Personalización – Scripts – Conclusión Filter-media [dspace]/bin/filter-media • Para generar archivos secundarios a partir de los originales • Actualmente usado para: • Extraer el texto de los archivos para poder hacer búsquedas • Extracción de miniaturas de imágenes para su visualización en listados • Extracción / creación de imágenes con texto incrustado • También lanza una re-indexación. • Configurable en [dspace]/config/dspace.cfg #Configure each filter's input format(s)‏ filter.org.dspace.app.mediafilter.PDFFilter.inputFormats = Adobe PDF filter.org.dspace.app.mediafilter.HTMLFilter.inputFormats = HTML, Text filter.org.dspace.app.mediafilter.WordFilter.inputFormats = Microsoft Word filter.org.dspace.app.mediafilter.JPEGFilter.inputFormats = BMP, GIF, JPEG, imagen/png filter.org.dspace.app.mediafilter.BrandedPreviewJPEGFilter.inputFormats = BMP, GIF, JPEG, imagen/png

42. Ecología de los repositorios institucionales. Gijón, diciembre del 2007 Introducción –Funcionalidades –Personalización – Scripts – ConclusiónVersiones Futuras DSpace 1.5 (alpha)‏ • Reestructuración del código (separación en módulos y uso de Maven) • dspace • dspace-api • language-pack: • dspace-jspui • dspace-oai • dspace-xmlui (Manakin) • dspace-lni (webservice basado en WebDav) • i18n multilingualism support • Configurable item submission • Configurable Browse • ... DSpace 1.6 (en proceso)‏ • Versioning • DAO • Persistent Identifiers • - ...

43. Ecología de los repositorios institucionales. Gijón, diciembre del 2007 Introducción – Funcionalidades – Personalización – Scripts – ConclusiónDocumentación • DSpace Basic Tutorial – DSUG Rome 2007 ( Andrea Bollini, Federico Meschini)‏ • DSpace 1.4.1 - Customization ( Claudia Jürgen)‏ • Dspace How-to Guide (Tim Donohue, Scott Phillips, Dorothea Salo). Traducido al castellano (Luis Tijera ,Universidad de León)‏ • Learning to use Manakin -DSUG Rome 2007 (Scott Phillips)‏

44. Ecología de los repositorios institucionales. Gijón, diciembre del 2007 Introducción –Funcionalidades – Personalización – Scripts – Conclusión Recursos generales • DSpace.org http://www.dspace.org • DSpace wiki http://wiki.dspace.org • Documentación DSpace. (en [dspace-source]/doc) • Sourceforge.net http://sourceforge.net/projects/dspace • Listas de distribución: http://www.dspace.org/feedback/mailing.html • dspace-general • dspace-tech • dspace-devel • En castellano • Wiki Gude http://sod.upc.edu/gude • Lista Gude http://www.rediris.es/list/info/gude.es.html