520 likes | 524 Views
IDRC u2013 Open research data initiative [109059-013] supported this study.<br>Su00e9rie integrante do curso sobre datasets<br>Material traduzido por Jose Dutra O Neto, Ildeberto A Rodello<br>Apoio: IDRC u2013 Open research data initiative [109059-013]
E N D
TutoriaisemGestão de Dados Científicos Módulo 7: Metadados Imagem CC por bônus em Flickr
Conteúdo • Explicação dos metadados • Ilustrar o valor e a utilidade dos metadados para usuários, provedores e organizações de dados • Examinaras informações incluídas em um registro de metadados • Exemplos de padrões de metadados e como escolher • Preparando para gravar metadados • Dicas para gravar um registro de metadados de qualidade Imagem de CC por Alec Couros em Flickr
Objetivosde aprendizagem Após concluir esta lição, o participante será capaz de: • Identificare listaros tipos de informações normalmente incluídas nos registros de metadados para conjuntos de dados ambientais • Identificartrês razões pelas quais os metadados são importantes para usuários, desenvolvedores e organizações • Listar3 usospara metadados, além da descoberta de dados • Identificare descreveros fatores que podem determinar quais padrões de metadados são mais apropriados para um determinado conjunto de dados • Listar etapas para se preparar para gravar metadados • Explicarcomo escrever bons metadados
O que sãoMetadados? Os metadados são: 'Relatório' de dados • QUEMcriou os dados? • O QUE é o conteúdo dos dados? • QUANDO os dados foram criados? • ONDE é geograficamente? • COMO os dados foram desenvolvidos? • PORQUE os dados foram desenvolvidos? Foto de Michelle Chang. Todos os direitos reservados
Metadados naVida Real • Os metadados estão por toda parte… Imagem CC por Mskadu em Flickr Imagem CC por USDAgov em Flickr Autor(es)Boullosa, Carmen. Titulo(s) They're cows, we're pigs / by Carmen Boullosa Local New York : Grove Press, 1997. DescrFísica viii, 180 p ; 22 cm. Assunto(s) Pirates Caribbean Area Fiction. Formato Fiction
Metadados: Para queServem? • Descoberta de dados DataONE: permite troca Catálogo de dados científicos do USGS: possibilitando a descoberta Metadados: capturainformações
Metadados: por que elessãoimportantes? • Entendimento e ReutilizaçoCientíf Tempo de desenvolvimento de dados Detalhesespecíficos Detalhes Gerais Aposentadoria ou mudança de carreira ConteúdoInformacão Acidente Morte Tempo (modificado de Micheneret al. 1997)
Metadados: Por que eles são importantes? • Defendendopolíticade decisõescom base em dados • Decisões regulatórias baseadas em dados não documentados não são defensáveis • A precisão e os detalhes dos metadados são importantes como evidência de apoio à ciência e à política As controvérsias surgem quando os metadados estão incompletose/ouausentes
O valor dos Metadados Desenvolvedores Usuários Metadados ajudam… Organizações
Qual é o valor para cientistas, pesquisadores e outros criadores de dados? Os metadadospermitemaosdesenvolvedores de dados: • Evitar duplicação de dados • Compartilharinformações confiáveis • Divulgar esforços - promover a trabalho de um cientista e suas contribuições para um campo de estudo • A reutilização de metadados economiza tempo e recursos a longo prazo Imagem da CC da Embaixada dos EUA na Guiana em Flickr
Qual é o valor para os usuários de dados? Os metadados oferecem ao usuário a capacidade de: • Pesquisar, recuperare avaliarinformações do conjunto de dados de dentro e de fora de uma organização • Localizar dados: Determinarquais dados existem para uma localização geográficae/outópico • Determinar a aplicabilidade: Decidirse um conjunto de dados atende a uma necessidade específica • Descobrircomoadquirir o conjunto de dados identificado; processar e usar o conjunto de dados • Compreendero conjunto de dados, incluindo definições de nomes de colunas ou intervalos numéricos esperados encontrados nos dados Imagem CC de ASEE no Flickr
Qual é o valor para as organizações? • Os metadados ajudam a garantiro investimento de umaorganizaçãoemdados: • Documentação das etapas de processamento de dados, controle de qualidade, definições, usose restrições • Capacidade de usar dados após o objetivo inicial • Permite que a organização rastreie o uso de dados e facilita a publicação • Transcende pessoas e tempo: • Oferece permanência de dados • Cria memória institucional • Divulga a pesquisa de umaorganização: • Cria possíveis novas parcerias e colaborações por meio do compartilhamento de dados Imagem CC por mambol no Flickr
AUtilidade dos Metadados Os metadados podem suportar: Distribuição dos dados Gestão dos dados
acesso online • processo de encomenda • contatos • palavras-chave • localização geográfica • período de tempo • atributos • restrições de uso • restrições de acesso • qualidade dos dados • disponibilidade/preços ACESSAR IDENTIFICAR AVALIAR Distribuição de Dados: Descoberta O conteúdo descritivo do arquivo de metadados pode ser usado para identificar, avaliar e acessar os recursos de dados disponíveis.
Distribuição de Dados: Catálogos Exemplos de catálogos de pesquisa de metadados: • DataONE • Descoberta de dados, conhecimento, comunidade ... por um futuro sustentável • https://search.dataone.org • Data.gov • Portal e-govde dados geoespaciais • http://www.geo.data.gov • Metacat • Repositório para dados e metadados • http: //knb.ecoinformatics.org/index.jsp • Pesquisa Geológica dos EUA • Catálogo de dados científicosda USGS • http: //data.usgs.gov/datacatalog • ArcGIS Online • Portal nacional de dados geoespaciais patrocinado pela ESRI • http://www.geographynetwork.com Imagem de CC por RGB12 no Flickr
Gerenciamento de Dados: Manutençãoe Atualização • Os registros de metadados podem ser usados para rastrear a proveniência dos dados com precisão • Manutençãodos dados: • Os dados estão atualizados? • Os dados estão em um formato confiável? • Onde os dados são armazenados? • Atualizaçãodos dados: • Informações de Contato • Políticas de distribuição, disponibilidade, preços, URLs • Novas derivações do conjunto de dados
Gerenciamento de Dados: Responsabilidade • Os metadados permitem repetir um processo científico se: • metodologias são definidas • variáveis são definidas • parâmetros analíticos são definidos • Os metadados permitem que você defenda seu processo científico: • demonstrar processo • público cada vez mais esclarecido em dados requer metadados para informações do consumidor ENTRADA RESULTADOS
Gerenciamento de Dados: Responsabilidade Os metadados são uma declaração de: • Objetivo–Aplicaçãopretendida dos dados • Restrições de uso- aplicaçõesinadequadasdos dados • Completude - características ou geografias excluídas dos dados • Responsabilidade pela distribuição - responsabilidade explícita do produtordos dados e responsabilidade assumida do consumidor O que fazer… O que não fazer…
Preocupações sobre a Criaçãode Metadados Mesmo que o valor da documentação dos dados sejareconhecido, os pesquisadores geralmente se preocupam com o esforço necessário para criar metadados que descrevam efetivamente seus dados. Imagem CC por waterlilysage em Flickr
O que é um Padrãode Metadados? • Um padrão fornece uma estrutura para descrever dados com: • Termos comuns para permitir consistência entre registros • Definições comuns para facilitar a interpretação • Linguagem comum para facilitar a comunicação • Estrutura comum para localizar informações rapidamente • Na pesquisa e recuperação, os padrões fornecem: • Estrutura da documentação em um formato confiável e previsível para interpretação por computador • Uma descrição resumida uniforme do conjunto de dados Imagem CC por ccarlstead no Flickr
O que inclui um padrão de metadados? Componentes de metadados: • Um padrão de metadados é composto de definidos elementos, incluindo o tipo de informação que o usuário deve inserir (por exemplo, texto, números, data). • Exemplos de elementos incluem título, resumo, palavra-chave, link on-line
Como é um Registrode Metadados? Imagem CC por que eu gosto em Flickr
EscolhendoPadrõesde Metadados Imagem cortesia de Viv Hutchinson
Existem vários padrões de metadados: exemplos • Conjunto de elementos principaisda Dublin Core • Ênfase em recursos da web, publicações • http: //dublincore.org/ documentos /dces/ • Padrão de conteúdo FGDC para metadados geoespaciais digitais (CSDGM) • Ênfase em dados geoespaciais • O Perfil de Dados Biológicos (BDP) do CSDGM é um perfil para o CSDGM com ênfase em dados biológicos (e geoespaciais) • https://www.fgdc.gov/metadata/csdgm-standard • ISO 19115/19139 Informações geográficas - metadados • Ênfase em dados e serviços geoespaciais • https://www.fgdc.gov/metadata/iso-standards
Existem vários padrões de metadados: exemplos • Linguagem de Metadados Ecológicos (EML) • Foco em dados ecológicos • http: //knb.ecoinformatics.org/eml_metadata_guide.html • Darwin Core • Ênfase em espécimes de museus • http: //rs.tdwg.org/dwc/index.htm • Linguagem de marcação geográfica (GML) • Ênfase em características geográficas (estradas, rodovias, pontes) • http: //www.opengeospatial.org/padrões/gml
ComparandoPadrõesde Metadados • A terminologia para os mesmos conceitos pode variar entre os padrões
Escolhendo um padrão de metadados • Muitos padrões coletam informações semelhantes • Fatores a serem considerados: • Otipo de dados: • Estátrabalhando principalmente com dados GIS? Dados de varredura/vetorou ponto? Tem informações biológicas ou da linha de costa em seu conjunto de dados? • - Considere o padrão de conteúdo do FGDC para metadados geoespaciais digitais com um de seus perfis: o perfil de dados biológicos ou o perfil de dados da linha costeira. • Estátrabalhando com dados recuperados de instrumentos como estações de monitoramento ou satélites? Estáusando serviços de dados geoespaciais, como aplicativos para aplicativos de mapeamento da web ou modelagem de dados? • - Se sim, considere usar o padrão ISO 19115-2 • Estátrabalhando principalmente com dados ecológicos? • - Considere a linguagem de metadados ecológicos (EML)
Escolhendo um Padrãode Metadados • Mais fatores a considerar: • Políticasda organização: elesindicamqual padrão usar? • Quais recursos estão disponíveisparacriarmetadados? Exemplos de ferramentas: • FGDC CSDGM: https://www.fgdc.gov/metadata/geospatial-metadata-tools#availabletools • EML: - Morpho (http://knb.ecoinformatics.org/morphoportal.jsp) • ISO: (http://www.fgdc.gov/metadata/iso-metadata-editor-review) - XML Spy ou Oxigênio - CatMD • Outros fatores: Disponibilidade de apoio humano; materiais instrucionais; uso de vocabulários controlados; formatos de saída
Os metadados são desenvolvidos continuamente em todo o ciclo de vida completo dos dados O que faz um bom registro de metadados?
Consistência com os campos mais usados O que faz um bom registro de metadados? ✗ Exemplos para um registro FGDC CSDGM: ✔ Publisher: <publish>U.S. Geological Survey</publish> <publish>USGS</publish> Date: <pubdate>YYYYMMDD</pubdate> <pubdate>YYYY</pubdate> <pubdate>MM/DD/YYYY</pubdate> <pubdate>May 27, 2003</pubdate> Keywords: <placekt>Geographic Names Information System</placekt> <placekey>Roosevelt National Forest</placekey> <themekey>Roosevelt Forest</themekey>
Usar arquivos de autoridade e vocabulário padrão Diretório principal de alterações globais Sistema de Informação de Nomes Geográficos Dicionário de sinônimos de nomes geográficos Getty ISO 19115 Categoria de tópico Thesaurus O que faz um bom registro de metadados? ✗ Chuva Tempestade Chuveiros Aguaceiro Chuva Chuvisco Precipitação Foto de mxgirl2014 em flickr
Acrônimos O que faz um BomRegistrode Metadados? • Soletre acrônimos com o primeiro uso. Muitas siglas têm vários significados (por exemplo, DOI) • Use siglas amplamente conhecidas apenas quando corresponder a campos de metadados específicos, como formatos de arquivo (por exemplo, TIFF, JPEG, PDF)
O que faz um bom registro de metadados? Forneça todas as informações críticas para descoberta, entendimento e reutilização: • Informações de identificação • Entidades e atributos • Qualidade dos dados • Restrições de acesso, uso e responsabilidade • Distribuição • Referências espaciais
Forneça todas as informações críticas para: Identificação O que faz um bom registro de metadados?
Forneça todas as informações críticas para: Entidade/Atributo O que faz um bom registro de metadados?
Forneça todas as informações críticas para: Qualidade dos dados Informar - Precisão - Consistência - Completude O que faz um bom registro de metadados?
Forneça todas as informações críticas para: linhagemde dados O que faz um bom registro de metadados?
Forneça todas as informações críticas para: restriçõesde acesso, uso e responsabilidade O que faz um bom registro de metadados? Restrições de acesso: restrições e pré-requisitos legais para acessar os dados. Restrições de uso: restrições e pré-requisitos legais para usar os dados após o acesso ser concedido. Exemplo: Use_Constraints: Os usuários são livres para usar, copiar, distribuir, transmitir e adaptar o trabalho para fins comerciais e não comerciais, sem restrição, desde que seja fornecida uma atribuição clara da fonte. Responsabilidade de Distribuição: declaração da responsabilidade assumida pelo distribuidor em relação ao conteúdo e à precisão dos dados. Exemplo: Distribution_Liability: Salvo indicação em contrário, todos os dados, metadados e materiais relacionados são considerados para satisfazer os padrões de qualidade relativos ao objetivo para o qual os dados foram coletados. Embora esses dados e metadados associados tenham sido revisados quanto à precisão e integridade e aprovados para liberação pelo USGS (US Geological Survey), nenhuma garantia expressa ou implícita é feita com relação à exibição ou utilidade dos dados em qualquer outro sistema ou para fins gerais ou científicos. fins, nem o ato de distribuição constitui tal garantia.
Forneça todas as informações críticas para: acessoaos dados O que faz um bom registro de metadados?
Forneça todas as informações críticas para: referênciaespacial O que faz um bom registro de metadados?
Etapas para criar metadados de qualidade • Organize suas informações • Você escreveu um resumo do projeto para obter financiamento para sua proposta? Reutilize-o nos seus metadados! • Você usou um caderno de anotações ou outras anotações durante o processo de desenvolvimento de dados que definem medições e outros parâmetros? • Você tem as informações de contato dos colegas com quem trabalhou? • E as citações para outras fontes de dados que você usou no seu projeto? • Escreva seus metadados usando uma ferramenta de metadados • Analise a precisão e a integridade • Alguém mais leu seuregistro? • Revise o registro, com base nos comentários do revisor • Revise mais uma vez antes de publicar
Dicas para escrever metadados de qualidade Títulos, Títulos, Títulos… • Os títulos são críticos para ajudar os leitores a encontraremseus dados • Na buscaporconjuntosde dados mais apropriados, provavelmente usarão o título como o primeiro critério para determinar se um conjunto de dados atende às suas necessidades. • Trate o título como a oportunidade de vender seu conjunto de dados. • Um título completo inclui: O que, Onde, Quando, Quem e Escala • Um título informativo inclui: tópico, pontualidade dos dados, informações específicas sobre local e geografia
Dicas para escrever metadados de qualidade Imagem CC por dolfi em Flickr Uma escolha clara: qual título é melhor? • Rivers OU • Greater Yellowstone Rivers from 1:126,700 U.S. Forest Service Visitor Maps (1961-1983) Greater Yellowstone (onde) Rivers (o que) from 1: 126,700 (escala) U.S. Forest (quem) Service Visitor Maps (1961-1983) (quando)
Dicas para escrever metadados de qualidade • Seja específico e quantifique quando puder! O objetivo de um registro de metadados é fornecer ao usuário informações suficientes para saber se ele pode usar os dados sem entrar em contato com o proprietário do conjunto de dados. Vago: Verificamos nosso trabalho e parece completo. Específico: verificamos nosso trabalho usando uma amostra aleatória de 5 locais de monitoramento revisados por 2 pessoas diferentes. Determinamos que nosso trabalho estava 95% completo com base nessas inspeções visuais. Imagem CC de PNASH no Flickr
Dicas paraEscreverMetadadosde Qualidade • Use redação descritiva e clara • Documente completamente localizações geográficas • Selecione palavras-chave com sabedoria • Use thesauri para palavras-chave sempre que possível • Seja detalhado: não existem metadados em excesso! Imagem de CC por Marco Arment no Flickr
Dicas paraEscreverMetadadosde Qualidade • Lembre-se: um computador lerá seus metadados • Não use símbolos que possam ser mal interpretados pelo software: Exemplos:! @ #% {} | / \ <> ~ • Não use tabulações, recuos ou avanço de linha / retorno de carro • Ao copiar e colar de outras fontes, use um editor de texto (por exemplo, Bloco de Notas) para eliminar caracteres ocultos
Resumo • Metadados são documentação de dados • Um registro de metadados captura informações críticas sobre o conteúdo de um conjunto de dados • Os metadados permitem que os dados sejam descobertos, acessados e reutilizados • Um padrão de metadados fornece estrutura e consistência à documentação dos dados • Os padrões e as ferramentas variam - selecione de acordo com critérios definidos, como tipo de dados, orientação organizacional e recursos disponíveis • Os metadados são de sumaimportânciapara desenvolvedores, usuários e organizações • Os metadadoscompletamum conjunto de dados.