1 / 18

Stencil/NooJ no HAREM Cristina Mota (and Max Silberztein)

Stencil/NooJ no HAREM Cristina Mota (and Max Silberztein). Plano da Apresentação. Enquadramento Categorias Trabalhadas Tarefa Modificada O que é o NooJ? O que é o Stencil? HAREM vs. Mini-HAREM Problemas Comentários Finais. Enquadramento.

tilly
Download Presentation

Stencil/NooJ no HAREM Cristina Mota (and Max Silberztein)

An Image/Link below is provided (as is) to download presentation Download Policy: Content on the Website is provided to you AS IS for your information and personal use and may not be sold / licensed / shared on other websites without getting consent from its author. Content is provided to you AS IS for your information and personal use only. Download presentation by click this link. While downloading, if for some reason you are not able to download a presentation, the publisher may have deleted the file from their server. During download, if you can't get a presentation, the file might be deleted by the publisher.

E N D

Presentation Transcript

  1. Stencil/NooJ no HAREMCristina Mota (and Max Silberztein)

  2. Plano da Apresentação • Enquadramento • Categorias Trabalhadas • Tarefa Modificada • O que é o NooJ? • O que é o Stencil? • HAREM vs. Mini-HAREM • Problemas • Comentários Finais

  3. Enquadramento Estudar as EM e os seus contextos diacronicamente e verificar se o REM é influenciado por variações temporais • Cubra vários períodos • Esteja anotado manualmente O que é necessário? CORPUS MAS não existe anotação manual • Precisão elevada • Sem almanaques Como o fazer? ETIQUETADOR

  4. Categorias Trabalhadas Classificacao Quantidade Moeda VARIADO Individual Grupo_Ind Cargo Grupo_Cargo Membro Grupo_Membro VALOR PESSOA OBRA ORGANIZACAO LOCAL Administrativo Empresa Instituicao Sub TEMPO COISA EVENTO Endereco Administrativo Geografico Virtual Extendido ABSTRACCAO Hora Periodo Ciclico Data Morfologia

  5. Tarefa Modificada HAREM • O <ORG TIPO=“Empresa">Hotel Alfa</ORG> possui 500 quartos • O Congresso decorrerá no <LOC TIPO=“EXTENDIDO">Hotel Alfa</LOC> OUR TASK • O <ORG TIPO=“Empresa">Hotel Alfa</ORG> possui 500 quartos • O Congresso decorrerá no <ORG TIPO=“Empresa">Hotel Alfa</ORG>

  6. O que é o NooJ (Silberztein, 2003)? • Plataforma de desenvolvimento de recursos linguísticos: dicionários e gramáticas representados por transdutores de estados finitos • Aplicação de processamento de linguagem natural: análise flexional, derivacional, sintáctica, etc. • Implementação em C# para a tecnologia .NET • Manipulação do formato XML • Processamento integrado de expressões regulares Perl • Aplicação de gramáticas em cascata

  7. O que é o Stencil? • Conjunto de recursos desenvolvidos (e aplicados) no sistema NooJ • As gramáticas descrevem evidências internas e externas (150 grafos) • Não utiliza almanaques • Léxicos sub-categorizados • 897 (3588) adjectivos patronímicos * • 1581 (6180) substantivos que designam profissões e funções * • 26 (104) substantivos que designam cargos • 29 (86) parentescos • 81 (162) substantivos que introduzem instituições (+ 6 que introduzem departamentos) • 25 (50) substantivos que introduzem empresas • 51 paradigmas (dos quais 16 são para compostos) açorenho,A+FLX=Pato+Patrio actor,K+FLX=Actor+Profissao administrador,K+FLX=Cantor+Cargo cunhado,K+FLX=Pato+Parentesco academia,K+FLX=Mesa+Org+Head restaurante,K+FLX=Carro+Emp+Head SecretarioDeEstado = <E>/m+s + <PW><B>a/f+s + <PW>s/m+p + <PW><B>as/f+p; * Entradas extraídas automaticamente da versão pública (em 2002) do dicionário DELAS do LabEL, e marcadas posteriormente.

  8. Texto Presidente George Bush United Nations (UN) Lisbon, a city in Portugal Vila do Conde is located in... Kate Bush performed... UN decided that... Lisbon castle is located... Mary Kate decided... President George Bush United Nations (UN) Lisbon, a city of Portugal Vila do Conde is located in... Kate Bush performed... UN decided that... Lisbon castle is located... Mary Kate decided... Regras precisas Nomes C O que é o Stencil?

  9. Rev Manual Nomes C Rev O que é o Stencil? Texto President George Bush United Nations (UN) Lisbon, a city of Portugal Vila do Conde is located in... Kate Bush performed... UN decided that... Lisbon castle is located... Mary Kate decided... Regras Precisas Nomes C George Bush George Bush United Nations UN Lisbon Portugal Vila do Conde Conde

  10. President George Bush United Nations (UN) Lisbon, a city of Portugal Vila do Conde is located in... Kate Bush performed... UN decided that... Lisbon castle is located... Mary Kate decided... Texto Regras Combinatórias Nomes C Rev Manual Nomes C Rev O que é o Stencil? Texto Regras Precisas Nomes C George Bush Kate George Bush Kate Bush United Nations UN Lisbon Portugal Vila do Conde Rev Manual Nomes C Rev

  11. President George Bush United Nations (UN) Lisbon, a city of Portugal Vila do Conde is located in... Kate Bush performed... UN decided that... Lisbon castle is located... MaryKate decided... Texto Aplicação Directa Texto Anotado O que é o Stencil? Texto Text Regras Precisas Regras Combinatórias <ext n=246 sec=pol sem=91a> <p> <s> A eurodeputada portuguesa <PESSOA TIPO="INDIVIDUAL" MORF="F,S">Maria Santos</PESSOA> é uma das personalidades convidadas pela <ORGANIZACAO TIPO="?" MORF="F,S">Confederação dos Sindicatos Agrícolas Bascos</ORGANIZACAO> Nomes C Nomes C Rev Manual Rev Manual Nomes C Rev Nomes C Rev

  12. O que é o Stencil? Texto Texto Texto Regras Precisas Regras Combinatórias Aplicação Directa Nomes C Nomes C Texto Anotado Texto Anotado Texto Anotado Rev Manual Rev Manual Nomes C Rev Nomes C Rev

  13. 1 única gramática com várias sub-gramáticas, em que o caminho mais longo decide a anotação a adicionar ao TAS (Text Annotation System) 4 gramáticas, 1 por categoria (excepto TEMPO e VALOR que estão na mesma) Diferenças entre experiências EXP1: apenas primeiro passo EXP2*: EXP1 + aplicação directa de listas de nomes classificados extraídos de 3 semestres do CP (74588: 31764 P + 28510 O + 14314 L); os tipos na aplicação directa estão a ser perdidos EXP3: EXP2 corrigido EXP4: EXP1 + regras flexíveis de combinação de nomes do DicPro V5 (3544 Nb+Nf) HAREM vs. Mini-HAREM

  14. Resultados Mini-HAREM Classificação Semântica por categorias no cenário TOTAL e ABSOLUTO EXP1: regras precisas *EXP2: Regras precisas + consulta LOC e ORG EXP3: Regras precisas + consulta LOC, ORG e PES EXP2*: Regras precisas + consulta DicPRO

  15. Problemas • O que é que não está a ser reconhecido? • Governo, Fundação,Câmara,Executivo, ... • PS, PCP, CDS, ... • [ministro da] (Defesa+Negócios Estrangeiros+....) • Fundação para Ciência e a Tecnologia • Ambiguidade 1 • Ribeiro da Silva (PERSON) Ribeiro da Silva (*LOCAL) • Ana Martinho e Martins (da Cunha) Cardoso e Cunha • Ambiguidade 2_3 • [Visitei a cidade do] Porto,LOC → [Visitei a cidade do] Porto,LOC + ORG [O] Porto,ORG [ganhou o jogo] → [O] Porto,ORG + LOC [ganhou o jogo]

  16. Problemas

  17. Comentários Finais • Reformular as gramáticas de modo a poderem ser aplicadas em cascata, e introduzir a resolução de ambiguidades • Apesar de a tarefa que o Stencil/NooJ não ter sido exactamente a do HAREM, os resultados foram positivos, pelo menos na Precisão. O que é paradoxal! • No futuro, se a tarefa se mantiver nos mesmo moldes considerar ser mais fiel ao que foi proposto, fazendo a distinção entre a componente lexical e funcional • De um ponto de vista estritamente pessoal, a avaliação conjunta foi mesmo assim bastante útil pois disponibilizou os Avaliadores que são um instrumento fundamental para poder ir desenvolvendo e testando o sistema

  18. L2 F - Spoken Language Systems Laboratory technologyfrom seed

More Related