Hur göra artikelkritik Gemensam diskussion om artikel Relevanta tidskrifter

1. Hur göra artikelkritik Gemensam diskussion om artikel Relevanta tidskrifter Datalingvistisk metod- och fördjupningskurs HT-2005 Staffan Larsson

2. BÖRJA INTE MED FORMALIA • BÖRJA INTE MED FORMALIA • BÖRJA INTE MED FORMALIA • BÖRJA INTE MED FORMALIA • BÖRJA INTE MED FORMALIA • BÖRJA INTE MED FORMALIA • BÖRJA INTE MED FORMALIA • BÖRJA INTE MED FORMALIA!!!!

3. Artikelkritik

4. Kritisk granskning av artikel • Först: presentera innehållet • neutralt • Sen: diskutera problem • De viktigaste först! • Och möjligen: föreslå framtida utveckling • Bedömningskriterier • Kan användas för att hitta problem • Bör ej ligga till grund för den ordning i vilken problemen presenteras

5. Bedömningskriterier • Innehållsrelaterade • Täckning • Teori • Metod • Data • Argumentation • Originalitet • Formella • Disposition • Språk och stil • Formalia • Muntlig presentation

6. Bedömningskriterie: Täckning • Inga väsentliga luckor i framställningen • God täckning samt explicit och motiverad avgränsning av: • problemområde • beaktade teorier och metoder • relevant litteratur • (säg det som behöver sägas och varför inget mer behöver sägas)

7. Bedömningskriterie:Teori • Visa förtrogenhet med teoribildningen inom det valda området • Utnyttjande av relevanta referenser • Teorianknytning: • Koppla den egna undersökningen till teoretiska frågeställningar

8. Bedömningskriterie:Metod • Lämpliga metoder för uppgiften har använts • Redovisningen av metod följer vetenskaplig standard • T ex tillräckligt detaljerad för att t ex möjliggöra replikering av experiment • Visa förståelse för kopplingen mellan problemställning och vald metod

9. Bedömningskriterie:Data • Relevant empiriskt material redovisas på ett adekvat sätt • Möjliggöra för läsaren att bedöma materialets roll i argumentationen • Databehandling • Urval • Insamling • Systematisering • Klassifikation

10. Bedömningskriterie:Argumentation • Följs frågeställningarna upp? • knyta ihop säcken • Hur väl är uppsatsens slutsatser underbyggda? • D v s om läsaren kan se hur slutsatserna följer ur teori och empiri • Argumentationen bör vara • ”objektiv”: ej stödja sig på tyckanden utan på teoretiska resonemang och empriska fakta • Balanserad: belyser olika sidor av problemställningen, ej ensidigt argumenterande som i t ex politisk text

11. Bedömningskriterie:Originalitet • Ej enbart referat av andras forskning • Egna bidrag av ngt slag • Data ur egen undersökning • Egna tolkningar av tidigare resultat • … • Det ska framgå vad som är ditt egna bidrag och vad som hämtats ur litteraturen • Kvantitet & kvalitet av egna bidraget

12. Bedömningskriterie:Disposition /Organisation • Klar övergripande struktur • Ordning på kapitel, sektioner etc. • Formen ska vara anpassad efter innehållet • Olika sorters uppsats ställer olika formella krav • Några generella kriterier: • Varje avsnitt ska ha en funktion i helheten • Det ska vara lätt att orientera sig i texten • Bestämmelser angående formalia följs

13. Bedömningskriterie:Språk och stil • Uppsatsen följer språkligt och stilmässigt vetenskaplig standard • Grammatik, stavning • Välformulerat, elegant • Läs skönlitteratur, poesi, dramatik för att göra din prosa mer njutbar

14. Bedömningskriterie:Formalia • De formella reglerna följs • Rubricering • Definitioner • Referenser • Citat • Bilder • Siffror

15. Formalia:Definitioner • Undvik avvikande bruk av gängse terminologi • Om din användning avviker, eller om du introducerar en ny term, ge en explicit semspec (1) En semspec av ett ord X är en explicit definition av ordets betydelse, som skrivs utskilt från den löpande texten.

16. Formalia:Citat • Används då man funnit en formulering som man inte kan förbättra genom en parafras • Väsentlig är dock att inte överutnyttja möjligheten att citera • Måste dokumenteras: referens, sida • Måste vara exakt som i originaltexten; ev. utelämnat material måste signaleras • (…) • Korta citat skrivs ”i löpande text” (Ume 2001:4) och inom citationstecken. Längre citat i eget stycke med indrag, utan citattecken. (Ume 2001:4)

17. BÖRJA INTE MED FORMALIA • BÖRJA INTE MED FORMALIA • BÖRJA INTE MED FORMALIA • BÖRJA INTE MED FORMALIA • BÖRJA INTE MED FORMALIA • BÖRJA INTE MED FORMALIA • BÖRJA INTE MED FORMALIA • BÖRJA INTE MED FORMALIA!!!!

18. Gemensam diskussion om artikel

19. Artikelns innehåll • ”Self-organising vocabularies” • Introduction • The self-organising kernel • Spatio-temporal dynamics • (References)

20. Introduction • Linguistics should explain • origin of language • language learning • language evolution • linguistic diversity • One previous approach: Artificial Life • but this approach has some problems • Proposed new approach: Self-organisation

21. Self-organisation • occurs in complex dynamical systems... • ...which are coupled in a particular way • Examples: termite nest, ant paths • Focus of the present paper • formation of vocabularies, i.e. couplings between words and meanings

22. Assumptions • A vocabulary is a self-organising phenomenon • Each agent creates his own vocabulary in a random fashion • Agents are coupled • Must share vocabularies to be able to communicate and cooperate • Agents therefore change their own vocabularies untul it conforms to a common vocabulary • Thesis: under certain conditions, a coherent (but still evolving) vocabulary emerges

23. Structure of paper • First section: Introduce kernel mechanism responsible for self-organisation • Second section: Introduce spatiotemporal dynamics to deal with combinatorial explosions • Third section: Results of some simulation experiments

24. 2 The self-organising kernel • Some formalism is introduced • A: a group of agents of size #A • Each agent aA has a set of meanings MA and a set of words WA • What can happen? • An agent can randomly associate a word wWA to a meaning mMA • Formally, a: w=m • This is later referred to as a coupling • Agents can use w to express m, and interprets w to mean m • Each agent can use a word only once

25. cw,m is the communicative success of coupling m and w • “the percentage of agents in the total group that use w to mean m” • cw,m= (1-K)K/N where • K is the number of agents that use w to mean m • N is #A • When all agents use the same coupling, the communicative success is 1.0 and there should be no more changes

26. Depending on the success c of a coupling, it is either maintained or a random new coupling is created • this decision is based on a sigmoid function, so the chance of change decreases quickly as c increases • This results in a combinatorial implosion • A rapid evolution towards coherence • Self-organisation • This model also supports language learning

27. Problem: • The simple setup does not scale up • Three axes of scaling: • number of agents • number of meanings • number of words • Scaling up along these decreases the probability that several agents will agree on the same word

28. Spatio-temporal dynamics • In normal circumstances... • people have conversations in specific contexts • involving a limited number of words and meanings • A global language develops from these conversations • In reality, not all agents know all words and all meanings

29. A conversation isan event involving • a set of agents A • selected randomly from the complete set of agents • a set of meanings M • selected from the set of meanings of each of the agents • and a set of words W • which the agents have coupled with the meanings in the selected set

30. ck is the communicative success of a coupling k of m to w for a given conversation • “the percentage of agents in involved in the conversation that use w to mean m” • ck= (1-K)K/N where • K is the number of agents that use w to mean m • N isthe number of agents in the conversation

31. Given an agent a and a meaning m, three cases are possible: • a has a coupling k connecting w to m • k is changed based on ck, as before (either maintained or replaced) • a has no coupling k for m • a selects a word w from W och kopplar w till m. If all words are being used, a new word can be created • a did not have the meaning m • a adopts m and chooses a word, as above

34. (Simulated conversations, p 6-8) • Distinct groups of agents can reach local coherence for different associations • Global coherence requires a “well-stirred” community

35. Kritik?

36. saknas definitioner • vad är en agent? • definition saknas • vad är AL? • mer bakgrund • formel för c?? • vad är N? • vad är sigmoid function • metod • hur sattes experimenten upp? svårt återskapa • slumpa fram nya betydelser • avgränsning & antaganden • saknar bakgrund om komplexa system • alla agenter likadana? • mkt kortfattat om litteratur • täckning • hur är situationsspecifik vokabulär kopplat till t ex nationella språk? • ignorerar språkreglering • spelteori • argumentation: • evolverar språket alltid, eller blir det stabilt • disposition • slutsats saknas • knyter ej ihop • utlovad slutsektion saknas

37. [formalia] • figur 4 saknas • litt.referens saknas • layout: figurtext • värden på c? • vad är y-axeln? • inkonsekvens om fig 2

38. Kritik • Uppsatsen är en aning osammanhängande, speciellt mot slutet (Argumentation / Disposition) • Hur följer t ex slutsatserna längst ner s.8 från de simulerade konversationerna? • Målsättningarna följs inte upp explicit (Argumentation / Disposition) • Linguistics should explain • origin of language • language learning • language evolution • linguistic diversity

39. Är antagandena verkligen rimliga? (Argumentation) • Kunde motiveras och diskuteras mer • Den centrala formeln förklaras inte ordentligt – varför inte bara N/K? (Argumentation) • Dolt antagande: det finns ”färdiga” betydelser oberoende av språket • Dock mycket vanligt inom formell lingvistik

40. Nämner inte icke-formella / icke-komputationella studier av de nämnda områdena (Täckning, Teori) • Ngt oklart vad nackdelarna med Artificial Life egentligen är (Argumentation)

41. Självmotsägelse: hur kan en stabil vokabulär fortsätta utvecklas, om det inte blir några fler förändringar när c = 1.0? (Argumentation) • Inkonsekvens i formler för c (Argumenation, Formalia) • Vad är en ”sigmoid function”? Exakt vilken funktion har använts? (Metod)

42. (a sigmoid function)

43. Formalia • Inkonsekvent notation; k vs. w, m för “couplings” • En utlovad resultatdel finns inte som egen rubruk • Standardbeteckning för aritet: |A| • N förklaras inte explicit • saknad referens s.4

44. Lite mer om artikelkritik (muntlig och skriftlig) • Börja med de viktigaste och mest övergripande frågorna! • Spara detaljer till sist • Formalia är jätteointressant för nästan alla nästan alltid • tas bara med om det är absolut nödvändigt • t ex om formaliaproblem leder till att man verkligen inte förstår

45. Vad är viktigt egentligen? • Vad försöker artikeln göra? • T ex argumentera för en tes, redovisa och argumentera för en implementation, redovisa experimentella resultat • Är det tydligt vad uppsatsen försöker göra och hur den gör det? • Om inte, vad är oklart? • Lyckas den? • Om inte, varför? Vad skulle krävas för att den skulle lyckas? • Även om den lyckas, vad kunde ha gjorts så att den hade lyckats ännu bättre? • Finns det t ex något som gör artikeln mer svårläst än nödvändigt? • ... • ... • ... • (Finns det övrigra formella fel?)

46. BÖRJA INTE MED FORMALIA • BÖRJA INTE MED FORMALIA • BÖRJA INTE MED FORMALIA • BÖRJA INTE MED FORMALIA • BÖRJA INTE MED FORMALIA • BÖRJA INTE MED FORMALIA • BÖRJA INTE MED FORMALIA • BÖRJA INTE MED FORMALIA!!!! • (om det går att undvika)

47. Konstruktiv kritik (speciellt i samband med muntlig opposition) • inte “Detta är ett asdumt sätt att göra det här experimentet” • utan “Varför gjorde du experimentet på det här sättet?” • inte “Det du skriver är obegripligt och förvirrat” • utan “Vad menar du när du säger att...”

48. Relevanta tidskrifter

49. WWW allmänt • Google • dock: uppsatser på nätet är inte alltid ”färdiga” • CiteSeer • Amazon • UB

50. Websajter om datlingvistik • Language Technology World • ELSNET: European Network of Excellence in Human Language Technologies • Språkteknologi.se (SLATE) • Survey of the state of the art in Human Language Technology • (GU Dialoglab)