Keuzes in het zoekproces en structuur van het web

1. Keuzes in het zoekproces en structuur van het web Jeroen Bosman VOGIN, 19 november 2013 Wageningen

5. Kenmerken zoekexpert • Kennis onderwerp • Bronnenkennis • Kennis zoektools • Talenkennis, taalcreativiteit • Logica (“verzamelingenleer”) • Zorgvuldig gebruik zoektools • Snelheid (m.n. bij selecteren en evalueren) • Reflectie op eigen zoekproces (bv met reverse search)

6. Deel I: keuzes in het zoekproces

7. Zoeksystematiek • Vraaganalyse • Wensen ‘opdrachtgever’ • Verkenning • Opstellen zoekprofiel: waaraan moet de informatie voldoen, genereren zoektermen • Aanbod • Keuze ingang(en): zoekmachines, databases, gidsen, bookmarksites • Match • Daadwerkelijk zoeken (gebruik syntax, opties en filters) • Selecteren (is het relevant?) • Nabewerking per relevante bron • Evaluatie (is het goed genoeg?) • Opslaan, printen, delen • Eventueel doorzoeken via auteurs en verwijzingen uit gevonden bronnen • Nabewerking zoekactie geheel • Bij doorlopende interesse evt. web en page alerts/feeds instellen • Expliciete reflectie op zoekproces en zoekresultaat • Vervolg op zoekactie • Eventueel andere ingangen of geheel andere typen bronnen (gedrukte literatuur, deskundigen)

8. Vraaganalyse 1: wensen opdrachtgever • Opdrachtgever: wat wil men met de informatie? • Voorwaarden aan aard van informatie (onderzoek, opinie, peer reviewed, actualiteit etc.) • Randvoorwaarden: tijd, geld, vertrouwelijkheid • Rapportagevorm (inhoudelijk, technisch)

9. Vraaganalyse 2: Verkenning • Welke vraag/onderwerp • Wat ligt er al, nuttig als uitgangspunt? • Inhoudelijk verkennen (via bv Wikipedia of ander naslagwerk of via korte zoekactie) • Ideeën opdoen qua context, jargon, zoektermen, typen bronnen, auteurs

10. Vraaganalyse 3: Zoekprofiel • Onderscheiden elementen (variabelen) • Welke? • Allebei even belangrijk? • Vooraf genereren zoektermen • Uit reeds gevonden bronnen • Uit naslagwerken/zoekacties van verkenningsfase • Uit woordenboeken, thesauri (Het juiste woord, Roget’s Thesaurus) • Uit keyword facets in bv. Scopus • Afbakening in tijd, ruimte, speciale omstandigheden waaronder een proces moet spelen • Relevante typen informatie en publicaties • Relevante publicatieperiode

11. Aanbod: Keuze zoekingang • Bepaald door zoekprofiel: onderwerp, type informatie, type publicatie, relevante publicatiejaren, disciplinair perspectief • Bepaald door beschikbaarheid: toegankelijkheid, kosten, licenties • Bepaald door extra wensen: • Zoekmethode: catalogus-, bibliografische, sneeuwbal(citatie)methode (op het web: zoekmachines, gidsen/directories, backlinks) • Zoeken in full-text, links naar full-text • Ook letten op volgorde ingangen (dekking, bekendheid, selectiviteit, + afh. van doel) • Zie voor links naar ingangen de ‘startpagina’ bij deze cursus

12. Match 1: Zoektermen ingeven • Let op woordvarianten en spelling: • Varianten in OR-relatie of: • Trunceren: alles wat met woordstam begint (alleen Exalead) • Automatische “stemming” (enkel-/meervoud enz. bij Google?) • Oxford-English of American–English (s/z, ou/o) • Samenstellingen in Engels los: kwaliteitscontrole > quality control • Denken in termen van het te vinden document (jargon/slang), gebruik zinsnedes / exact phrase met “… …” • Bij Google: wildcard binnen exact phrase “… * …” • Bij Google: verbatim/woord-voor-woord zoeken

13. Match 2: zoektermen ingeven, vv. • Gebruik termsuggesties • voor zoekactie: Google, Exalead, Bing, Yahoo • termen uit gevonden goede webpagina’s • hulpmiddelen: thesaurus, synoniemenwoordenb. (startpag.) Bing Google Yahoo

14. Match 3: zoektermen ingeven, vv. • Gewicht aanbrengen met zoektermherhaling in Google • Voorbeeldzoeken voor ‘lijstjes’ • Iteratief proces: één of meer keren snelle beoordeling zoekresultaat en aanpassing termen/instellingen • Aantallen treffers (in webzoekmachines): wel letten op veranderingen, niet op absolute niveau

15. Match 4: Selectie op relevantie • Wat voor rangorde hebben de resultaten? • De rangorde: beïnvloeden, vertrouwen of alles bekijken? • Kijk naar meer dan titels: • bij boeken/artikelen: • samenvattingen • citaties • omvang (bv LexisNexis) • bij web: • KWIC • domein/organisatie • wel/niet PDF • omvang (bv. bij images en video) • preview (nietmeerbij Google-web)

16. Nabewerking per bron 1: beoordeling • Beoordeling door anderen • Status bron (peer reviewed, uitgever, gezaghebbende instantie) • Affiliatie auteur • Plaats in citatienetwerk (door wie, hoe vaak) • Zelf, inhoudelijk • Bronvermelding (voldoende, geen kernpublicaties gemist) • Opbouw, argumentatie, methode, verantwoording • Formeel (vooral bij websites): • Aanduiding maker/auteur (“about us”) • Aanduiding postadres, telefoonnummer • Aanduiding doel/doelgroep • Goede opmaak • Geen reclame en pop-ups • Heldere navigatie • Interne zoekfunctie • Voldoende snelheid server • Backlinks door gezaghebbende organisaties • Up to date? • Zinnige datering inhoud • Geen grof taalgebruik • Geen kinderlijk taalgebruik • Geen storende taalfouten

17. Nabewerking per bron 2: • opslaan (mail, document, Endnote / Refworks / Mendeley / Zotero / Evernote / Diigo e.d. • versturen (handmatig, vanuit systeem) • bookmark (browser, Delicious, CiteUlike, ‘like’, +) • alert/spion (donderdag) • RSS-feed )met Feedly, Digg etc…. of Outlook

18. Vervolg op zoekactie: Reflectie • Hoeveel gevonden in hoeveel tijd? • Voldoet oogst aan zoekprofiel? • Welke aspecten van zoekprofiel waren meest selectief? • Waren alle vooraf bedachte ingangen even nuttig? • Wat was de overlap tussen de ingangen? • Goede volgorde ingangen gehanteerd? • Wat had de zoekvraag moeten zijn om het beste gevonden document direct te vinden (reverse earch) • Iets geleerd over eigen sterke/zwakke punten?

19. Deel II: Structuur van het web

20. Er is wel structuur: domeinen • soorten top-level-domains (TLD) iso-3166 • generiek: • com / org / net (vrij) • int / edu / gov / mil / arpa (beperkt) • landen: nl/be/au/at/de/uk/us (ccTLD’s, 34%) • jump: tv / nu / to / tk • nieuw: biz/info/name/coop/pro/aero/museum/mobi • generieke ‘subtopleveldomeinen’: co / gob / ac / org etc. (zie http://www.iana.org/domains/root/db/ en http://www.whois365.com/en/listtld/gtld) • per 2009 ook URL’s in niet-Latijns schrift

21. opbouw URL • protocol : // servernaam . subdomein . domein . TLD / map / filenaam . extensie • http : // libguides. library . uu . nl / evalueren

22. URL’s van databasepagina’s • http://aleph.library.uu.nl/F/HDRH5QK8UGC775UMSMU44VT2GSG5VD5VKEI6FMCCN7G75L75LG-04490?func=find-b&find_code=WRD&request=geografische+huis&adjacent=N&x=43&y=11 • http://www.google.nl/search?as_q=vogin+wageningen&hl=nl&rlz=1R2MEDC_nlNL330&num=10&btnG=Google+zoeken&as_epq=&as_oq=&as_eq=&lr=lang_nl&cr=&as_ft=i&as_filetype=pdf&as_qdr=all&as_occt=any&as_dt=i&as_sitesearch=&as_rights=&safe=images

23. zoektools: wanneer wat? • indien zoekvraag feitelijk, specialistisch, met voorkennis, onder tijdsdruk: zoekmachines • indien zoekvraag breed, exploratief, inventariserend, met weinig voorkennis, met relatief veel tijd: onderwerpsgidsen, door mensen gemaakte overzichten

24. Onderwerpsgidsen: algemeen + geen zoektermen nodig vaak actueel annotaties weinig ruis - onvolledig dode links voorkeur maker houdt groei niet bij voor homepages

25. Onderwerpsgidsen • Alle onderwerpen: Open Directory, Yahoo • Nederlands: startpagina, meta: startnederland • Breed wetenschappelijk: Infomine • Web2.0-variant: Digg (nieuws) • Sociaal met voting: Reddit • Zoeken: • via Yahoo (per onderwerp onder ‘webdirectories’) • via Open Directory • via Pinakes (wetenschappelijk) • vragen aan collegae • vragen via discussielijsten, twitter etc.

26. Zoekmachines: dekking • > 15% van de webpagina’s in geen enkele van de grootste zoekmachines • van resterende wel geïndexeerde pagina’s zelfs Google maar 76%, Yahoo 69%, Live/Bing 62% (http://www.cs.uiowa.edu/~asignori/web-size/) • overlap eerste pagina slechts 10% (Spink studie 2006) • dekking zeer ongelijkmatig • verschil in actualiteit

27. Zoekmachines: ontwikkeling • 1994 Webcrawler, Lycos, Alta Vista (10) • 1995 concurrentie Hotbot, Excite, Yahoo (50) • 1997 Northern Light, MSN, sterke groei web > 200 • 1999 opkomst Google en Alltheweb en crisis Infoseek, Northern Light, AV, Excite, ILSE o.a. (100) • 2002 komst Teoma, Wisenut, Gigablast (1000) • 2003 renaissance AV, glorietijd Google (3000) • 2004 consolidatie/concurrentie (4000): • Google+Blogger, verbreding: boeken, kritiek, beursgang • Overture+Alltheweb+AV+Yahoo, ontmanteling AV/ATW • Microsoft: introductie MSNsearch beta: zelf indexeren • 2005 verbreding/innovatie/content (5000-10000) • Samenwerking content providers-zoekmachines? • Teoma wordt Ask en opkomst Amazon met A9 • Doorgroei Gigablast (2000) • 2006-2007 puur zoeken raakt op achtergrond (20000-40000) • Live gelanceerd, YouTube gekocht • uploaden, web 2.0 • gemengde content (Google universal, iGoogle bv.) • specifieke diensten (Google CSE bv) • 2008 Google universal verder ingevoerd (>100000) • 2009 Nieuwe zoekmachine van Microsoft: Bing (>400000) • 2010 Yahoo stopt eigen index; Instant search en preview bij Google (>800000) • 2011 Groei Blekko / Google+ en effect op rest Google • 2012 Pinterest / Facebook in search • 2013 Google Now

28. Zoekmachines: wat vind je niet? • recente webpagina’s/wijzigingen • dynamisch gegenereerde pagina’s • informatie in databases • pagina’s met no robots file • pagina’s met toegangsrestricties • verdwenen pagina’s maar: • Cache (bij Google link in preview) • Wayback Machine archive.org • kleinere archiveringsacties KB en BL

29. Zoekmachines: beperkingen Google • genest Booleaans zoeken > Bing/Exalead • zeer grote pagina’s soms niet volledig geïndexeerd? > Yahoo • + niet bruikbaar voor exact search van 1 woord • truncatie en fonetisch zoeken > Exalead? • zoekgeschiedenis zonder inloggen: Bing • webpagina’s met audio: Exalead

30. Land/taalversies Google Interfacetaal beïnvloedt ook (ranking) resultaat! Taalinstelling zoekactie voorkeuren eenmalig of ‘implied’ door zoekterm Landsversie: beïnvloedt ranking sterk ncr: no country redirect Let ook bij Bing op landsinstelling: alleen VS versie heeft alle functionaliteit

31. Personalisation/localisation • Localisatie effect sterker dan personalisatie • Effect beperken: • Voeg "&pws=0“ toe om in Google personalisation uit te zetten • Gebruik een Chrome incognito window • Log niet in • Zet locatie in mobiel apparaat uit