Evaluatie van gemeentelijke websites

1. Evaluatie van gemeentelijke websites Leo Lentz Han van Wel

2. Cascadis 2007: start benchmarkgroep Twee conclusies in 2007: gemeentesites houden te weinig rekening met wat de burger werkelijk wil (en kan) De Overheidmonitor wordt als beperkt ervaren: techniek viert boventoon te veel een lijst met punten die afgevinkt worden te veel op oppervlakkige kenmerken gericht geen echte indicatie van kwaliteit

3. Conclusies HCI-handbook 2008 User centered design is een standaard aan het worden De resultaten van usability evaluaties lijken sterk afhankelijk te zijn van de evaluator Er is weinig overlap tussen de resultaten van verschillende methoden Veel gebruikersonderzoek is beperkt tot een klein domein van de website Benchmarking van methoden onderling is zeer wenselijk

4. Benchmarking tussen gemeentes

5. Essentie in modellen (1):

6. Essentie in modellen (2):

7. Benchmark met 5 onderdelen 1. Bezoekers van de site geven oordelen via een survey (WEQ) over navigatie, ontwerp, inhoud (Universiteit Utrecht) 2. Via analyse logfiles worden de resultaten van de WEQ verbonden met gedrag van de invullers van de vragenlijst (NedStat) 3. Met een feedback button op de eigen site verzamelen gemeentes commentaren en suggesties van bezoekers 4. Met behulp van een scenario-analyse wordt voor vier cruciale taken een expertanalyse uitgevoerd van elke site (Universiteit Utrecht) 5. Met behulp van andere scenario’s vindt een analyse plaats van de processen aan de “achterkant” van de site.

8. 1. De Survey vragenlijst (WEQ

9. Website Evaluation Questionnaire

10. Procedure vragenlijstevaluatie De gemeente plaatst een link naar de vragenlijst Bezoekers kunnen vragenlijst invullen Resultaten worden geanalyseerd Rapport met conclusies en aanbevelingen

11. 4. Voorbeelden in de praktijk

13. Resultaten bereikbaarheid

14. Oordelen van gebruikers vergeleken

15. WEQ tot nu toe Gemeentes Amersfoort Apeldoorn Dordrecht Deventer Nijmegen Purmerend Utrecht Zwartewaterland Resultaat Ranking van deelnemers op de dimensies: Navigatie Inhoud Ontwerp gebaseerd op oordelen van burgers die de site gebruiken.

16. 2. Feedback button Op elke pagina: Het feedback formulier

17. Resultaat feedback button Analyses uitgevoerd op feedback van Rotterdam (2007) Utrecht (2007) De feedback button oogst veel bijvangst Vragen (wanneer komt Sinterklaas in Utrecht?) Commentaar op beleid en personen Verzoek om gegevens te corrigeren Verzoek om bepaalde informatie te plaatsen Meldingen en aanvragen die doorgeleid moeten worden Oogst van Utrecht in 16 maanden: 8000 reacties Dat zijn er 500 per maand

18. Classificatie van feedback Vu Anh (2007) “Uw opmerkingen over de website horen wij graag” Scriptie Universiteit Utrecht

19. 3. Scenario evaluatie Belangrijke verschillen: geen oordelen van bezoekers maar van experts Beperkt tot een klein domein van de site niet kwantitatief (zoals de WEQ) maar kwalitatief Kenmerken: Identificatie van aantal cruciale taken die mensen goed op de site moeten kunnen uitvoeren Uitschrijven scenario’s op die taken kenmerken gefingeerde gebruiker concrete vragen van gebruiker Analyse door expert met Infocus

20. Voorbeeld van een scenario Mevrouw Jansen woont in een huurwoning in Apeldoorn. Zij heeft van de verhuurder het aanbod gekregen om de woning waarin zij woont te kopen voor €160.000,-. Zij zou graag op dit aanbod ingaan, maar de prijs is eigenlijk te hoog. Zij heeft wel eens gehoord dat gemeenten financiële steun geven aan mensen die voor het eerst een woning kopen. Zij gaat op de website zoeken of de gemeente Apeldoorn een regeling heeft om nieuwe kopers te steunen en of zij voor deze regeling in aanmerking komt. 1a. Hoe heet de regeling waarmee de gemeente Apeldoorn financiële steun geeft aan mensen die voor het eerst een woning kopen? 1b. Komt zij als koper in aanmerking voor deze steun? Waarom wel/niet?1c. Hoe zou zij een aanvraag kunnen indienen voor deze steun? Kenmerken: mevrouw Jansen is nog niet zo heel erg ervaren op het Internet. Ze surft weinig en voelt zich gauw onzeker. Ze heeft echter wel een goede opleiding en wil graag het naadje van de kous weten. Ze leest alles wat maar relevant lijkt en geeft niet gauw op.

23. Scenario’s tot nu toe Scenario-evaluaties: Formulieren van Amsterdam Website van Utrecht Amersfoort Dordrecht Gemeentes provincie Gelderland (www.gelreweb.nl) Utrecht

24. In het laboratorium (niet in benchmark) Hardop denken Tijdens taakuitvoering Na het uitvoeren van de taak (retrospectief) Registratie oogbewegingen Proefpersonen voeren taken uit Oogbewegingen worden geregistreerd Meestal in combinatie met hardop denken Altijd in combinatie met de vragenlijst (WEQ) Uitgevoerd op sites van Amersfoort, Apeldoorn, Dordrecht en Nijmegen (N=240)

25. Benchmark tot nu toe Een interessante werkgroep met een veelbelovende combinatie van gemeentes en experts in usability Grote bereidheid om een stap verder te zetten in kwaliteitszorg voor gemeentes op het Web Uitstekend plan voor een pilot ontwikkeld met een interessante combinatie van methoden Interessant aanbod van marktpartijen om daar tegen bodemprijzen aan mee te werken Uitdagingen: financiering vinden bij de betrokken gemeentes budget Relatie ontwikkelen met landelijke initiatieven (ICTU en BZK) Inbedden in benchmark-ambities VNG

26. Conclusies Benchmark Eerste waardevolle aanzet in de richting van serieuze kwaliteitszorg voor het web Sterke punten: Gemeentes werken samen en leren van elkaar Organisaties met expertise in usability werken samen Diverse metingen / instrumenten waardoor de resultaten veel betrouwbaarder zijn Ervaringen van gebruikers worden gecombineerd met expert-oordelen Zowel globale kwantitatieve resultaten als meer diagnostische kwalitatieve resultaten Zowel aandacht voor de voorkant als de achterkant Problemen: Gemeentes hebben nauwelijks budget Geen overkoepelende ondersteuning