Hur utvärderas biblioteken i praktiken?

Hur utvärderas biblioteken i praktiken? Angela Zetterlund, Fil Dr, BHS Forskardagen, Svensk Biblioteksförening. 2009

Bakgrund • Utvärderingsböljan under 90-talet • Förhoppningar knutna till utvärdering • Men, fungerar det i praktiken?

Forskningsfokus • - Vad är det för typ av studier som genomförs i samband med utvärdering av folkbibliotekens förnyelseinriktade program? • - Vilken kunskap eftersöks i dessa studier och vilka metoder tillämpas? • - Gentemot vilka kriterier bedöms resultaten av programmen när dessa utvärderas och på vilket sätt går bedömningsarbetet till i praktiken? • - Hur bemannas och organiseras utvärderingsarbetet i dessa program? • - I vilken form dokumenteras utvärderingsresultaten och på vilket sätt sprids de vidare för att komma till användning ?

Mina fall

Intervjuer • Beslutsfattare och finansiärer - De personer som fattat formella beslut om och givit ekonomiskt stöd till de tre programmen, det vill säga personer i den politiska och administrativa ledningen. I mitt urval finns handläggare på statliga myndigheter, lokala och regionala förvaltningschefer samt kommunpolitiker. • Implementerare- De personer som varit program- och projektledare och de som deltagit på olika nivåer i genomförandeprocessen. Det rör sig i programmen om lokala enhetschefer, bibliotekarier, assistenter och i något fall även en del biblioteksanvändare som varit tillfälligt knutna till programmen. Till denna grupp hör även personer, bibliotekarier främst som arbetat i biblioteken under programmets gång, men inte deltagit direkt i programverksamheten. • Utvärderarna - De personer som ansvarat för och aktivt medverkat i utvärderingsstudierna inom programmet. I programmet är denna grupp den som är mest disparat och omfattar aktörer från flera olika institutioner såväl offentliga som privata samt personer inom programmet som haft denna uppgift. I mitt urval finns bland annat högskolelärare, doktorander och uppsatsstudenter, privata konsulter, tillfälligt anställda bibliotekarier och informatörer, bibliotekarien med förtroendeuppdrag, tjänstemän från ett större mediaföretag och metodexperten från ett statistiskt institut.

Dokument • Privat, internt arbetsmaterial– Opublicerat material som exempelvis personalens arbetsdagböcker, mötesanteckningar och minnesanteckningar från enskilda individer eller arbetsgrupper. • Offentligt material – Handlingar och protokoll hos berörda myndigheter och förvaltningar, projektansökningar, beslut och redovisningsrapporter med anknytning till programmen, formell korrespondens, informationsmaterial om exempelvis kurser, mässor och konferenser. Uppgifterna finns i regel arkiverade i offentliga register eller är publicerade inom programmet för offentlig spridning. • Internt utvärderingsmaterial– Opublicerade utvärderingsrapporter och annat underlag som enkätformulär, summerande datasammanställningar, statistiskt material, manus och utkast till utvärderingsavsnitt. • Publicerade utvärderings- och projektrapporter- Publicerade rapporter skapade av och inom programmen i form av utredningar, projektdokumentation, utvärderingar, monografier och delavsnitt i monografier. • Övriga skrifter – Uppsatser, artiklar skrifter med relevans för programmen eller dess olika lokala projekt, men som inte producerats inom programmens ram. Det rör sig här exempelvis om artiklar i dagspress, branschpress, fristående uppsatser från universitet och högskolor o dyl.

Resultat – tre strategier

Bedömningskriterier • Brukarpreferenser • Mål • Effektivitet • Professionella/institutionella normer • Intressenters krav • Övriga (teorier t.ex) ---undviker samlad bedömning----

Vad vill biblioteken veta? • Programmets kontext • Tolkningar av mål och intentioner • Implementeringsprocessen • Problem och svårigheter i processen • Bibliotekens inre verksamhet • användarna

Vad uppnås? • Prestationer och effekter på kort sikt • Goda möten och relationer • Förbättrad samordning och samverkan • Ökad kunskap ---- inget intresse för effektivitet-------

Vad räknas som utvärdering? • Slututvärdering • Lokala användarstudier • Sakinriktade utvärderingar ---- olika studier/olika roller----

Dokumenteras resultaten? • Enkla sammanställningar • Förvaltningsrapporter • Publicerade monografier, artiklar • Nej, det mesta sprids muntligt ----- resultaten gallras hårt-----

Vem utvärderar? • Interna • Externa • Kombination av interna och externa ------- Lojalitet/kompetens-------

Hur sprids de vidare? • Horisontellt – via olika yrkesnätverk • Hierarkiskt - via formella kanaler • Ad-hoc – via debatter, förlag + medier

Viktiga slutsatser • Utvärderingar av bibliotekens förändringsarbete - inga neutrala tekniska verktyg • Utvärdering är inte samma sak som att mäta • Många undersökningar - Flera parallella strategier

Slutsatser • Det finns en ovilja till kritisk granskning av effektiviteten • Kompetensen är otillräcklig både hos interna och externa

Slutsatser - användarna • Användarnas erfarenheter viktiga – men bara ibland • Användarnas behov är dåligt klargjorda

Slutsatser • Målen sätts i efterhand • Statistik saknar relevans – används som dekoration • Utvärderingar ingår i sociala och ”politiska” spel

Slutsatser – utvärderingens bidrag • Både positiva och negativa följder • Stöttar och vägleder processen • Ökar prestationen på kort sikt • Samlar ihop och rundar av satsningen • Efterkonstruerar och rationaliserar • Legitimerar utvecklingens riktning • Symboliserar framsteg, utveckling och effektivitet

Slutsatser • Stjäl resurser från ”verksamheten” • Hotar och skrämmer • Skärper konflikter (gamla) • Dämpar kreativitet och förändringsvilja • Ökar osäkerheten och kunskapsbehov • Missförhållanden tonas ned

Råd inför egen utvärdering • Vad finns det för behov av utvärdering? • Vad finns det för behov av förnyelse? • Vad står på spel? Makt, intressen, resurser • Det finns alltid problem och konflikter, även om detta inte erkänns • Vad skall ni göra med resultaten? • Resurser till just utvärderingen

Råd inför egen utvärdering • Kan man gå ihop och utvärdera, ansvarsfrågan viktig • Vem skall utvärdera • Närhet – distans • Lojalitet-oberoende • Finns det accepterad metod/teknologi? • Löpande uppföljning representerar det kända och accepterade, inte alltid det bästa.

Råd inför egen utvärdeing • Kolla upp vad andra gjort, det finns många utvärderingar i hyllorna (det kallas inte alltid så) • Utvärderingar lever längre än man tror. Ibland är det det enda som finns kvar av en satsning

Råd inför utvärdering • Var kortsiktigt pragmatisk • Var långsiktigt kritisk • Involvera många i processen • Men var tydlig över ansvaret

Hur utvärderas biblioteken i praktiken?