Gids voor de meting van effecten van Competentiepolen en projecten TETRA en Collectief Onderzoek

1. Gids voor de meting van effecten van Competentiepolen en projecten TETRA en Collectief Onderzoek Infosessie VIN netwerk

2. IDEA Consult (www.ideaconsult.be) • Opgericht in 1998, gebaseerd in Brussel, 40 werknemers • Ecorys groep (met kantoren in o.a. Nederland, VK, Spanje, Rusland, Turkije, Hongarije) • Onderzoek & advies • Beleid • Nationale en Europese overheden • 4 kennisvelden • Competitiviteit en Innovatie • Arbeidsmarktbeleid • Regionale en stedelijke ontwikkeling • Vastgoed en ruimtelijke ontwikkeling

3. Agenda • Achtergrond • Over deze studie • Het belang van effectmetingen • Onderliggende principes en bouwstenen • Het meetproces in vier stappen • Doelstellingen • Effecten • Indicatoren • Meting

4. Over deze studieDoelstellingen • Ontwikkelen meetmethodiek (generieke set van parameters) • Voor CP: om als managementtool te gebruiken en ter verantwoording van (publieke en private) middelen. • Voor IWT: om als tool te gebruiken om de relevante resultaten en directe/indirecte effecten te meten en de werking van het programma te kunnen evalueren. • 3 verschillende programma’s (CP, VIS-CO en TETRA), 1 generieke meetmethodiek.

5. Over deze studieInterrelatie met andere studies • Selectie van gerelateerde IWT studies (www.iwt.be/publicaties): • Studie 48: ‘Making the Difference: The Evaluation of "Behavioral Additionality" of R&D Subsidies’ • Studie 56: 'Whatdifference do IWT R&D grantsmakefortheirclients’ • Studie 59: 'De effectiviteit van het Vlaamse Innovatiesamenwerkingsverband (VIS)’ • Studie 61: 'Werking en effecten van Collectief Onderzoek’ • Studie 62: 'Zelfevaluatie van competentiepolen'

6. Over deze studie Aanpak • Empirische toepassing door middel van 7 ‘testmetingen’. • Studie bouwt voort op “methodiek zelfevaluatie van competentiepolen”. • Concept eindrapport is beschikbaar.

7. Belang effectmetingen? • Investeren in O&O • Studies op bedrijfsniveau (O&O) leidt tot bruto rendementen tot 20-30% • Inclusief kennisverspreiding, loopt dit op tot 30-40% • Alle bedrijven doen aan O&O dus? Nee, want: onzekerheid, toe-eigening, destructie • Marktfalen, dus overheid moet rol opnemen (CP, TETRA, CP) • Verantwoording in functie van keuzes en beperkte middelen

8. Onderliggende principes en bouwstenen • Algemene principes meetkader/handleiding • Meten van gerealiseerde effecten • Meten van waardecreatie bij de ‘ontvangers’ • Toelaten ‘bottom-up’ aanpak • Werken met ‘blauwdrukken’ • ‘Pick list’ van indicatoren (‘type’ indicatoren) • Praktische tips en suggesties • Beperken van administratieve lasten

9. Effecten en hun dimensies • Drie dimensies: • Niveau waarop de effecten zich kunnen voordoen (ontvanger, uitvoerders). • Soorten effecten waarop een project gericht is. • De tijdsdimensie waarop deze effecten te verwachten zijn (KT, MT, LT).

10. Soorten effecten

11. Tijdsdimensie effecten • KT: ‘tijdens’ of ‘netna’ de uitvoering van een project • < 1 jaar na afloop van een project • Ev. rekening houdend met verlengde looptijd • MT: ‘na’ de uitvoering van een project • >1 en <3 jaar na afloop • Ev. rekening houdend met verlengde looptijd • LT: ‘ruim na afloop’ van een project • > 3 jaar • Attributie probleem

12. Het meetproces in vier stappen (1)

13. Het meetproces in vier stappen (2)

14. Vraag 1 - Doelstellingen • Vraag 1 • Welke doelstellingen stellen wij (als projectaanvragers) centraal? • Gewenst resultaat • Een helder overzicht van de doelstellingen die u als projectaanvrager/-uitvoerder met uw project nastreeft. • Mogelijke hulpmiddelen • De IWT handleidingen die in detail aangeven welke activiteiten, en dus doelstellingen, gefinancierd kunnen worden. • De blauwdruk van doelstellingen voor CP, TETRA en CO die te vinden zijn in bijlagen 1, 2 en 3 (zie handleiding) waardoor u zich kunt laten inspireren. • Het ‘Logic Model’ principe.

15. Blauwdruk

16. Vraag 2 - Effecten • Vraag 2 • Welke effecten wilt u bereiken? • Gewenst resultaat • Een helder overzicht van de effecten die u via uw project wenst te bereiken en waarover u als projectuitvoerder verantwoordelijkheid draagt. • Mogelijke hulpmiddelen • De IWT handleidingen die in detail aangeven welke doelstellingen en resultaten worden verwacht van een soortgelijk project. • De ‘grid’ die wij voor u hebben ontwikkeld in het kader van deze handleiding. • Het ‘Logic Model’ principe zoals eerder uitgelegd. • De door u vooropstelde intermediaire doelstellingen die feitelijk uw uitgangspunt moeten zijn.

17. De ‘grid’

18. Vraag 3 - Indicatoren • Vraag 3 • Welke indicatoren zijn geschikt om de effecten te meten en dus te monitoren? • Gewenst resultaat • Een selectie van indicatoren die toelaten om op periodieke basis de vooropgestelde effecten te meten en dus het succes van de eigen werking te kunnen aantonen. • Mogelijke hulpmiddelen • De IWT handleidingen die in detail aangeven welke indicatoren (vooral activiteiten) periodiek gerapporteerd moeten worden. • De in deze studie ontwikkelde lijst met ‘type’ indicatoren per soort effect (toegespitst naar niveau en tijdsdimensie).

19. Indicatoren • 21 voorgestelde indicatoren • Fiche uitgewerkt per indicator • Lijst met overige type indicatoren • Kenmerken goede indicatoren • Relevantie • Afbakening • Acceptatie • Geloofwaardigheid • Eenvoud • Betrouwbaarheid en robuustheid • Consistentie en vergelijkbaarheid

21. Fiches indicatoren - Voorbeeld I

22. Fiches indicatoren - Voorbeeld II

23. Vraag 4 - Meetaanpak • Vraag 4 • Welke meetaanpak is het meest geschikt? • Gewenst resultaat • Een concreet aanpak/plan voor de verzameling van de nodige variabelen/data (rekening houden met efficiëntie) • Mogelijke hulpmiddelen • De indicatorenfiches • Aangereikte type vragenlijst om de meeste indicatoren te meten (en overige tips) • Het rapport ‘Zelfevaluatie Competentiepolen’

24. Vraag 4 - Meetaanpak • Belangrijk om afspraken met leden/bedrijven te maken op voorhand • Integratie met huidige rapportagetools • Zelfevaluatie, RAP, … • Efficiënte meting en rapportage (aanzet vragenlijst in rapport) • Onafhankelijk van verplichtingen richting IWT • Belangrijk om meerdere gegevensbronnen met elkaar te confronteren (validatie)

25. Contact Arnold Verbeek Manager – Senior expert Innovatie & competitiviteit Arnold.verbeek@ideaconsult.be Sjouke Beemsterboer Analist Innovatie & competitiviteit Sjouke.beemsterboer@ideaconsult.be