Evaluering i innovationsprocesser

1. Rolf Kromand og Claus Rebien Evaluering i innovationsprocesser Evaluering i innovationsprocesser

2. Formål Oplæg (ca. 35 min) Respons (ca. 15 min) • Plenum og diskussion Den næste time Evaluering i innovationsprocesser

3. Ca. 80 økonomi- og management- konsulenter Et management bureau iløbendesamarbejdemed 6000 tekniskeeksperterom at skabestærkebeslutningsgrundlag og effektiveændringsprocesser Vi gennemfører cirka 50 evalueringer om året COWI Management– kvalitet i opgaveløsningen 4 september 2013 Evaluering i innovationsprocesser

4. Konferencetema: Evaluering som forandrende kraft Evaluering er langt fra en "voksen" og fejlfri "videnskab". Der er flere ufuldstændigheder og svagheder. Kan innovationstænkning og –forskning på frugtbar vis anvendes til at styrke evaluering? Formål Evaluering i innovationsprocesser

5. Problem med evaluering Evaluering i innovationsprocesser

6. Evalueringsdisciplinens udfordringer/ufuldstændigheder Evaluering i innovationsprocesser

7. To forslag til den innovative tilgang til evaluering Finding the 'sweet spot' Bagemaskinemodellen Evaluering i innovationsprocesser

8. Venture Capitalistisk tilgang med fokus på fejl og det ekstreme tilfælde Finding the sweetspot- the VC approach Evaluering i innovationsprocesser

9. Most attempts at innovation, by definition, arerisky and should ‘fail’ — otherwisetheyareusingsafe, ratherthanunknown or truly innovative approaches. A fewkeyimpacts by a minority of projects or participants maybemuch more meaningfulthanchanges in mean (or average) scores. Yet the most common measure of programme impact is the mean. In contrast, thispaper suggests thatevaluation of innovation shouldidentify the minority of situations where real impact has occurred and the reasons for this. This is in keeping with the approach venture capitaliststypicallytakewheretheyexpect most of theirinvestments to ‘fail’, but to becompensated by major gains on just a few. (Perrin, B. 2001) Finding the sweet spot Evaluering i innovationsprocesser

10. Finding the sweet spot • Finding the sweet spot – evaluering fra en anden vinkel • Gennemsnitsbetragtningen kan gemme de vigtige data • Vi har ofte en forsimplet forståelse af sammenhænge og kausalitet • Problemet med objectives og performance management

11. Et forslag med udgangspunkt i Nonaka og Takeushis model for innovationsprocesser Fra Nonaka, Ikujiro og HirotakaTakeuchi´sthe knowlegdecreatingcompany En innovationsmodel fra en bagemaskine Evaluering i innovationsprocesser

12. Projektet var kort fortalt, at vise hvorfor japanske firmaer var bedre til innovation og til at lave bedre produkter De sendte ingeniørerne ud…. En innovationsmodel fra en bagemaskine Evaluering i innovationsprocesser

13. En model baseret på at indfange 'tacit' knowledge Gøre det formiddelbart og forståeligt til eksplicit knowledge Dele det og kontekstualisere det med anden viden Indbygge det i produkter eller processern (som kan læres og internaliseres) En innovationsmodel fra en bagemaskine Evaluering i innovationsprocesser

14. En innovationsmodel for en evaluering Tacit Evalueringsspg. og analyseramme Projekt/ processer Externalization Socialization Tacit Eksplicit Evaluator Interessent 1# Internalization Combination Interessent 3# Interessent 2# Eksplicit Evaluering i innovationsprocesser

15. Brug af modellen på et byrdestudie for danske søfolk Evaluering i innovationsprocesser

16. Formålet med undersøgelsen var at: • kortlægge hvordan danske søfolk oplever administrative byrder om bord på skibene • afdække årsager og begrundelse for administration med udgangspunkt i de daglige rutiner om bord på skibene • igangsætte overvejelser over hvordan man kan adressere disse resultater Metoder vi anvendte var: • Interview med opdragsgiver og folk på land • Surveyundersøgelse blandt søfolk • Observationsstudier på skibene • Workshops med branche- og interesseorganisationer En innovationsmodel for en evaluering af byrde på danske fartøjer Evalueringsspg. og analyseramme Emne: Administrative byrder på danske skibe Evaluator Branche org. Teknisk ekspertise Rederier Evaluering i innovationsprocesser

17. Hvad vi fik ud af det: • Vi fik en enorm praktisk forståelse af søfolks dagligdag • Vi kom ud over kun at se på opfyldelse af procedurer med udgangspunkt i procedurerne • Vi så på det som rent faktisk virkede Konkrete resultater: • Fik sat et stærkt fokus på craftmanship • Fik sat en positiv dialog i gang ml. rederierne og deres søfolk • Reduceret administrative byrder og hjalp dem til at rydde op. Et rederi gik igennem deres procedurer og reducerede dem fra ca. 4000 til 800 En innovationsmodel for en evaluering af byrde på danske fartøjer Evalueringsspg. og analyseramme Emne: Administrative byrder på danske skibe Evaluator Branche org. Teknisk ekspertise Rederier Evaluering i innovationsprocesser

18. Kan innovationstænkning løse vores evalueringssvagheder? Evaluering i innovationsprocesser

19. Spørgsmål og diskussion - plenum Tror du innovationstænkning kan befrugte evalueringspraksis? Hvilke svagheder/udfuldstændigheder kan man især få bugt med? Evaluering i innovationsprocesser

20. Evaluerings udfordring/ufuldstændigheder (vers 2.0) Evaluering i innovationsprocesser

21. En metode til at få nye øjne på praksis og samle erfaringer op som måske ellers er svære at samle op ved at inkludere tavs viden Have et godt blik for 'the sweet spot' Dialog mellem opdragsgiver og evaluator: Kan man slække på kriterier (sustainability og efficiens) og gøre opdraget mere "innovationsparat"? Begynde at tænke evaluering mere i lyset af at komme frem til gode anbefalinger til kunden – måske fordi evaluator har set det på en måde som kunden ikke gør Tænk ud af boksen i forhold til hvem og hvordan der inddrages i evalueringen, så det ikke kun er 'the usualsuspects' der kommer til orde Med hvad kan innovationstænkning styrke evaluering? Evaluering i innovationsprocesser

22. How to −− and How Not to −− Evaluate Innovation. 2001. Burt Perrin : http://www.rismes.it/pdf/Perrin.pdf Patton og developmentalevaluation/formativ evaluering, når du siger evaluering som innovationsmotor (jf. Weiss vs. Patton debat). The Knowledge-Creating Company. IkujiroNonaka & HirotakaTakeuchi:http://ukcatalogue.oup.com/product/9780195092691.do Kilder: Evaluering i innovationsprocesser