290 likes | 433 Views
Meten is weten: Ontwikkeling van OO&I databanken en indicatoren --- ECOOM Leuven ECOOM-LEUVEN STAF ECOOM, KU Leuven. ECOOM – Leuven, 3 domeinen. ECOOM – Leuven, 3 domeinen.
E N D
Meten is weten:Ontwikkeling van OO&I databanken en indicatoren--- ECOOM LeuvenECOOM-LEUVEN STAFECOOM, KU Leuven
ECOOM – Leuven, 3 domeinen Bibliometrie, de studie van wetenschappelijke publicatie-output, met nadruk op onderzoek, studies, data, indicatoren op basis van internationale, longitudinale datastructuren (o.a.WoS – TR) Technometrie, de studie van octrooi-output, met nadruk op onderzoek, studies, data, indicatoren op basis van internationale, longitudinale datastructuren (o.a. EPO, USPTO, PCT-WIPO, PATSTAT) Innovatie, de studie van innovatieprestaties en –patronen bij de Vlaamse bedrijven op basis van survey-data verzameld aan de hand van internationale, gevalideerde instrumenten, meer bepaald de OESO O&O-enquête en de EURSOTAT CIS-enquête
OO&I Indicatoren, een overzicht De standaarden --- de O&O-enquête: Frascati Manual: “The internationally recognized methodology for collecting and using R&D statistics, the Frascati Manual is an essential tool for statisticians worldwide. It includes definitions of basic concepts, data collection guidelines, and classifications for compiling statistics. This updated edition contains improved guidelines adjusted for changes in OECD economies, including measurement of service-sector R&D, R&D globalisation, and R&D human resources.” Inhoud (basisindicatoren): Chapter 1. Aim and Scope of the ManualChapter 2. Basic Definitions and ConventionsChapter 3. Institutional ClassificationChapter 4. Functional DistributionChapter 5. Measurement of R&D PersonnelChapter 6. Measurement of Expenditures Devoted to R&D (GERD, BERD, HERD, GOVERD)Chapter 7. Survey Methodology and ProceduresChapter 8. Government Budget Appropriations or Outlays for R&D
OO&I Indicatoren, een overzicht De standaarden --- de CIS-enquête: Oslo Manual: “The Oslo Manual is the foremost international source of guidelines for the collection and use of data on innovation activities in industry. This third edition has been updated to take account of the progress made in understanding the innovation process, the experience gained from the previous round of innovation surveys, the extension of the field of investigation to other sectors of industry and the latest revisions of international standard classifications.” Inhoud (basisindicatoren): Chapter 1. Objectives and Scope of the ManualChapter 2. Innovation Theory and Measurement NeedsChapter 3. Basic DefinitionsChapter 4. Institutional ClassificationsChapter 5. Linkages in the Innovation ProcessChapter 6. Measuring Innovation ActivitiesChapter 7. Objectives, Obstacles, and Outcomes of InnovationChapter 8. Survey Procedures
OO&I Indicatoren, een overzicht Bijkomende data- en indicatorenstelsels bij ECOOM-Leuven, inclusief de ICT-operationalisatie ervan: Bibliometrische indicatoren: WoS (TR) gebaseerd vanwege aanwezigheid van citatie-indexen --- nood aan databeheer en harmonisering --- nood aan domeinspecifieke classificatiesystemen --- internationaal gevalideerde ECOOM classificatie in hoofddisciplines en subdisciplines (zie o.a. REIST standaarden) --- monitoring van nieuwe databronnen zoals BKCI (TR) en Scopus (Elsevier) Technometrische indicatoren: gebaseerd op de grote octrooisystemen in de wereld (EPO, USPTO, PCT) --- nood aan benchmark- en classificatiesystemen --- nood aan harmonisering --- ECOOM methodologie als EUROSTAT en OESO referentiestandaard
De opdrachten (1/3) • Recurrent sinds 2002: • BOF- en IOF-databanken en indicatoren: opbouwen, onderhouden, tellen, valideren, rapporteren, ontsluiten --- samen met de Vlaamse universiteiten, Diensten Onderzoek • Jaarlijkse survey: O&O-enquêtes en CIS-enquêtes, telkens meer dan 5.000 bedrijven op basis van een gestratificeerde steekproef, respons ratio’s 45 – 55%, inclusief de uitgebreide opbouw en onderhoud van bedrijvenpanel • Domeinstudies: verschillende technologiedomeinen, evenwichtstudies, translationeel onderzoek, slimme specialisatie, valorisatie, … • Ontwerp van classificatiesystemen voorwetenschap, technologie en innovatie
De opdrachten (2/3) • Recurrent sinds 2002: • FWO-commissies: profielbepalingen • Bijdrage tot diverse evaluaties door de Vlaamse overheid (FWO, SOC’s, …) • Indicatorenboeken en andere (bvb. Bologna-boek) • Deelname aan commissies als technisch expert voor recurrente opdrachten (VRWI, VLIR-WGO, GP-SHW, EWI, CFS/STAT, NESTI, OESO-TIP, …) • Interface met TR, Elsevier, PATSTAT, … over data en datastructuren
De opdrachten (3/3) • Recurrent sinds 2002: • Output monitoring op domeinen van wetenschap (citatie-impact, productiviteit van onderzoeksgroepen), technologie (octrooigedrag en exploitatie), en innovatie (additionaliteit van O&O-bestedingen, winstgevendheid, investeringsgedrag) • Jaarlijks 15-tot-20 bijkomende ad hoc vragen vanwege de Vlaamse overheid • Wetenschappelijk onderzoek met bijhorende peer-reviewedpublicatie-output
OO&I Indicatoren, de uitdagingen • De 3%-norm heeft geleid tot een sterke inputfocus … • Wat met de resultaten van die input? • Nood aan meer output/resultaatsanalyses • Wat met internationale benchmarking? • Nood aan correcte normeringen, classificatiesystemen en vergelijkende methodes • Wat met nieuwe OO&I mechanismen? • Fiscale maatregelen en hun telling & impact (bvb. de gedeeltelijke vrijstelling van bedrijfsvoorheffing) • Evoluties inzake innovatief aanbesteden • Wat met de nodige methodologisch/technische aanpakken om de vorige vragen expliciet te kunnen bestuderen en beantwoorden? • Geavanceerde econometrische benaderingen (DiD, CDiD, …) • Kwaliteit van data over lange tijdsreeksen
OO&I Indicatoren, de uitdagingen Evoluties 1: ontwikkeling van valide en betrouwbare benchmark methodes, bvb. opbouw van en hiërarchisch classificatie systeem voor het WoS(Glänzel & Schubert, 2003):
OO&I Indicatoren, de uitdagingen Evoluties 1: ontwikkeling van valide en betrouwbare benchmark methodes, bvb. voor vergelijkende analyses van onderzoeksoutput(Glänzel, Thijs, Schubert, Debackere, 2009):
OO&I Indicatoren, de uitdagingen Evoluties 1: ontwikkeling van valide en betrouwbare benchmark methodes, bvb. voor vergelijkende analyses van onderzoeksoutput (Glänzel, Thijs, Schubert, Debackere, 2009):
OO&I Indicatoren, de uitdagingen • Evoluties 1: ontwikkeling van valide en betrouwbare benchmark methodes, bvb. validatie een verbetering van indicatoren: • De mythe van de late erkenning (Glänzel, Schlemmer, Thijs, 2003; Glänzel & Garfield, 2004) • De effect van auteur-zelfcitaties op macro- en meso-indicatoren (Glänzel& Thijs, 2004; Thijs & Glänzel, 2006; Glänzel, Debackere, Thijs, Schubert, 2006) • Validatie en verbetering van op tijdschriften gebaseerde classificatie systemen (Janssens, Zhang, Glänzel, 2009; Zhang, Janssens, Liang, Glänzel, 2010) • Verschillende normalisatiemethoden van citatie-indicatoren (Glänzel, 2007; Beirlant, Glänzel, Carbonez, Leemans, 2007; Glänzel, 2011; Glänzel, Schubert, Thijs, Debackere, 2011)
OO&I Indicatoren, de uitdagingen Evoluties 2: ontwikkeling van valide en betrouwbare benchmark methodes voor het meten van de economische exploitatie van octrooiportfolios (ECOOM 2008 & 2012):
OO&I Indicatoren, de uitdagingen Evoluties 2: ontwikkeling van valide en betrouwbare benchmark methodes voor het meten van de economische exploitatie van octrooiportfolios (ECOOM 2008 & 2012):
OO&I Indicatoren, de uitdagingen Evoluties 3: ontwikkeling van valide en betrouwbare indicatoren voor het meten van O&O additionaliteit: (Aerts & Czarnitzki, 2006, 2008, 2010, 2011)
OO&I Indicatoren, de uitdagingen Evoluties 3: ontwikkeling van valide en betrouwbare indicatoren voor het meten van O&O additionaliteit: (Aerts & Czarnitzki, 2008, 2011)
OO&I Indicatoren, de uitdagingen Evoluties 3: ontwikkeling van valide en betrouwbare indicatoren voor het meten van O&O additionaliteit: (Aerts & Czarnitzki, 2008, 2011)
OO&I Indicatoren, de uitdagingen Evoluties 4:ontwikkeling van valide en betrouwbare benchmark methodes voor het meten van de impact van innovatie samenwerkingen op omzet door nieuwe producten (Faems, Van Looy, Debackere, 2005, 2012):
OO&I Indicatoren, volgende stappen • Verschillende bouwstenen worden aldus ontwikkeld en leiden tot nieuwe relevante indicatoren (impact van innovatie op omzet en groei door nieuwe of verbeterde producten bij de bedrijven, exploitatieresultaten van octrooiportfolio’s, additionaliteit van O&O investeringen, gevalideerde benchmark van het onderzoekssysteem) • Verdere indicatoren staan in de steigers (innovatie en impact op productiviteitsgroei, specifieke innovatietrajectanalyses, …) • Maar … veel uitdagingen blijven eveneens: • Wegens recent karakter van bepaalde maatregelen (fiscaal, innovatief aanbesteden) zijn onvoldoende tijdsreeksdata voorhanden om hun impact op econometrisch betrouwbare manier te meten • Internationaal moeten de indicatoren verder aangepast om de effecten van deze maatregelen mee te nemen, ook aan de inputkant (OESO, EUROSTAT werken hieraan) • Koppeling van geldstromen aan wetenschaps-, technologie en economische classificaties ten einde op domein/sectorniveau analyses te kunnen doen (VALIDATIE NODEN!) • Moeilijkheden om ontluikende innovaties (ecologisch, …) juist in kaart te brengen, zowel langs input- als outputkant (FUZZY BOUNDARIES & STABILITEIT VAN AFBAKENING)