La valutazione della ricerca agraria in Toscana: la proposta dell’ARSIA

1. La valutazione della ricerca agraria in Toscana: la proposta dell’ARSIA Dr. Carlo Chiostri Dirigente ARSIA Responsabile del Servizio “Promozione, collaudo e trasferimento dell’innovazione”

2. Tappe del percorso di approfondimento delle strategie e delle procedure per l’innovazione in agricoltura 1996  BANDO DI RICERCA e procedure attuative (valutazione ex ante, in itinere) TAVOLO DI FILIERA/PROGETTO 1995    2002-3 ELENCO VALUTATORI ESTERNI MANUALE DI VALUTAZIONE … … In fase di definizione 2000

3.  Il tavolo di filiera/progetto (momento di concertazione tecnica) Rappresentanze dei produttori agricoli e delle imprese agroindustriali e agroalimentari (**) Mondo della ricerca Altri (*) Associazioni di consumatori Associazioni ambientaliste Risultato: definizione delle priorità, nonché di obiettivi e tematiche dei bandi di ricerca (*) dipartimenti competenti della Giunta regionale, ordini e collegi professionali, consorzi di tutela, etc. (**) OO.PP.AA., Ass. Industriali, A.P.I., Ass. artigianato, grande distribuzione organizzata, etc.

4.  BANDO DI RICERCA e procedure attuative (valutazione ex ante, in itinere) Strumenti di diffusione • Pubblicazione sul Bollettino Ufficiale della Regione Toscana • Pubblicazione su 3 quotidiani nazionali • Inserimento sul sito web dell’ARSIA • Pubblicazione di un estratto su riviste specializzate • Eventuale conferenza stampa appositamente convocata • Pubblicazione su GUCE, ove previsto dalla normativa vigente

5.  I bandi di ricerca promossi dall’ARSIA dal 1996 al 2002 (n° per settore) N° totale bandi di ricerca: 30

6.  I progetti promossi dall’ARSIA dal 1996 al 2002 attraverso i bandi (costi totali, in €) Costo totale dei progetti finanziati: 8.872.608 €

7.  Risultati ottenuti dall’ARSIA con i bandi di ricerca La promozione della ricerca in Toscana: • ha riportato le imprese al centro del sistema della domanda di innovazione, • ha dato ai ricercatori la possibilità di portare idee al tavolo, stimolando la domanda, • ha creato un servizio per favorire l’accesso ai programmi di ricerca nazionali ed europei, • ha indotto ad una maggiore competitività tra i soggetti scientifici, • ha orientato le imprese ed i soggetti scientifici ad una scelta più appropriata del finanziamento (europeo, nazionale o regionale) secondo il livello del problema da risolvere.

8.  Risultati ottenuti dall’ARSIA con i bandi di ricerca Il trasferimento dei risultati in Toscana è stato facilitato attraverso: • le metodologie sviluppate nell’ambito dei progetti di ricerca promossi con i bandi, • la creazione di servizi ad hoc per rendere fruibili ai potenziali utilizzatori – in tempi brevi - le innovazioni disponibili. www.agrinnova.it

9.  Le aree tematiche dell’elenco di esperti valutatori ELENCO DI ESPERTI (*) Aree tematiche: • produzioni vegetali (n° 64); • produzioni animali (n° 27); • clima, agronomia e irrigazione, meccanica agraria, energia (n° 38); • salute e alimentazione (n° 19); • economia agraria e sviluppo integrato dello spazio rurale (n° 36) N° esperti attualmente iscritti: 108 (anche in più aree tematiche) (*) riapertura sul BURT n° 42 del 16 ottobre p.v. (Parte terza)

10.  I criteri di scelta degli esperti valutatori • Area tematica del bando di ricerca • Mancata esistenza di rapporti di appartenenza/interesse con le strutture partecipanti al progetto • Curriculum vitae • Principio di rotazione, ove possibile

11.  Il manuale di valutazione  • Selezione delle proposte • Valutazione in itinere di progetto (a cadenza annuale) • Valutazione finale di progetto • Valutazione ex post di progetto CONTENUTO

12.  Il percorso del manuale di valutazione dicembre 2001 – definizione della bozza di manuale, approvata dal CTS, dall’Amministratore e dalla dirigenza ARSIA 2002 – collaudo del manuale con il coinvolgimento sia di parte della struttura ARSIA sia dei valutatori (doppia valutazione) 11 ottobre 2002 – presentazione della bozza di manuale, per acquisire indicazioni novembre 2002 – condivisione del manuale con l’intera struttura ARSIA, per formare gli addetti ed acquisire indicazioni dicembre 2002 – adozione definitiva del manuale e delle nuove procedure

13. Il ciclo della programmazione e i momenti della valutazione Programmazione Valutazione ex-ante (Tavolo di filiera - concertazione tecnica) Conclusione Valutazione ex-post Report finale BANDO Selezione Proposte Valutazione Finale Realizzazione Monitoraggio Valutazione in-itinere

14. La valutazione Soggetti competenti ad effettuare la valutazione Oggetto della valutazione Strutture di ricerca Ministeri competenti Strutture di ricerca, ricercatori Strutture di ricerca Ministeri competenti Regioni Progetti di ricerca, risultati

15. Obiettivi della valutazione • Ricerca di una sempre maggiore uniformità con i principi e i metodi UE  conoscenza delle regole per i valutatori, trasparenza sulle regole per i soggetti valutati • Necessità di una verifica non più solo di tipo qualitativo, ma anche quantitativo • Necessità di render conto dei risultati della selezione delle proposte in maniera oggettiva ai soggetti che hanno presentato progetti

16. Valutazione ex-ante BANDO La valutazione ex ante Analisi ambiente rurale toscano Individuazione problemi/bisogni Specificazione nel programma annuale di attività dell’ARSIA Trasposizione nel programma triennale di attività dell’ARSIA Evidenzia i problemi da risolvere, i bisogni da soddisfare e le opportunità che possono essere colte dagli interventi

17. La selezione delle proposte Sulla base di criteri espliciti, assegna un punteggio, predispone la graduatoria e sceglie quale proposta progettuale, fra quelle presentate in risposta ad un bando, merita il cofinanziamento. Viene svolta da un’apposita Commissione di valutazione, composta da valutatori indipendenti (2) e dall’ARSIA (1) COME Selezione Proposte

18. I criteri per la selezione delle proposte • Innovazione della ricerca, sua validità tecnico-scientifica e trasferibilità dei risultati ottenuti; • specificità delle competenze; • qualità del management; • partecipazione di soggetti imprenditoriali; • eventuale collegamento e continuità con ricerche ARSIA; • compartecipazione finanziaria al progetto (minimo 25%)

19. La valutazione in itinere di progetto Verifica annualmente il raggiungimento dei risultati intermedi Fornire gli elementi per una decisione in merito alla prosecuzione (+ eventuali raccomandazioni) o meno del progetto SCOPO Valutazione in-itinere

20. La valutazione finale di progetto Verifica l’attinenza dei risultati ottenuti al termine di un progetto con quanto stabilito nel contratto Garantire l’adempimento contrattuale SCOPO Valutazione Finale

21. Valutazione ex-post La valutazione ex post di progetto Giudica l’attinenza, l’efficacia, l’utilità e la sostenibilità dei risultati del progetto rispetto a quanto previsto dal bando cui il progetto ha risposto Valutare gli effetti del progetto rispetto al problema evidenziato dal bando SCOPO

22.   Tavolo di filiera/progetto    Bando di ricerca Schema progettuale   Elenco dei valutatori Risorse finanziarie Manuale di valutazione Gli strumenti messi a disposizione dall’ARSIA per la ricerca agraria in Toscana