Javier Sebastián

1. ANEP: Cómo preparar las propuestas de proyectos para tener más éxito en las convocatorias del Plan Nacional de I+D Javier Sebastián Coordinador del Área de Ingeniería Eléctrica, Electrónica y Automática (IEL) en la Agencia Nacional de Evaluación y Prospectiva (ANEP)

2. Motivación de esta presentación Investigadores Evaluadores Dar transparencia al proceso de evaluación

3. Dirección General de Investigación convocatoria Decisión sobre financiación Investigadores Proyecto Expertos del MEC (Ministerio de Educación y Ciencia) ANEP (Agencia Nacional de Evaluación y Prospectiva) Comisión de selección (mixta) Ejemplo de especial importancia: El Plan Nacional de I+D+i

4. Áreas y Programas del Ministerio Áreas de ANEP Áreas y Programas del Ministerio versus Áreas de ANEP • Estructura matricial • ¡¡Ojo, esto está cambiando!!

5. Programas del Ministerio ENE DPI MAT TEC TI TRA TSI COM INF ICI Áreas de ANEP IEL IME TM TQ Estructura matricial Pogramas MEC versus Áreas ANEP en ingeniería • ¡¡Ojo, esto está cambiando!!

6. Programa del MEC Área ANEP ¿Dónde se elige el “Programa del MEC” y dónde se elige el “Área ANEP”? • ¡¡Ojo, esto ha cambiado ya!!

7. Parte a describir Descripción detallada del proceso de evaluación en el Plan Nacional de I+D+i (1 / 8)

8. Proyecto 3 Progr.: TEC A. ANEP: COM Proyecto 1 Progr.: ENE A. ANEP: IEL Proyecto 2 Progr.: DPI A. ANEP: IEL Proyecto 4 Progr.: TEC A. ANEP: IEL Progr. ENE Progr. DPI Progr. TEC ANEP-IEL ANEP-COM Descripción detallada del proceso de evaluación en el Plan Nacional de I+D+i (2 / 8)

9. Proyecto 3 Progr.: TEC A. ANEP: COM Proyecto 4 Progr.: TEC A. ANEP: IEL Experto B del Programa TEC Experto A del Programa TEC Proyecto m Progr.: TEC Proyecto n Progr.: TEC Descripción detallada del proceso de evaluación en el Plan Nacional de I+D+i (3 / 8) • Evolución de la evaluación “en el programa” del Plan Nacional • Cada experto evalúa 15-20 proyectos • Cada proyecto es evaluado por 2 expertos Gestor del Programa TEC

10. Eval. A TEC Proyec. 3 Eval. A TEC Proyec. 4 Eval. B TEC Proyec. 3 Eval. B TEC Proyec. 4 Experto A del Programa TEC Experto B del Programa TEC Eval. B TEC Proyec. m Eval. B TEC Proyec. n Descripción detallada del proceso de evaluación en el Plan Nacional de I+D+i (4 / 8) Evolución de la evaluación “en el programa” del Plan Nacional

11. Proyecto 4 Progr.: TEC A. ANEP: IEL Proyecto 2 Progr.: DPI A. ANEP: IEL Experto Y de IEL Experto V de IEL Experto W de IEL Experto X de IEL Adjunto 1 de IEL Adjunto 2 de IEL Adjunto 3 de IEL Proyecto s Área.: IEL Descripción detallada del proceso de evaluación en el Plan Nacional de I+D+i (5 / 8) • Evolución de la evaluación en el Área ANEP • Cada proyecto es evaluado por 2 expertos Coordinador de IEL

12. Eval. IEL Proyec. s Eval. IEL Proyec. 4 Eval. IEL Proyec. 2 Eval. V IEL Proyec. 4 Experto Y de IEL Experto W de IEL Experto X de IEL Experto V de IEL Eval. W IEL Proyec. 4 Eval. W IEL Proyec. 2 Eval. X IEL Proyec. 2 Eval. Y IEL Proyec. s Descripción detallada del proceso de evaluación en el Plan Nacional de I+D+i (6 / 8) Evolución de la evaluación en el Área ANEP Adjunto 1 de IEL Coordinador de IEL Adjunto 2 de IEL Adjunto 3 de IEL

13. Eval. IEL Proyec. 4 Eval. A TEC Proyec. 4 Eval. B TEC Proyec. 4 Eval. A TEC Proyec. 3 Eval. B TEC Proyec. 3 Experto B del Programa TEC Experto A del Programa TEC Calificación final del Proyec. 4 Calificación final del Proyec. 3 Eval. COM Proyec. 3 Descripción detallada del proceso de evaluación en el Plan Nacional de I+D+i (7 / 8) Comisión de evaluación del programa TEC Coordinador de IEL Coordinador de COM

14. Eval. IEL Proyec. 4 Eval. V IEL Proyec. 4 Eval. B TEC Proyec. 4 Eval. A TEC Proyec. 4 Experto V de IEL Experto W de IEL Experto B del Programa TEC Experto A del Programa TEC Calificación final del Proyec. 4 Eval. W IEL Proyec. 4 Una consideración importante sobre la evaluación de los proyectos del Plan Nacional de I+D+i Un proyecto es evaluado por, al menos, 4 personas. En caso de discrepancias entre evaluadores ANEP, el adjunto o el coordinador revisa el proyecto o pide una tercera evaluación.

15. Valoración del proyecto Volumen de los objetivos Algunas consideraciones sobre la redacción de las memorias de los proyectos (1 / 2) • 1- Aclarar los objetivos:El evaluador es una persona ocupada, que no necesita leer argumentos obvios y que quiere comprender rápidamente qué se pretende hacer. • 2- Ser realista en los objetivos

16. CV en “n” años CV en “n+3” años CV en “n” años CV en “n+3” años Algunas consideraciones sobre la redacción de las memorias de los proyectos (2 / 2) • 3- Ser realista en los objetivos de mejora del CV. • 4- Ser realista en el presupuesto: No usar argumentos tales como “pido el doble para que me den la mitad, que es lo que necesito”. • 5- Ser realista en la petición de personal de apoyo:No pretender que el proyecto “lo hagan” los becarios y que los investigadores sólo redacten y apoyen la memoria. Muy improbable Posible

17. Ejemplos reales de situaciones comentadas negativamente por los evaluadores (1 / 2) • Se pide un técnico de laboratorio y no se justifica qué va a hacer en el proyecto.Todo el mundo necesita personal de apoyo, pero se está evaluando un proyecto, no las necesidades generales del grupo investigador. • Un aparato-equipo-instalación X se ha presupuestado en la memoria al doble de su coste real y el evaluador lo detecta.El evaluador tenderá a pensar que también está “inflado” el resto del presupuesto. • Un grupo consolidado necesita 18 meses de estudio previo en un tema del que tiene experiencia. • El proyecto es muy aplicado, pero no se ha conseguido que haya empresas interesadas. • El proyecto es muy aplicado, hay empresas muy interesadas, pero no hacen nada en el proyecto(no aportan material, ni financiación, ni personal, ni seguimiento de las tareas, etc.).

18. Ejemplos reales de situaciones comentadas negativamente por los evaluadores (2 / 2) • Proyecto con interés social pero sin interés científico-técnico.Habrá que elegir correctamente dónde encaja un proyecto así, que no será en la convocatoria estándar de I+D+i. • Grupo investigador numeroso, integrado por personas maduras y con escaso CV, que piden 5 becarios.Seguramente se trata de un proyecto desenfocado y que se pretende que sea realizado, casi exclusivamente, por los becarios. • Grupo investigador sin publicaciones relevantes ni en congresos ni en revistas “indexadas”, que presenta un plan de difusión de resultados con numerosas publicaciones relevantes.Se juzgará como poco probable. Es mejor ser realista. • Grupo investigador con experiencia industrial, buenas realizaciones prácticas pero casi sin currículum científico-técnico.Su evaluación será incierta (dependerá mucho del evaluador). Deben mejorar su currículum científico-técnico.

19. Candidato 4 A. ANEP: IEL Candidato 1 A. ANEP: IEL Candidato 2 A. ANEP: IEL Candidato 3 A. ANEP: IEL Experto A de IEL Experto B de IEL Experto C de IEL Eval. A Candidato 2 Eval. C Candidato 2 Eval. A Candidato 1 Eval. C Candidato 4 Eval. B Candidato 3 Eval. B Candidato 1 Eval. B Candidato 4 Eval. A Candidato 3 Ejemplos de otros tipos de evaluación: los contratos del Programa Ramón y Cajal (y Juan de la Cierva) (1 / 3) Evaluaciones “en Comisión”

20. Comisión ANEP-IEL Eval. A Candidato 3 Eval. A Candidato 1 Eval. C Candidato 4 Eval. A Candidato 2 Eval. B Candidato 3 Eval. B Candidato 1 Eval. C Candidato 2 Eval. B Candidato 4 Experto A de IEL Experto B de IEL Experto C de IEL Eval. Candidato 1 Eval. Candidato 4 Eval. Candidato 2 Eval. Candidato 3 Ejemplos de otros tipos de evaluación: los contratos del Programa Ramón y Cajal (y Juan de la Cierva) (2 / 3) Evaluaciones “en Comisión”

21. Contratos Concedidos Contratos no Concedidos Ejemplos de otros tipos de evaluación: los contratos del Programa Ramón y Cajal (y Juan de la Cierva) (3 / 3) Evaluaciones “en Comisión” • Se conceden un determinado número de contratos por área ANEP • La lista final prioriza

22. AECYT (Agencia Estatal de Ciencia y Tecnología) Agencias de evaluación El futuro de la ANEP DGI (Dirección General de Investigación del MEC) ANEP (Agencia Nacional de Evaluación y Prospectiva) • Competencias de evaluación y de financiación • Énfasis en evaluación “ex-post”, no sólo “ex-ante” • Mayor dedicación • Acorte del ciclo de evaluación • Traslado de sede CNEAI (Comisión Nacional Evaluadora de la Actividad Investigadora) ANECA (Agencia Nacional de Evaluación de la Calidad y Acreditación)

23. Conclusiones • 1. Es importante conocer cómo es el proceso de evaluación de los proyectos de I+D+i • 2. Es muy formativo participar en él • 3. Pese a que el resultado de las evaluaciones no es infalible, es el resultado de la opinión de al menos 4 personas (en el Plan Nacional) • 4. El realismo a la hora de realizar una propuesta aumenta la posibilidad de éxito, porque aumenta su credibilidad • 5. Se avecinan cambios sustanciales en la estructura del Plan Nacional de I+D+i y en la articulación de todo el sistema de evaluación, con especial énfasis en evaluación “ex-post”, no sólo “ex-ante”

24. Borrador del Plan Nacional 2008-2011 (1 / 4) (VI Plan Nacional de Investigación Científica, Desarrollo e Innovación Tecnológica) Establece cuatro Áreas: • AREA 1:Generación de conocimientos y de capacidades científicas y tecnológicas • - Orientada a generar conocimiento • - Libertad temática. La prioridad la marca la excelencia • AREA 2:Fomento de la cooperación en I+D • - Fomenta específicamente la cooperación entre agentes y con el marco internacional y regional • - También, cooperación público-privada, no orientados sectorial ni temáticamente

25. Borrador del Plan Nacional 2008-2011 (2 / 4) (VI Plan Nacional de Investigación Científica, Desarrollo e Innovación Tecnológica) • AREA 3:Desarrollo e innovación tecnológica sectorial - Orientada a la competitividad empresarial y a resolver los problemas de sectores específicos: 1. Alimentación, agricultura y pesca 2. Medio Ambiente y Ecoinnovación 3. Energía 4. Seguridad y Defensa 5. Construcción, ordenación del territorio y patrimonio cultural 6. Turismo 7. Aeroespacial 8. Transporte e Infraestructuras 9. Materiales y tecnologías de la producción 10. Sectores industriales 11. SectorFarmacéutico

26. Borrador del Plan Nacional 2008-2011 (3 / 4) (VI Plan Nacional de Investigación Científica, Desarrollo e Innovación Tecnológica) • AREA 4:Acciones estratégicas - Prioriza cinco acciones estratégicas, que constituyen una apuesta por temas de especial repercusión social: 1. Salud 2. Biotecnología 3. Cambio climático y energía 4. Telecomunicaciones y Sociedad de la Información 5. Nanociencia y nanotecnología

27. RRHH Proyectos Utilización del conocimiento Borrador del Plan Nacional 2008-2011 (4 / 4) (VI Plan Nacional de Investigación Científica, Desarrollo e Innovación Tecnológica) Establece 13 Programas en 6 Líneas Instrumentales de Actuación: 1. Formación de recursos humanos 2. Movilidad de recursos humanos 3. Contratación e incorporación de recursos humanos 4. Proyectos de investigación fundamental no orientada 5. Proyectos deinvestigación aplicada 6. Proyectos dedesarrollo experimental 7. Proyectos de innovación 8. Fortalecimiento institucional 9. Infraestructuras científicas y tecnológicas 10. Transferencia de tecnología, valorización y promoción de empresas de base tecnológica 11. Redes 12. Cooperación público-privada 13. Internacionalización de la I+D