Evaluierung, Reporting, Monitoring im 6. EU-Rahmenprogramm

1. Evaluierung, Reporting, Monitoring im 6. EU-Rahmenprogramm DI Gerald Kern BIT - Büro für Internationale Forschungs- und Technologiekooperation

2. Überblick Evaluierungsprozess Full/short Proposal Antragsformulare Einreichung Individuelles Lesen Konsens Panel mit optionalen Hearings Kommissions Follow-up Final ranking list Evaluatoren Evaluatoren Evaluatoren Kriterien Kriterien Kriterien Rejection list Fragen Anträge in Reihenfolge vorgeschlagener Prioritäten Eligibility

3. Die Auswahl der Anträge AUSSCHREIBUNG / CALL FOR PROPOSALS Eligibility Check: KommissionEVALUIERUNG: Peer review -Prinzipien / unabhängige Experten • Official Journal • CORDIS • NCPs INFORMATION Programmkommittee MARKING & PRIORITY ORDER DER ANTRÄGEPanel (optional) VERHANDLUNG RANKING & FUNDING SZENARIO(s)Kommission VERTRAGSUNTERZEICHNUNG

4. Überblick Evaluierungsprozess Full/short Proposal Antragsformulare Einreichung Individuelles Lesen Konsens Panel mit optionalen Hearings Kommissions Follow-up Final ranking list Evaluatoren Evaluatoren Evaluatoren Kriterien Kriterien Kriterien Rejection list Fragen Anträge in Reihenfolge vorgeschlagener Prioritäten Eligibility

5. Full / short proposal • 1-stufige Einreichung der Anträge • Gesamter Antrag mit sämtlichen Details • Bewertungskriterien im Arbeitsprogramm def. • 2-stufige Einreichung der Anträge (opt.) • 1. Stufe • Kurz-Antrag (ca. 30 Seiten) • Verwendung von eingeschränkten Bewertungskriterien • erfolgreiche Antragsteller werden zum Einreichen kompletter Anträge eingeladen • 2. Stufe - wie 1-stufige Einreichung • im Arbeitsprogramm definiert • Erste Ausschreibungen hpt.sächlich 1-stufig

6. Antragstellung Einreichung Individuelles Lesen Konsens Panel mit optionalen Hearings Kommissions Follow-up • Einfachere Formulare • Beschreibung der Arbeit und des Konsortiums kombiniert • Alte Teile B + C • Keine Anonymität • Neues elektronisches Einreichsystem • Offline-tool Mitte Jänner 2003 verfügbar ? • Web-basiertes online-tool Mitte Jänner 2003 verfügbar ?

7. Inhalt eines Antrages - zB STREP Part B Part A • INHALT STREP ANTRAG • Objectives and expected impact • Work plan and associated budget • The consortium and the project resources • Project management • Exploitation and dissemination plans • Ethics, safety and other issues (dort, wo relevant) • Siehe Info-Paket / “Guide for Proposers” für Details

8. 4 Möglichkeiten der Einreichung Einreichung Individuelles Lesen Konsens Panel mit optionalen Hearings Kommissions Follow-up • off-line vorbereiten, on-line einreichen • on-line vorbereiten, on-line einreichen • off-line vorbereiten, auf CD or Diskette einreichen • mit Backup auf Papier • off-line vorbereiten, ausgedruckte Version einreichen • nur 1 Kopie erforderlich

9. Inhalt der Antragsformulare Teil A Einreichung Individuelles Lesen Konsens Panel mit optionalen Hearings Kommissions Follow-up • A1 - Allgemeine Info über Antrag • A2 - Info über Koordinatorund die anderen Partner • 1 Formular pro Partner • A3 - Kostenübersicht • 1 Blatt für das gesamte Konsortium

10. Formular A1: Allgemeine Info über Antrag Titel, abstract, keywords etc.

11. Formular A2: Info über Koordinator und die anderen Partner (1 Blatt pro Partner) Organisationsname, Addresse, legal status, activity type, KMU ja/nein etc.

12. Formular A3: Kostenübersicht je Aktivität und je Partner Aktivitätstyp: Forschung & Innovation, Demonstration, Training, Management (1 Zeile pro Partner)

13. Eligibility checks Einreichung Individuelles Lesen Konsens Panel mit optionalen Hearings Kommissions Follow-up • Datum und Zeitpunkt des Eingangsin Brüssel • Absolute Deadlines • Mindestanzahl von Partnern (eligible, unabh.) • wie in Arbeitsprogramm / Ausschreibung festgelegt • Vollständigkeit des Antrages • sämtliche erforderlichen administrativen Formulare vorhanden • zusätzliche Erfordernisse lt. Calltext • betrifft KMU, HRM, Infrastrukturen

14. Überblick Evaluierungsprozess Full/short Proposal Antragsformulare Einreichung Individelles Lesen Konsens Panel mit optionalen Hearings Kommissions Follow-up Final ranking list Evaluatoren Evaluatoren Evaluatoren Kriterien Kriterien Kriterien Rejection list Fragen Anträge in Reihenfolge vorgeschlagener Prioritäten Eligibility

15. Evaluatoren (1) Einreichung Individuelles Lesen Konsens Panel mit optionalen Hearings Kommissions Follow-up • Hoch qualifizierte Evaluatoren sind Kern des Evaluierungssystems • Breiterer “Pool” von Evaluatoren • http://www.cordis.lu/experts/fp6_candidature.htm • Ausschreibung addressiert an Institutionen zum Erstellen einer Liste von passenden unabhängigen Experten.... • Kommission kann auch Individuen..... ausserhalb dieser Listen auswählen, wenn entsprechende Fähigkeiten vorh. sind

16. Evaluatoren (2) Einreichung Individuelles Lesen Konsens Panel mit optionalen Hearings Kommissions Follow-up • Qualifizierung • Hoher Grad an professioneller Erfahrung im öffentlichen oder privaten Sektor innerhalb von Gebieten mit Relevanz zum RP • Einige werden an Anhörungen (hearings) mit den Konsortien teilnehmen (IP und NoE) • Unterzeichnung einer Verpflichtung zu Geheimhaltung / Interessenskonflikterklärung • Namen werden nach Evaluierung veröffentlicht

17. Die Kriterien Einreichung Individuelles Lesen Konsens Panel mit optionalen Hearings Kommissions Follow-up • Kriterien sind an Instrumente angepasst • Können in verschiedenen Gebieten variieren • werden im Arbeitsprogramm spezifiziert • “ethical review” Prozeduren • “gender issues” sind in den Kriterien voll integriert für sämtliche Anträge • Unterschiedliche Gewichtungen und Schwellenwerte können vergeben werden • Themen betreffend Science & society

18. Beispiele von Kriterien Einreichung Individuelles Lesen Konsens Panel mit optionalen Hearings Kommissions Follow-up • Integrierte Projekte und STREPs • Hauptpunkte, die für Evaluierung dargestellt werden müssen: • relevance to the objectives of the specific programme • scale of ambition and potential impact • S&T excellence • quality of the consortium • quality of the project and ‘knowledge’ management • critical mass in terms of activities and resources

19. Hauptkriterien der Evaluierung (1) • Relevance to the objectivesof programme The extent to which the proposed project addresses the scientific, technical, socio-economic and policy objectives of the work programme in the areas open for the particular call. • S&T excellence The extent to which: • the project hasclearly defined and well focused objectives; • the objectives representclear progress beyond the current state-of-the-art; • theproposed S&T approach islikely to enable the project to achieve its objectives in research and innovation.

20. Hauptkriterien der Evaluierung (2) • Potential impact • The extent to which: • the proposed project is likely to have an impact on reinforcing competitiveness, or on solving societal problems; • the impact of the proposed work can best be achieved if carried out at European level; • exploitation and/or dissemination plans are adequate to ensure optimal use of the project results.

21. Hauptkriterien der Evaluierung (3) • Quality of the consortium • the participants collectively constitute a consortium of high quality; • the participants are well-suited and committed to the tasks assigned to them; • there is good complementarity between participants; • the opportunity of involving SMEs has been adequately addressed. • Quality of the management • the project management is demonstrably of high quality; • there is a satisfactory plan for the management of knowledge, of intellectual property and of other innovation-related activities.

22. Hauptkriterien der Evaluierung (4) • Mobilisation of resources • The extent to which: • the project foresees the resources (personnel, equipment, financial…) necessary for success; • the resources are convincingly integrated to form a coherent project; • the overall financial plan for the project is adequate .

23. Networks of Excellence NoE Submission Individual reading Consensus Panel with optional Hearings Commission Follow-up • Relevanz zu den Themen im Arbeitsprogramm • Potentielle Auswirkung • Exzellenz der Teilnehmer • Qualität der Integration • Organisation und Management

24. NoE - Evaluierung • Schlüsselthemen • Potentielle Auswirkung zur Stärkung Europas Exzellenz • Kollektive Exzellenz der Netzwerkteilnehmer • Ausmaß, Tiefe und Dauer der Integration • Beitrag zur Exzellenzverbreitung • Management und Steuerung des Netzwerks

25. Individual reading Submission Individual reading Consensus Panel with optional Hearings Commission Follow-up • 3 oder mehr Evaluatoren, abhg. vom Instrument (für IP und NoEs wahrscheinlich 5 oder mehr) • Kann außer Haus durchgeführt werden (zu Hause oder am Arbeitsplatz) • Bewertung and Kommentare für jedes Kriterium • Individuelle Evaluierung Gestaltung (Threshold, full-outline proposal) siehe Arbeitsprogramm

26. Consensus Submission Individual reading Consensus Panel with optional Hearings Commission Follow-up • Auf Basis individueller Beurteilung der Evaluatoren • Diskussion darf geführt werden • Einigung über gemeinsame Bewertung und Kommentare für jedes Kriterium • Gemeinsamer Gesamtbericht • Nach Konsens: Anwendung der Gewichtung und Schwellenwerte • siehe Arbeitsprogramm

27. Panel (with optional hearings) Submission Individual reading Consensus Panel with optional Hearings Commission Follow-up • Anhörung von Antragsteller (besonders NoE und IP) kann durchgeführt werden • Wie im Arbeitsprogramm definiert • Fragen für den Proposal Koordinator • Geringe Anzahl der Proposal Vertreter • Panel Meeting (nur Evaluatoren) • Endgültige Bewertung und Kommentare für jedes Proposal • Vorschläge in Reihung der Wichtigkeit, Clustering, Änderungen, etc.

28. Überblick Evaluierungsprozess Full/short Proposal Antragsformulare Einreichung Individuelles Lesen Konsens Panel mit optionalen Hearings Kommissions Follow-up Final ranking list Evaluatoren Evaluatoren Evaluatoren Kriterien Kriterien Kriterien Rejection list Fragen Anträge in Reihenfolge vorgeschlagener Prioritäten Eligibility

29. Commission Follow-up Submission Individual reading Consensus Panel with optional Hearings Commission Follow-up • Endgültige Rangliste • Evaluierungsendbericht an Antragsteller • Information an und Diskussion mit Programm Komittee • Kommissionsentscheid bez. abgelehnter Proposals • Vertragsverhandlungen • Kommissionsentscheid über Proposals für Förderung

30. Tips for success (1) Tips for success • Read and understand the documents • http://europa.eu.int/comm/research/fp6/index_en.html • Work programme • Guides for proposers • Guides for evaluators • http://www.cordis.lu/fp6

31. Tips for success (2) Tips for success • Ihr Proposal: • Ist es komplett? • Ist das Konsortium klar? • Können wir alle zusammenarbeiten? • Klare Rollenverteilung hinsichtlich Verantwortlichkeit, kritische Masse, etc. • Werden alle Fragen beantwortet? • (siehe “ guide for proposers”) • Passt es in das Arbeitsprogramm? • (check mit dem Call!) • Sind die Ziele klar? • Ist es klar wie das Projekt gemanaget wird?

32. Monitoring, Reporting

33. Monitoring, Reporting IP

34. Projektvorschlag Einreichung • Durch “calls for proposals” • “expressions of interest” kann vorher durchgeführt werden • Einfacheres “proposal-making” • evolutionären Character des Projektes • Zusammenfassung der Aktivitäten über die gesamte Projektlaufzeit • Detailierten Aktivitätenplan für die ersten 18 Monate

35. Vertrag und Vorauszahlung (I) • Vertrag regelt max. Förderbeitrag, aber nicht die Verteilung innerhalb der Teilnehmer • Freiheit des Konsortiums • Verhinderung von “Micro-management” • Annex beinhaltet • Komplette Projektbeschreibung • Detalierter Aktivitätenplan für die ersten 18 Monate • Vorauszahlung: 85% der Förderung für die ersten 18 Monate

36. Vertrag und Vorauszahlung ((II) • Einfachere Unterschriftenregelung • schnellere Umsetzung • Das Konsortium nominiert einen ‘coordinator’ • Verbindungsstelle zu Kommission, • erhält und verteilt Förderung • “Consortium agreement” ist Vorbedingung

37. Berichtlegung und Zahlung • Das Konsortium übermittelt einen jährlichen Bericht : • “an outline of previous 12 months’ activities • financial documents on the costs incurred (including cost certificates and management-level justification) • a detailed implementation plan and associated financial plan for the following 18 months” • “Upon acceptance of above by the Commission”: • “final settlement of payment for period concerned (subject to any ex-post audit)” • “outstanding advance supplemented up to 85% of the anticipated Community contribution for following 18 months”

38. Payments and reporting schedule(example of a 4 year contract) Activity report Reported costs Activity report Detailed work plan Reported costs Adjusted advance Activity report Detailed work plan Reported costs Adjusted advance Activity report Detailed work plan Reported costs Adjusted advance Detailed work plan Initial advance 0 6 12 18 24 30 36 42 48 Months

39. Flexibilität und Autonomie • Auf Basis des Implementierungsplans • Vorschlag des Konsortiums für die kommenden 18 Monate • Update der generellen Planung möglich • Genehmigung der Kommission notwendig • Änderungen im Konsortium • Aufnahme neuer Teilnehmer als Entscheidung des Konsortiums (ohne zusätzliche Förderung) • Notwendigkeit der Ausschreibung im Vertrag geregelt • Kommission kann Ausschreibungen initiieren, um neue Partner aufzunehmen (mit zusätzl. Förderung) • z. B. zur Erhöhung der Beteiligung von KMU

40. Monitoring und Audits • Verstärktes Monitoring des Projektoutputs auf allen Stufen (mit Hilfe externer Experten) • Jährliche Reviews • Mid-term oder Milestone Review • Final Review • Audits durch Kommission möglich • finanziell(zumindest eines pro IP) • technisch • technologisch • ethisch

41. Monitoring, Reporting STREPs

42. Implementierung • Das Konsortium schlägt einen detaillierten Arbeitsplan für die gesamte Projektlaufzeit vor • Änderungen sind möglich, • brauchen aber die Zustimmung der Kommission • Bedingung: Keine Änderung der generellen Ziele • Keine genaue Festlegung der Verteilung der Partnerbudgets im Vertrag • Änderungen des Konsortiums sind möglich (unterliegen aber der Zustimmung der Kommission, ohne zusätzliche Förderung)

43. Schema zu Zahlungen und Berichten Final activity report Final payment Reported costs + audit certificate (mandatory) Intermediate payment/ settlement Periodic activity report (mid-term review : optional) Reported costs + (audit certificate if required) Detailed work plan Initial advance 0 6 12 14 18 20 24 26 30 36 38 Months

44. Monitoring (Kontrolle) • Schema zum Follow-up: • Kommissionsbeamter als Projektverantwortlicher zugewiesen • Mid-term Review mit Hilfe externer Experten möglich (“go/no go”-Entscheidung über Projektfortsetzung) • Technische, finanzielle, technologische und /oder ethische Audits sind möglich

45. Vergleich STREPs - FP5 RTD Ähnlichkeiten: Zweck, Ausmaß der Aktivitäten, Wert der Aktivitäten, Dauer, Größe des Konsortiums, Teilnehmer- typen, Ausschreibungen, Evaluierungsverfahren/kriterien, Verhandlungsstand, Follow-up, Audits Änderungen/Vereinfachungen: Finanzielles Regime (zuläs- sige Kosten, Kostenmodelle, EU-Förderbeiträge, Auditzer- tifikate), Vorschlag, Vertrag, Konsortialabkommen, Ge- meinsame Haftung, Implementierungsregeln, IPR

46. Unterschiede IPs - STREPs Ausmaß der Aktivitäten unterschiedlich: daraus folgend: • Wert der Aktivitäten • Dauer • Größe des Konsortiums • Typen von Aktivitäten • Typen von Aufforderungen (« Expressions of Interest ») • Evaluierungsverfahren und -kriterien (teilweise) • Verhandlungen, Konsortialvertrag, Implementierung (teilweise) • Follow-up (teilweise)

47. Monitoring, Reporting NoE

48. Zahlungsabwicklung • Jährliche Zahlung der Zuschüsse auf Basis der evaluierten Ergebnisse: • Fortschritte auf dem Weg zur Integration • zusätzliche Prüfung, dass die Kosten der Implementierung des Gemeinsamen Maßnahmenprogramms zumindest dem Betrag des Zuschusses entsprechen

49. Messung der Integration • Angabe möglicher qualitativer und quantitativer Messindikatoren im Projektvorschlag • Ausmaß der wechselseitigen Spezialisierung und Komplementarität • Gemeinsame Nutzung von Infrastrukturen, gerätschaft, Werkzeugen und Plattformen • Regelmäßig gemeinsame Forschungsprojekte • Interaktive Arbeit durch moderne Telekommunikation • Gemeinsames Wissensmanagement • Gemeinsame Trainingsprogramme (ForscherInnen und anderes Personal) • Schlüssiger Managementrahmen

50. Vertrag und Vorauszahlung (1) • Im Vertrag ist der maximale EU-Beitrag, aber keine Verteilung festgelegt • Autonomie des Konsortiums • Eliminierung einer bedeutenden Quelle für Mikromanagement • Der Annex enthält: • Gesamtbeschreibung des Netzwerks • detaillierte Planung nur für die ersten 18 Monate • Vorauszahlung: entspricht den für die ersten 18 Monate erwarteten 85% des EU-Beitrages