Monitoring van de uitbestede ESF-opleidingen social profit sector

1. Monitoring van de uitbestede ESF-opleidingensocial profit sector Situering en doel Capaciteit Faseringen Nood aan Scenario B! Kwalitatieve monitoring Kwantitatieve monitoring Advies en concreet (intern) Contactgegevens Datum aanpassingen: 15/10/09

2. Monitoring van de uitbestede ESF-opleidingSituering en doel ESF-tender 2008-2009 VDAB evalueert via opvolging en controle of de aanbieders de overeenkomst uitvoeren overeenkomstig de voorwaarden bepaald in het bestek 07/1012 (incl. de bijacte), de offerte en de gunning.

3. Monitoring van de uitbestede ESF-opleidingSituering en doel • Implementatie van een efficiënt controle- en opvolgingssysteem • Kwalitatieve monitoring • Kwantitatieve monitoring • registratie • documenten • financiën

4. Monitoring van de uitbestede ESF-opleidingSituering en doel Deze afspraken, gelden als aanvulling bij: 1/ draaiboek, handboek, handleidingen en overige documenten voor partners voorzien op het internet (www.vdab.be) 2/ bestek 07/1012 en de bijacte

5. Monitoring van de uitbestede ESF-opleidingFaseringen Retroactieve werking vanaf 1/1/08! 1/ afgelopen opleidingen 2/ lopende ESF opleidingen 3/ nog op te starten opleidingen => In voege treden van volledige nieuwe voorziene standaard routing documenten vanaf 1/08/09!

6. Monitoring van de uitbestede ESF-opleidingNood aan B scenario! De voortgang van het opvolgings- en controlesysteem dient gegarandeerd te worden (zie flows). Alle partijen die betrokken zijn bij de uitvoering van het efficiënt controle- en opvolgingssysteem dienen back-up te voorzien bij afwezigheden!

7. Monitoring van de uitbestede ESF-opleidingKwalitatieve monitoring • Flow 1: Kwalitatieve monitoring • (zie bijlage) • Onderrichting kwalitatieve monitoring (intern) • Instrument kwalitatieve monitoring (zie bijlage) • PPT

8. Monitoring van de uitbestede ESF-opleidingKwalitatieve monitoring Concreet Idealiter dient voor elke ESF-opleiding een kwalitatieve monitoring gebeurd te zijn. Indien dit niet gebeurde, tracht dan als servicemanager met mails (rond kwaliteit) die nog terug te vinden zijn (bij de VDAB – bij de partner) een dossier per opleiding te vormen. Tijdens de interne infosessie (regionaal en centraal) zijn de partners ingelicht over het instrument en de verwachtingen. Het instrument is hen elektronisch bezorgd.

9. Monitoring van de uitbestede ESF-opleidingKwalitatieve monitoring Voorstel 1: voor de lopende en nog op te starten opleidingen binnen ESF-tender 2008-2009 bezorgen de partners de servicemanager de ingevulde versie onmiddellijk na de opleiding. De servicemanager vult deze verder aan met zijn bemerkingen en er wordt een contactmoment vastgelegd voor de bespreking. Voorstel 2: voor de lopende en nog op te starten opleidingen binnen de ESF-tender 2008-2009 vult de klantenconsulent (ikv 2e contactmoment) de versie in. Vervolgens wordt de versie tijdens het 2e contactmoment overlopen en verder aangevuld met de partner. => Dit zijn 2 voorstellen. Indien de partner/ servicemanager dit anders wenst te organiseren is dit overeen te komen.

10. Monitoring van de uitbestede ESF-opleidingKwantitatieve monitoring • Communicatie tussen VDAB en partner • Routings & documenten (zie bijlagen) • Gestructureerde monitoringstool (checklist sleutelmomenten document 9) • Steekproefsgewijze controle • Flow 2 kwantitatieve monitoring registratie • (zie bijlage) • Flow 3, 4 kwantitatieve monitoring bepalen inspanningsfinanciering (zie bijlagen) • Flow 5,6 kwantitatieve monitoring • bepalen resultaatsfinanciering (zie bijlagen) • PPT

11. Monitoring van de uitbestede ESF-opleiding Kwantitatieve monitoring • Communicatie tussen VDAB en partner • Documenten mogen door de partner via mail aan de VDAB bezorgd worden. Hierbij geldt wel de regel dat er steeds vanuit de VDAB een schriftelijke bevestiging van ontvangst moet zijn. Indien het een vraag betreft waarop de partner een antwoord wenst, dient er vanuit de VDAB binnen 7 werkdagen (vanaf de dag van ontvangst van de vraag) aan de partner een antwoord gegeven te worden. • Documenten mogen door de partner aan de VDAB aangetekendbezorgd worden. Partner houdt ontvangsbewijs bij.

12. Monitoring van de uitbestede ESF-opleiding Kwantitatieve monitoring • Routings en documenten • Documenten: Waar en hoe lang bewaren? • CD = centrale dienst VDAB • S= servicemanager van het VDAB- centrum waarmee samengewerkt wordt. • O = opleidingscentrum • De bewaarduur van de stukken is tot 3 jaar na de laatste betaling van de EC aan de vzw ESF-Agentschap voor het programma 2007-2013. Momenteel wordt deze termijn ingeschat tot eind 2021.

13. Monitoring van de uitbestede ESF-opleiding Kwantitatieve monitoring • Routings en documenten • Op bepaalde rubrieken in documenten of documenten die niet relevant zijn voor een bepaalde opleiding, dient vermeld te worden “niet van toepassing”. De voorziene routings blijven geldig! • De volledige implementatie van nieuwe documenten is geldig voor alle opleidingen die nog starten binnen de huidige ESF-tender 2008-2009, vanaf 1/8/09. • Bij het opvragen van documenten ikv (retroactieve) acties wordt rekening gehouden met de administratieve werklast die hiermee samen gaat. Afspraken worden gemaakt tussen de partner en servicemanager, kopies beperkt.

14. Monitoring van de uitbestede ESF-opleiding Kwantitatieve monitoring • Routings en documenten • Praktisch voor de nog op te starten opleidingen vanaf 1/8/09: • Indien reeds bepaalde documenten gebruikt worden, simultaan aan deze die in de nieuwe routing voorzien zijn, mogen de oude documenten gebruikt worden maar dient als voorblad het nieuwe document te dienen. • Kijk wel eerst na of het oude documentwel degelijk alle gegevens vermeldt die in het nieuwe gevraagd worden.

15. Monitoring van uitbestede ESF-opleiding de kwantitatieve monitoring Routings en documenten Document 1: Omschrijving van de opleiding Het document waarmee het opleidingscentrum aan de VDAB meldt dat het een opleiding wil organiseren. Aan de VDAB (S) te bezorgen, ten laatste 1 maand voor de opleiding aanvangt. VDAB (S) bevestigt schriftelijk voor ok of argumenteert indien niet ok binnen 7 werkdagen na ontvangst document.

16. Monitoring van de uitbestede ESF-opleiding kwantitatieve monitoring • Routings en documenten • Document 2: Standaard weekplanning • Aan de VDAB (S) te bezorgen, ten laatste 1 maand voor de opleiding aanvangt. • Bij opmerkingen verwittigt de VDAB (S) de partner binnen 7 werkdagen na ontvangst document zodat bijsturing door de partner nog mogelijk is. • Graag vermelden: verlofplanning, schoolvakanties,..

17. Monitoring van de uitbestede ESF-opleidingKwantitatieve monitoring Routings en documenten Document 3: Resultaten tussentijdse evaluatie In dit document worden de resultaten van de tussentijdse proeven opgenomen. Aan VDAB (S) te bezorgen, nadat de proeven plaatsvonden. Bij negatief resultaat neemt de VDAB (S) contact op met de partner en wordt door de VDAB (S), samen met de cursist naar een oplossing gezocht.

18. Monitoring van de uitbestede ESF-opleidingKwantitatieve monitoring Routings en documenten Document 4: Stageboekje inhoud en uren In dit document worden de gegevens van de stage opgenomen. Alle stageplaatsen worden vermeld en telkens ter bevestiging van aanwezigheid door de stagiair en de stagebegeleider/ hulpvrager tegengetekend. Er wordt minstens per dagdeel getekend door de stagiair en stagebegeleider / hulpvrager. Documenten die de aanwezigheid staven, moeten bij de partner ten aller tijde opgevraagd kunnen worden en worden ook daar bewaard.

19. Monitoring van de uitbestede ESF-opleidingKwantitatieve monitoring Routings en documenten Document 5: Resultaten eindevaluatie In dit document worden de resultaten van de eindproeven opgenomen. Aan VDAB (S) te bezorgen, binnen 5 werkdagen nadat de proeven plaatsvonden. Bij negatief resultaat neemt VDAB (S) contact op met de partner en wordt door de VDAB, samen met de cursist naar een oplossing gezocht.

20. Monitoring van de uitbestede ESF-opleidingKwantitatieve monitoring • Routings en documenten • Document 6: Cursistenlijst voor de start van de opleiding • Document wordt door VDAB 15 werkdagen voor de start van de opleiding bezorgd aan de partner • Doel: • Minimumaantal en kansengroepenvertegenwoordiging ok (cfr. bestek 07/1012 en bijacte)? • Indien niet ok neemt partner contact op met VDAB zodat bijsturingsacties ism VDAB kunnen opgezet worden. • Stavaza voor VDAB (S) - partner

21. Monitoring van de uitbestede ESF-opleidingKwantitatieve monitoring • Routings en documenten • Document 7: Cursistenlijst bij de start van de opleiding • Document wordt bezorgd door VDAB aan de partner de dag dat de opleiding start (VDAB klantenconsulent aanwezig) • Doel: • Minimumaantal en kansengroepenvertegenwoordiging ok? • Bijsturingsacties ism VDAB opzetten. • StavazaVDAB (S) - partner

22. Monitoring van de uitbestede ESF-opleidingKwantitatieve monitoring • Routings en documenten • Document 8: Cursistenlijst na de start van de opleiding • Document wordt bezorgd door de partner aan de VDAB (S) in het begin van de maand die volgt op de maand waarin de opleiding startte. • Doel: • Minimumaantal starters en kansengroepenvertegenwoordiging: ok? • Stopzettingen? • Stavaza (S) - partner

23. Monitoring van de uitbestede ESF-opleidingKwantitatieve monitoring Routings en documenten Document 9: Gestructureerde monitoringstool Via dit document houdt de VDAB (S) een overzicht van de reeds plaatsgevonden acties binnen het opleidingsgebeuren. Het document wordt bewaard bij de VDAB (S). Ook de VDAB (S) registreert sleutelmomenten (inclusief andere punten waarvan hij acht dat ze in het dossier van de klant moeten komen). Voor opleidingen die al afgelopen zijn of nog lopend zijn dienen de acties die aangeduid werden in rood opgevolgd te worden.

24. Monitoring van de uitbestede ESF-opleidingKwantitatieve monitoring Routings en documenten Document 10: Aanwezigheden Optekenen zowel tijdens de theorielessen als tijdens de stages! Theorielessen: Aanwezigheidslijsten worden dagelijks getekend door de cursist in de voor- en namiddag en tegengetekend door de lesgever/instructeur. Stage: Alle stageplaatsen worden vermeld en telkens ter bevestiging van aanwezigheid door de stagiair en de stagebegeleider/ hulpvrager tegengetekend. Er wordt minstens per dagdeel (lees: in de voormiddag en in de namiddag) getekend door de stagiair en stagebegeleider / hulpvrager.

25. Monitoring van de uitbestede ESF-opleidingKwantitatieve monitoring Registratie Aanwezigheden In het kader van de inspanningsfinanciering bezorgt de partner, de 1e werkdag volgend op de maand waarin de opleiding startte, de gehandtekende aanwezigheidslijst zoals hiervoor beschreven én betrekking hebbende op de maand waarin de opleiding startte. De lijst wordt bezorgd aan de VDAB (S) waarmee samengewerkt wordt. De aanwezigheidslijsten dienen als basis voor de partner voor het registreren van aanwezigheden /afwezigheden/… in cvs.

26. Monitoring van de uitbestede ESF-opleidingKwantitatieve monitoring Registratie Aanwezigheden Het is van belang in het kader van de betalingen dat deze registraties in cvs asap en correct gebeuren. Vanaf de 2e dag van de maand volgend op de maand waarin de opleiding startte, kunnen tabellen vanuit de VDAB-studiedienst getrokken worden. De tabellen worden gevormd op basis van de cvs registraties. Hierop worden de betalingen gebaseerd. Originele aanwezigheidslijsten worden bewaard bij de partner.

27. Monitoring van de uitbestede ESF-opleidingKwantitatieve monitoring Registratie Aanwezigheden Steekproefsgewijs (zie verder) controleert de VDAB (S) of de cursistenuren geregistreerd in cvs door de partner overeenstemmen met de gehandtekende aanwezigheidslijsten zoals hierboven omschreven. Voor de afgelopen en lopende opleidingen dienen 3 cursistendossiers op die manier gecontroleerd te worden in de tweede opleidingshelft, naar het einde van de opleiding toe en over de ganse periode van opleiding die tot dan toe verstreken is.

28. Monitoring van de uitbestede ESF-opleidingKwantitatieve monitoring Registratie Aanwezigheden Ook de periode van de stage zit hierin. Gehandtekende aanwezigheidslijsten die tijdens de stage bijgehouden werden, worden nagekeken. Ook het stageboekje kan hiervoor geraadpleegd worden. Handtekeningen per cursist in de vm en nm zijn een must. Er dient tevens telkens per dagdeel tegengetekend te worden. (zie hierboven onder document 4) Tijdens de stage: registratie in cvs overeengekomstig gehandtekende aanwezigheidslijsten (zie aanwezigheden stage) Voor de nog op te starten opleidingen: zie document 9

29. Monitoring van de uitbestede ESF-opleidingKwantitatieve monitoring Registratie Aanwezigheden Ziektebriefjes,.. Moeten aan de hand van aanwezigheidslijsten opgevraagd worden bij de partner. Bij knelpunten vastgesteld bij registratie wordt de partner onmiddellijk verwittigd. Documenten die afwezigheden staven, worden door de partner bijgehouden (zie bewaartermijn).

30. Monitoring van de uitbestede ESF-opleidingKwantitatieve monitoring Registratie N.B. Stopzettingen Bespreking mogelijke stopzetting tussen partner en VDAB (S) + beslissing Partner registreert in CVS en vermeld reden (cfr. betalingen cursistenvergoedingen) De nodige documenten worden meegeven door de partner aan de klant.

31. Monitoring van de uitbestede ESF-opleidingKwantitatieve monitoring Registratie Aanwezigheden – stopzettingen steekproef Concreet: Voor de afgelopen en lopende opleiding: De VDAB (S) geeft willekeurig 3 ikl-nrs (namen van cursisten die de opleiding startten) door aan de partner. De partner bezorgt voor die 3 cursisten, gehandtekende aanwezigheidslijsten voor de ganse opleiding. Voor de uren - aanwezigheden tijdens de stage kan het stageboekje ingekeken worden bij de partner. Voor nog op te starten opleidingen: zie doc. 9 (zelfde manier van werken)

32. Monitoring van de uitbestede ESF-opleiding kwantitatieve monitoring Registratie Cursistencontracten Worden door de partner afgeprint ten laatste op de dag waarop de opleiding start. Indien geen contract beschikbaar (wegens technische reden => er wordt een VDAB contract aangemaakt) Worden bij de start van de opleiding getekend door de cursisten (overeenkomstig document 7). Klantenconsulent is aanwezig de dag van de start van de opleiding en bevestigt dat alle contracten getekend werden (document 9: sleutelmomenten)

33. Monitoring van de uitbestede ESF-opleiding Kwantitatieve monitoring Registratie Cursistencontracten Voor alle klanten die de maand waarin de opleiding begon, de opleiding aanvatten dient een contract getekend te zijn. Voorbeeld: opleiding start 3 maart, cursist start pas op 20 maart. Ook voor deze cursist moet een contract opgemaakt en getekend worden (zie sleuteldocument 9) Controle door VDAB (S) : voor alle cursisten (unieke namen) waarvoor aanwezigheden geregistreerd (aanwezigheidslijst handtekeningen) de maand van de start van de opleiding, contract getekend?

34. Monitoring van de uitbestede ESF-opleidingKwantitatieve monitoring Registratie Cursistencontracten Voor reeds afgeronde en lopende opleidingen dient dit door de VDAB (S) ook nagegaan te worden. Noteer zorgvuldig indien geen gehandtekend contract terug te vinden is (document 9). Indien geen contract getekend maar wel een contract opgemaakt: remediëren daar waar het nog kan!

35. Monitoring van de uitbestede ESF-opleidingKwantitatieve monitoring Registratie Stagecontracten Voor alle klanten die de stage zullen aanvatten is ten laatste de dag waarop de stage aanvat, een stagecontract getekend. Controle door VDAB (S): voor alle cursisten waarvoor aanwezigheden, uren geregistreerd in CVS tijdens stageperiode, aanwezigheidslijst gehandtekend / stageboekje. Is er voor deze cursisten een contract opgemaakt?

36. Monitoring van de uitbestede ESF-opleiding kwantitatieve monitoring Financiën Bepalen inspanningsfinanciering (zie flows 3 en 4) Vanuit CD (studiedienst) worden tabellen met resultaten registraties in cvs door de partners getrokken en doorgestuurd naar de betrokken servicemanager. De servicemanager controleert op basis van gehandtekende aanwezigheidslijst (unieke namen) aangeleverd door de partner het aantal starters en kansengroepers tabellen studiedienst. Concreet: als aantal starters (unieke namen) tabel studiedienst overeenstemt met aantal starters (unieke namen) aanwezigheidslijst, dan ok. Als verschil nagaan of het een kansengroeper betreft in het dossier van de klant (groene banner).

37. Monitoring van de uitbestede ESF-opleiding kwantitatieve monitoring Financiën Bepalen inspanningsfinanciering De servicemanager bevestigt binnen 5 werkdagen aan de CD (Fred Van Eynde) voor akkoord of geeft bemerkingen. Voorbeeld: Sm’er ontdekt dat de tabel van de studiedienst niet overeenstemt met aanwezigheidslijst, één persoon werd nog niet door de partner geregistreerd in CVS maar was wel aanwezig. Partner wordt op de hoogte gebracht door servicemanager en registratie io gebracht.

38. Monitoring van de uitbestede ESF-opleiding kwantitatieve monitoring Financiën Bepalen inspanningsfinanciering De partner en servicemanager worden bij betaling geïnformeerd per mail en krijgen een overzicht van wat betaald is, nog betaald zal worden, de berekening (aantal starters, kansengroepers). Betaaloverzichten vanuit centrale dienst zullen gecommuniceerd worden in oktober 2009 en februari 2010.

39. Monitoring van de uitbestede ESF-opleiding Kwantitatieve monitoring Financiën Controle maandelijkse betalingen inspanningsfinanciering: bedrag en tijdigheid Met de eerste betaling, wordt de partner en servicemanager maandelijks geïnformeerd over de stava: wat is er al betaald, wat moet er nog betaald worden en hoe werd het te betalen bedrag berekend. De eerste betaling gebeurt ten laatste in de 2e maand na de maand waarin de opleiding startte.

40. Monitoring van de uitbestede ESF-opleidingKwantitatieve monitoring Financiën Controle maandelijkse betalingen inspanningsfinanciering: bedrag en tijdigheid De servicemanager controleert steekproefsgewijs, op een willekeurig moment in de tweede opleidingshelft of de betaling correct en tijdig gebeurd. Wat wordt gecontroleerd? Zie ook: document 9. Indien nodig verwittigt de servicemanager asap te centrale dienst. De partner controleert dit ook op zijn beurt en verwittigt de servicemanager bij knelpunten. Indien nodig verwittigt de servicemanager asap de centrale dienst.

41. Monitoring van de uitbestede ESF-opleidingKwantitatieve monitoring Financiën Bepalen resultaatsfinanciering (zie flows 5 en 6) Met uitstroom wordt bedoeld: uitstroom 3 maanden na einde actie. Uitgangspunt = effectief gestarte cursisten, 3 maanden na einde opleiding, niet meer ingeschreven staan als niet werkend werkzoekend.(zie offerte) Voor de vooropleiding verpleegkunde: de meting gebeurt 3 maanden na het einde van de actie. De doorstroom is positief als op het moment van de meting betrokkene niet meer werkende werkzoekende is of bezig is aan een finaliteitsgerichte opleiding.

42. Monitoring van de uitbestede ESF-opleidingKwantitatieve monitoring Financiën Bepalen resultaatsfinanciering (zie flows 5 en6) Vanuit Brussel (CD) gebeurt de controle en berekening van het te betalen bedrag aan de partner. Vanuit de CD gebeurt de betaling in de maand 5e maand na einde opleiding. Een overzicht van de betaling wordt doorgestuurd naar de servicemanager en partner.

43. Monitoring van de uitbestede ESF-opleidingKwantitatieve monitoring FinanciënBepalen resultaatsfinanciering Een eventuele rechtzetting van de resultaatsfinanciering gebeurt in een tweede fase en ten laatste de maand volgend op de resultaatsfinanciering. Een eventuele rechtzetting van de inspanningsfinanciering (teveel / te weinig betaald) kan gebeuren via verrekening op de resultaatsfinanciering.

44. Monitoring van de uitbestede ESF-opleidingKwantitatieve monitoring Steekproefsgewijze controle Betrouwbaar: Betrouwbaar zijn waarnemingen, die onder dezelfde omstandigheden herhaald, dezelfde uitkomst geven. Valide: De validiteit van empirisch onderzoek betreft zodoende de interpreteerbaarheid en de veralgemeenbaarheid van de resultaten van dat onderzoek.

45. Monitoring van de uitbestede ESF-opleidingKwantitatieve monitoring Steekproefsgewijze controle Steekproefomvang: Hoe omvangrijker de steekproef, hoe betrouwbaarder de uitspraken zullen zijn. Representatief: De steekproef vormt wat betreft belangrijke kenmerken (leeftijd, geslacht, etc) een goede afspiegeling van de populatie.

46. Monitoring van de uitbestede ESF-opleidingKwantitatieve monitoring • Steekproefsgewijze controle: doc. 9 • Per opleiding! • vergelijking gehandtekende aanwezigheidslijsten met uren registraties cvs. • Wanneer: • * in de eerste opleidingshelft : 3 dossiers (ikl’nrs) over alle maanden die verstreken zijn. • * in de tweede opleidingshelft: 3 dossiers (ikl’nrs) over alle maanden die tot dan toe verstreken zijn • Ikl’nrs die gecontroleerd worden, noteren op doc. 9.

47. Monitoring van de uitbestede ESF-opleidingKwantitatieve monitoring Steekproefsgewijze controle: doc. 9 Indien er nav de steekproeven afwijkingen worden vastgesteld, wordt dit onmiddellijk gecommuniceerd naar de partner zodat de nodige bijsturing kan gebeuren. Vb. Indien een registratie in cvs niet bevestigd kan worden met gehandetekende aanwezigheidslijst zal de cursist een verklaring op eer ondertekenen om zijn aanwezigheid te bevestigen. Zie: bijlagen 1/ verklaring op eer 2/ begeleidende brief

48. Monitoring van de uitbestede ESF-opleidingAdvies en concreet: 1 kaft per opleiding centraal (financiën) en regionaal met datum en uitbestedingsnummer. Voorblad: document 9 (= tool gekaderd opvolgingsinstrument) Ontvangen documenten bewaren Nota’s / mails / overige bewaren (ex-post vanaf 1/1/08)

49. Monitoring van de uitbestede ESF-opleidingAdvies en concreet: • Bestek, bijacte en draaiboek, publicatie op het internet van FAQ’s, ppt, flows, documenten, instrument kwalitatieve monitoring • Evaluatie efficiënt controle- en opvolgingssysteem ESF tender 2008-299 (social profit): najaar • - documenten • - routings • - timings • - … • Bijsturing • Implementatie naar volgende tender toe? • Steekproef interne auditdienst: werking systeem. • Audit Europese Commissie (najaar)

50. Monitoring van de uitbestede ESF-opleiding Contactgegevens Servicemanager (provincie Antwerpen) Antwerpen Pascale Cillis De Keyserlei 58-60 bus 107 2018 ANTWERPEN 03 212 28 58 Pascale.Cillis@vdab.be