Usulan Penguatan Sistem Pemantauan dan Evaluasi Pinjaman dan Hibah Luar Negeri

1. Usulan Penguatan Sistem Pemantauan dan Evaluasi Pinjaman dan Hibah Luar Negeri ‘Internalisasi Pembelajaran dan Praktik Terbaik’ Disampaikan dalam diskusi , 24 Maret 2014

2. Siklus Proyek PHLN dan Dasar Hukum Pemantauan dan Evaluasi LPK-PHLN (Lampiran PMK No 180 Tahun 2012) LKPPHLN (LaporanKinerjaPelaksanaan PHLN)/Laporan Triwulanan

3. Daftar Inventaris Masalah (DIM) sebagai Dasar Rencana Pengembangan Sistem Pemantauan dan Evaluasi Daftar Inventaris Masalah (DIM) Usulan Arah Pengembangan

4. Tahapan Pengembangan • Kesepakatan mengenai indikator kinerja; • Finalisasi sistem evaluasi • Finalisasi early warning system • Penyusunan dan penyempurnaan IT dan database sebagai tools knowledge management • Revisi atas PP No. 1o Tahun 2011 untuki mengakomodasi penguatan sistem pemantauan dan evaluasi • Pembahasan lanjutan mengenai definisi indikator kinerja; • Penyusunan mekanisme evaluasi • Pengembangan Monev sebagai early warning system • Penguatan peran LKPP dan proses dan tindak lanjut hasil pemantauan • Penguatan IT dan database pendukung • Penguatan yang dapat dilaksanakan tanpa mengubah PP No. 10/Tahun 2011: • Penguatan pengukuran kinerja sesuai PP 10/2011; • Perubahan format LPK; • Pembahasan realisasi penyerapan yang akan digunakan; dan • Penguatan pengukuran capaian (progres varian)

5. Rencana pengembangan jangka pendek Penguatan yang dapat dilaksanakan tanpa mengubah PP No. 10/Tahun 2011: Penguatan pengukuran kinerja sesuai PP 10/2011; Perubahan format LPK; Pembahasan realisasi penyerapan yang akan digunakan; dan Penguatan pengukuran capaian (progres varian)

6. Kaitan Formulir Pemantauan dan Evaluasi dengan Tusi Kelembagaan PP No. 10 TAHUN 2011 Pasal 76 Format Isian Pemantauan dan Evaluasi (A, B, dan C) Format Isian Pemantauan dan Evaluasi (D dan E) Pelaksanaan pengadaan barang/jasa Form A (data umum) Kemajuan fisik kegiatan Form D (Status PaketKontrak) Form B (ringkasanpelaksanaan) Realisasi penyerapan Form E (RincianDokumenAnggaran) Form C (permasalahan) Permasalahan dalam pelaksanaan Sebagian besar dalam hal pengadaan dan penyerapan Rencana tindak lanjut penyelesaian masalah. Form Pemantauan dan Evaluasi Menekankan pada aspek: pengadaan barang dan jasa (Tusi LKPP) dan Penyerapan Dana (Tusi Kemenkeu). Keduanya mencerminkan pelaksanaan proyek yang terkait dengan pengadaan, kontrak dan belanja.Dengan demikian tetap relevan untuk terus dipantau progresnya. Namun monitoring pencapaian substansi perkomponen kegiatan masih belum optimal. Aspek-aspek antara lain sbb: (1) Konstribusi pada target capaian pembangunan, (2) Feed back kepada perencanaan selanjutnya, (3) upayauntuk replikasi dan/atau scaling up, dll belum dicakup dan didokumentasikan secara baik dalam proses dan laporan hasil pemantauan

7. Project Completion Report Project Completion Report (PCR) menjadi dokumen yang dapat* menjadi acuanuntuk: Mereviu capaian proyek sebagai salah satu upaya untuk mencapai target pembangunan, memberikan feed-back untuk perencanaan selanjutnya, dan untuk memastikan replikasi/scaling-up. PCR dapat melaksanakan fungsi ini karena menjadikan PDO dan Intermediate Result sebagai basis pengukuran pencapaian tersebut. PCR disusun pada akhir atau setelah pelaksanaan proyek. Padahal konstribusi terhadap capaian pembangunan perlu dilaksanakan setiap tahun, agar bisa selaras dan memberi masukan dalam sistem perencanaan tahunan. Demikian halnya dengan replikasi dan scaling up tidak semata-mata hanya dapat dilaksanakan setelah proyek berakhir. Ide-ide baru dan pengembangan model sudah mulai dilakukan selama proses pelaksanaan proyek. Identifikasi pembelajaran yang hanya dilaksanakan di akhir masa pelaksanaan proyek, dikhawatirkan tidak dapat memotret seluruh proses pembelajaran secara lengkap. Diperlukan adanya penguatan/penambahan form pemantauan dan evaluasi PHLN untuk dapat ‘menangkap’ isu-isu tersebut. Penguatan form yang dapat mengidentifkasi pembelajaran dan dibahas setiap triwulan, akan memperkuat kualitas PCR karena proses identifikasinya tidak hanya dilakukan pada akhir pelaksanaan proyek. * Format PCR tidak sama. Tidak semua PCR mencakup hal-hal yang disebut dalam butir (1) di atas.

8. Sistem Pemantauan dan Evaluasi untuk Memastikan Pelaksanaan Tiga Pilar Kebijakan Pelaksanaan proyek mempunyai informasi yang sangat kaya berkaitan dengan proses untuk membangun kemitraan strategis termasuk dengan swasta, membangun skema pembiayaan inovatif, dan upaya untuk mengungkit investasi. Sangat penting untuk mendokumentasikan informasi ini secara kontinu. Knowledge yang bisa disebarluaskan dan di replikasi membutuhkan kriteria minimum yang prosesnya dilakukan pada saat pelaksaan proyek, alih-alih setelah proyek selesai. Demikian halnya dengan proses adopsi praktik terbaik di Indonesia. Transfer of Knowledge, know-how, dan capacity building sangat penting untuk diserap informasinya, didokumentasikan dan dilembagakan secara sistematis. Forum pemantauan dan evaluasi triwulanan dapat merupakan salah satu tools yang digunakan, tidak hanya dilihat pada PCR. Usulan: Pendokumentasian Pembelajaran pada saat pelaksanaan proyek, yang dibahas secara rutin dalam proses pemantauan. Pembahasan mengenai pembelajaran dapat dilakukan jika didukung format yang mengetengahkan capaian-capaian substantif untuk setiap komponen.

9. Usulan Simplifikasi dan Penambahan Form tentang pembelajaran FORM EXISTING USULAN Minimum requirement sesuai PP dan Permen Form A (data umum) Form A : DataUmum Pelaksanaan pengadaan barang/jasa Form B (ringkasanpelaksanaan) • Form B: Pelaksanaan Kontrak • Ringkasan pelaksanaan • Status • Permasalahan Kemajuan fisik kegiatan Form D (Status PaketKontrak) Realisasi penyerapan Permasalahan dalam pelaksanaan • Form C: Keuangan • Rincian Dokumen Anggaran • Status Penyerapan • Permasalahan Form C (permasalahan) Rencana tindak lanjut penyelesaian masalah. Form E (RincianDokumenAnggaran) • Form D: Pembelajaran • Substansi untuk setiap komponen • Administrasi dan keuangan • Manajerial, dan koordinasi kelembagaan • Ditambah lampiran capaian Result Framework berdasarkan PAD, LA, Financing Agreement/Grant Agreement atau dokumen lain Upaya untuk memastikan pelaksanaan tiga pilar kebijakan kerjasama pembangunan Tidak Perlu Mengubah PP

10. Usulan Tambahan Format Pemantauan dan Evaluasi Mengenai Pembelajaran Contoh dan definisi dari kerjasama UNDP: Ilustrasi (masih dalam pengembangan) • Keterangan *: • Pembelajaran antara lain dalam hal substansi/teknis, administrasi dan pengelolaan pengelolaan keuangan, manajerial dan koordinasi kelembagaan • Pelembagaan pembelajaran dapat dilakukan pada level proyek itu sendiri melalui perubahan/pendetailan SOP, atau di level institusi pelaksana melalui penyusunan ketentuan, masukan terhadap formulasi kebijakan, masukan dalam penyusunan perencanaan selanjutnya dll • Tata cara pengisian akan dituangkan dalam pedoman

11. Identifikasi dan Manfaat dari Pendokumentasian Pembelajaran Secara Sistematis Identifikasi Pembeljaran dari: Dinamika manajemen organisasi proyek, HRD, dan koordinasi kelembagaan Manajemen administrasi, keuangan dan penyerapan dana Dinamika pencapaian result framework serta aspek substansi dan kebijakan yang terkait dengan pencapainnya, serta linkages dengan kegiatan lain Proses pengadaan, pemrosesan NOL dan pembebasan lahan (jika ada) Pendokumentasian melalui Form Pemantauan Rutin Masukan untuk Perbaikan SOP proyek MANFAAT Feed back kepada perencanaan selanjutnya dan usulan pengembangan lebih lanjut dalam bentuk replikasi dan/atau scaling up Masukan dalam formulasi kebijakan Masukan untuk penguatan koordinasi dan sinergi dengan proyek yang lain

12. Penguatan Koordinasi Kelembagaan dalam pelaksanaan Pemantauan dan Evaluasi PHLN FORM USULAN PENGUATAN KOORDINASI KELEMBAGAAN Form A : DataUmum • Form B: Pelaksanaan Kontrak • Ringkasan pelaksanaan • Status • Permasalahan Dikoordinasikan oleh Kementerian PPN/Bappenas dan Penguatan keterlibatan LKPP dalam identifikasi dan tindak lanjut • Form C: Keuangan • Rincian Dokumen Anggaran • Status Penyerapan • Permasalahan Dikoordinasikan oleh Kementerian Keuangan • Form D: Pembelajaran • Substansi untuk setiap komponen • Administrasi dan keuangan • Manajerial, dan koordinasi kelembagaan • (ditambah lampiran capaian Result Frameworkberdasarkan PAD/Loan Agreement/Financing Agreement/Grant Agreement atau dokumen yang disetarakan lainnya. • Dikoordinasikan oleh Kementerian PPN/Bappenas • Penguatan keterlibatan direktorat sektor

13. Usulan Tahapan Pengembangan Sistem Pemantauan dan Evaluasi Pascapelaksanaan • Dibagi dalam rencana pengembangan jangka pendek dan jangka panjang. • Usulan koridor pewaktuan: • Jangka pendek  tidak perlu mengubah PP No. 10/2011 • Jangka panjang  harus mengubah PP No. 10/2011 • Misalnya (sebagai ilustrasi): • Jangka pendek: • Perubahan format tanpa mengubah definisi kinerja output, sebagai masa transisi dengan melampirkan KPI sesuai dokumen yang berlaku di setiap patner. • Penguatan sistem informasi dan database sesuai dengan perubahan a) • Jangka panjang: • Pengubahan definisi dan cakupan pemantauan yang mempunyai konsekuensi mengubah pasal atau ayat dalam PP 10/2011 • Penguatan evaluasi yang perlu mengubah PP/2011 • Pengubahan pembagian peran dan fungsi kelembagaan • Pembahasan dan kesepakatan mengenai pengembangan sistem baik jangka pendek dan jangka panjang berdasarkan Daftar Inventaris Masalah (DIM) dan usulan rencana tindak yang diperlukan untuk setiap masalah tersebut.

14. Terima Kasih

15. Rencana penyerapan dan pengadaan detail untuk tahun yang bersangkutan DRPLN JM DRPPLN Daftar Kegiatan Quarterly Progres Report Loan Agreement Annual Work Plan Quarterly Progres Report Quarterly Progres Report Project Completion Report Annual Work Plan Quarterly Progres Report Quarterly Progres Report Annual Work Plan Annual Progres Report Project Appraisal Document (PAD) Rencana penyerapan selama masa pelaksanaan Mid Term Review ICR Mission Supervision Mission Result Framework Operational Risk analysis Framework (ORAF)

16. Ringkasan Masukan Sementara (1/2)

17. Ringkasan Masukan Sementara (2/2)

18. INDIKATOR KEBERHASILAN PROGRAM PPAUD Project Development Objective (PDO) PDO di ukur berdasarkankemajuan program yang dievaluasimelaluistudidampak yang dilaksanakan dalam Program PPAUD, Hasil Sbb: Perkembangananakmiskinmeningkatlebihbesar di desaproyekdibandingkan di desa non-proyek Terjadi peningkatan pola pengasuhan orang tua (anak) miskin di desa proyekdibanding orang tua (anak) kaya di desaproyek dan di desa non-proyek Anakmiskindi desa proyek dilaporkanberkurangpermasalahannyadibandinganak kaya di desaproyek dan di desa non-proyek. Intermediate Outcomes

19. Contoh PNPM Urban 3

20. Contoh Bermutu