VIII Konferencja Ewaluacyjna

1. VIII Konferencja Ewaluacyjna Realizacja badań ewaluacyjnych w świetle Prawa Zamówień Publicznych Bartosz Ledzion

2. Realizacja badań ewaluacyjnych w świetle Prawa Zamówień Publicznych Bartosz Ledzion: b.ledzion@evaluation.pl EGO: www.evaluation.pl

3. Jaki jest związek procesu wyboru wykonawców z wykorzystaniem wyników badań Jakość polityk publicznych (trafność podejmowanych decyzji) Poziom wykorzystania badań (w sensie poznawczym, użytkowym) Jakość badań (wiarygodność, dowód empiryczny) Sprawność procedury selekcji i wyłaniania wykonawców Procedura zapewnia wybór zespołu badawczego posiadającego kompetencje w zakresie danego badania

4. Jakie są uwarunkowania prawne zlecania badań ewaluacyjnych • Przegląd orzecznictwa (KIO, TS) pozwala stwierdzić, że w judykaturze dopuszcza się stosowanie niemierzalnych (niewymiernych) kryteriów pod warunkiem ich zobiektywizowania • Argumentu prawne: • W orzeczeniach Krajowej Izby Odwoławczej • Orzeczenie KIO 1280/09 „prawem zamawiającego jest ustalanie takich kryteriów wyboru oferty najkorzystniejszej, które jego zdaniem , w najlepszy sposób pozwolą wybrać urządzenie najlepiej odpowiadające jego wymaganiom ...” • Orzeczenie KIO 1804/09 „kryterium jakość realizowanej usługi jest dopuszczalne w świetle art. 91 ust. 2 ustawy PZP • Orzeczenie KIO 1168/10 odnosząca się do kryterium „Koncepcja wykonania usługi” Izba wyraziła pogląd iż „Wskazane w przepisie art. 91 ust. 2 Pzp kryteria oceny ofert są kryteriami przykładowymi, ... , zaś poza zakazem stosowania kryteriów , które mogą dotyczyć właściwości wykonawcy, brak jest innych zakazów”. • W wyroku Trybunału Sprawiedliwości UE( C-448/01) według którego zamawiający dysponuje swobodą określania kryteriów pod warunkiem, że nie przyznają zamawiającemu prawa arbitralnego wyboru oferty

5. Jakie są uwarunkowania prawne zlecania badań ewaluacyjnych • Polska praktyka oceny ofert opiera się na 1) niedopasowaniu prawa, jak i jego 2) wypaczonej interpretacji, co przejawia się w szczególności w: • 1) zakazie porównywania ofert wbrew logice faktycznego postępowania, zmuszając oceniających do przyjęcia nieformalnego punktu odniesienia , co prowadzi do oceny swobodnej, nieobiektywnej opartej na niewyartykułowanych nieformalnych miarach ... (zależnych od różnych kompetencji oceniających) • 2) sposobie formułowania kryteriów merytorycznych, często w sposób bardzo ustrukturyzowany, pozbawiając je mocy rzeczywistego rozstrzygania o wartości proponowanej koncepcji badawczej oraz metodologii. Takie podejście doprowadza do automatyzacji i uniwersalizacji tworzenia koncepcji badawczych ...

6. Jakie są uwarunkowania prawne zlecania badań ewaluacyjnych • Jak wygląda proces logicznej oceny ... • porównanie w czasie - pozwala ocenić postęp lub regres (zmianę) - brak zastosowania w PZP • porównanie do wzorca - nasz przedmiot oceny przyrównujemy do ideału i mierzymy na ile odbiega lub jest bliski ideału – w przypadku PZP wymagałoby ustalenia i bardzo szczegółowego zdefiniowania jednego, modelowego podejścia do danego problemu badawczego • porównanie do innych przedmiotów z ocenianej grupy – jest to ocena relatywna, gdyż zakłada, że nie ma jednego słusznego wzorca, jednej poprawnej odpowiedzi, ocena danego przedmiotu jest dokonywana w ramach grupy, porównujemy rzeczy między sobą, wynik zależy więc od składu grupy poddawanej ocenie, od tego jakie przedmioty porównujemy ze sobą - wydaje się, że jest to adekwatny sposób oceny ofert

7. Jak zlecamy badania w Polsce – jakie czynniki faktycznie wpływają na wybór wykonawcy • W przypadku badań ewaluacyjnych mamy do czynienia z pozornie wysokim udziałem kryteriów merytorycznych, jednak ze względu na błędne stosowanie ich faktyczny udział w wyborze jest niższy i dominuje cena ... Źródło: Analiza zamówień publicznych w kontekście badań dla sektora publicznego, PTE, czerwiec 2011

8. Jak zlecamy badania w Polsce – jakie czynniki faktycznie wpływają na wybór wykonawcy • Kluczowe czynniki wpływające na rzeczywiste zmniejszenie udziału kryteriów merytorycznych w stosunku do kryterium cenowego: • wysoki udział (od 6 do 20 na ok. 50 pkt jakościowych) kryteriów odnoszących się do organizacji procesu badawczego, za które w praktyce oferenci otrzymują podobną liczbę punktów (bo wszyscy przedstawiają w miarę poprawne: harmonogramy, sposób rozdysponowania pracy pomiędzy członków zespołu badawczego oraz sposób prezentacji wyników badania); • powtarzające się i ustrukturyzowane kryteria jakościowe - sporo doświadczonych firm specjalizujących się badaniach ewaluacyjnych, posiadających wypracowane rozwiązania metodologiczne i organizacyjne) powoduje, że ostateczne różnice w punktacji za część merytoryczną pomiędzy oferentami nie są wysokie;

9. Jak zlecamy badania w Polsce – jaka jest jakość kryteriów merytorycznych • Ocena jakości kryteriów merytorycznych nie wypada pozytywnie, w ponad 80 % przeglądanych SIWZ pojawiały się następujące błędy: • Brak wskazania czynnika oceniającego w kryteriach (np. zasadność, trafność, etc.), co w praktyce może oznaczać, że wystarczy, aby dany element (np. dobór próby czy model badania) znalazł się w ofercie, a nie musi już być sensowny z punktu widzenia realizacji celów badania; • Jedno kryterium/podkryterium zawiera więcej niż jeden czynnik oceniający (np. trafność i spójność logiczna), co sprawia, że nie jest jasne, jak będzie rozkładała się punktacja - nie wiadomo ile punktów za trafność, a ile za spójność; • Brak definicji jak rozumiemy jakość / trafność ... • Brak rozdysponowania punktów pomiędzy poszczególne podkryteria (np. „do 45 pkt za metodykę i do 15 za organizację badania”), • Powtarzają się kryteria, które dotyczą tej samej kwestii; • Ocenianie elementów zawartych w SOPZ (np. strukturalizacji badania); • W przypadku punktowania dodatkowych elementów (np. metody, pytania) brak wskazania liczby ocenianych elementów, co powoduje niepotrzebny rozrost ofert ... • Ocenianie sposobu doboru próby bez zapewnienia danych odnośnie populacji badania.

10. Jak zlecane są badania zagranicą ? • Kraje które zdecydowały się na kryterium ceny jako dominujące przy wyborze ofert, mają problemy z jakością dostarczanych im ewaluacji, a co za tym idzie z użytecznością ekspertyz. Poczynione oszczędności odbijają się negatywnie na poziomie kultury ewaluacyjnej danego kraju, • Państwa o najdłuższej tradycji kultury ewaluacyjnej i największym doświadczeniu w prowadzeniu polityk publicznych opartych na dowodach wykorzystują kryteria jakościowe do oceny i wyboru wykonawców badań. • W praktyce doświadczonych administracji kryteria jakościowe są sformułowane syntetycznie i nie są rozbijane na konkretne skale punktowe. Terminy takie jak np. „adekwatność metodyki badawczej”, „spójność koncepcji”, „jakość operacjonalizacji badania” są pozostawiane do interpretacji i oceny członkom komisji przetargowych.

11. Jak zlecane są badania ewaluacyjne zagranicą ? • W instytucjach europejskich (np: KE) dominuje podejście do oceny ofert oparte na zdefiniowanych kryteriach jakościowych (zrozumienie przedmiotu badania, metodyka badania i organizacja badania), • Cena ma marginalny wpływ na wybór, • W kryteriach jakościowych zawsze stosowana jest forma „stopniowalna” (jakość, stopień zrozumienia „do ... pkt. „, takie podejście powoduje, że ocenia nie jest zautomatyzowana, • W przypadku rozbieżności punktowych powoływani są dodatkowi eksperci, • Częstą praktyką jest powoływanie do oceny grup zewnętrznych ekspertów,

12. Jak możemy ulepszyć stosowane kryteria ? • Uwzględniając uwarunkowania prawne stosowania niemierzalnych kryteriów jakościowych należy zalecić, aby : • Kryteria były dopasowane do konkretnego badania, nie można powtarzać jedno zestawu kryteriów do badań różnych typów i o różnym stopniu uszczegółowienia, • Kryteria były dokładnie opisane przy pomocy szczegółowych podkryteriów, • Poszczególnym kryteriom /podkryteriom przypisane były odpowiednie wagi, • W opisie sposobu oceny ofert należy określić zasady przyznawania punktów poszczególnym ofertom w ramach kryteriów i podkryteriów, przy czym zalecana jest ich kwantyfikacja – filozofie kwantyfikowania kryteriów ...

13. Jak możemy ulepszyć stosowane kryteria ? • Filozofie kwantyfikowania kryteriów tj: • zastosowanie widełek w formie „do … pkt” – wtedy kryterium powinno zawierać czynnik oceniający „stopień” (np. przydatności, spójności, etc.); • stopniowanie, np. „za 2 dodatkowe trafne pytania – 1 pkt, za 3 – 2 pkt, za 4 – 3 pkt” – w tym przypadku kryterium również powinno mieć czynnik oceniający (np. przydatności, spójności, trafność etc.); • punktowanie zerojedynkowe (na zasadzie „spełnia – nie spełnia”) – w tym przypadku kryterium powinno mieć formę „trafność”, „spójność” (np. „3 pkt – zidentyfikowano trafne potencjalne obszary ryzyka, mogące wystąpić w trakcie realizacji badania oraz środki je minimalizujące; 0 pkt – nie zidentyfikowano potencjalnych obszarów ryzyka i/lub środków je minimalizujących lub któreś ze zidentyfikowanych są nietrafne”).