Jak mierzyć prestiż uczelni poprzez badania pracodawców i / lub badania absolwentów?

1. Jak mierzyć prestiż uczelni poprzez badania pracodawców i / lub badania absolwentów? Seminarium rankingowe, 15 grudnia 2011r.

2. Przesłanki do wnioskowania o prestiżu uczelni na podstawie badań absolwentów

3. Jak jest robione badanie pracodawców?

4. Respondenci – kogo badamy? Jaki dobór próby stosujemy? Jednostką próby były przedsiębiorstwa mikro, małe, średnie i duże działające w Polsce. Respondentami właściciele firm, członkowie zarządu, pracownicy działów kadrowych (Human Resources), czyli uczestnicy procesu decyzyjnego w zakresie zatrudniania i rozwoju zasobów ludzkich. W badaniu zastosowano dobór losowo warstwowy, uwzględniający udział poszczególnych typów przedsiębiorstw w strukturze zatrudnienia W roku 2009 przebadaliśmy 800 przedsiębiorstw, • w 2010 r. – 849, • w 2011 r. – 1178.

5. Jak rekrutujemy respondentów? Wykorzystujemy dwie techniki: • Wywiady telefoniczne wspomagane komputerowo (CATI) mają zastosowaniena etapie rekrutacji respondentów, dotarcia do właściwych osób (trafność doboru respondenta) oraz służą także przypominaniu o trwającym badaniu (zachęcenie do wypełnienia ankiety osób, które wstępnie zadeklarowały chęć udziału w badaniu, ale nie wypełniły ankiety internetowej) • Wywiady internetowe wspomagane internetowo (CAWI) • mają zastosowanie w przypadku wywiadu właściwego; na adres email respondentom dostarczane jest indywidualizowane hiperłącze pozwalające na uruchomienie badania Realizując badanie korzystamy z komercyjnych baz HBI, baz własnych TNS Pentor oraz baz podmiotów partnerskich np. PKPP Lewiatan

6. Struktura próby Ze względu na wielkość podmiotu gospodarczego Ze względu na województwo Ze względu na sekcję PKD 2004 Ze względu na zaokrąglenia wartości procentowych suma proc. może być różna od 100.

7. Co jeszcze należy wiedzieć na temat próby? Wyniki badania nie zależą tylko od obiektywnej jakości kształcenia, ale także od struktury i potrzeb gospodarki. Jej odzwierciedleniem jest przebadana próba pracodawców. Udział podmiotów poszczególnej wielkości, reprezentujących poszczególne branże i województwa był proporcjonalny do tego, jaki procent ogólnej liczby pracujących w Polsce podmioty te zatrudniają. Dlatego najliczniej reprezentowane były podmioty działające w branżach: • przemysł (28%), • handel (22%), oraz podmioty z województwa mazowieckiego (22%).

8. Jak budujemy wskaźnik?

9. Sposób tworzenia wskaźnika (I) • Podstawowym problemem stojącym przed zespołem badawczym była nierównowaga siły marki poszczególnych uczelni. • Konstruując wskaźnik należało ten czynnik zneutralizować. • Dlatego założono, że znaczenie opinii o uczelniach jest większe wówczas, gdy opinie te przejawiają się w działaniach pracodawcy polegających na: • zatrudnianiu absolwentów danej uczelni (danej grupy kierunków), • planowaniu zatrudnienia ich w ciągu najbliższego roku.

10. O jakie kierunki pytamy? • Kierunki ekonomiczne (ekonomia, ekonometria, finanse i rachunkowość, gospodarka przestrzenna, marketing, międzynarodowe stosunki gospodarcze, towaroznawstwo, zarządzanie itp.) • Kierunki medyczne (medycyna, stomatologia, analityka medyczna, biologia medyczna, dietetyka, farmacja, fizjoterapia, inżynieria biomedyczna, kosmetologia, pielęgniarstwo, położnictwo, ratownictwo medyczne, zdrowie publiczne itp.) • Kierunki humanistyczne (filologia, filozofia, historia, kulturoznawstwo, teologia, archeologia, etnologia, historia sztuki, informacja naukowa i bibliotekoznawstwo itp.) • Kierunki społeczne (dziennikarstwo i komunikacja społeczna, europeistyka, politologia, polityka społeczna, praca socjalna, psychologia, socjologia, stosunki międzynarodowe, pedagogika, pedagogika specjalna, resocjalizacja, samorząd terytorialny i polityka regionalna, prawo, administracja itp.) • Kierunki biologiczne, przyrodnicze i rolnicze (biologia, biotechnologia, ekologia, mikrobiologia, oceanografia, ochrona środowiska, geografia, geologia, architektura krajobrazu, leśnictwo, ogrodnictwo, rolnictwo, rybactwo, technologia żywności i żywienie człowieka, zootechnika, weterynaria itp.) • Kierunki nauk ścisłych (astronomia, fizyka, matematyka, chemia itp.) • Kierunki techniczne i informatyczne (architektura i urbanistyka, automatyka i robotyka, budownictwo, energetyka, górnictwo, geodezja i kartografia, inżynieria, mechanika i budowa maszyn, mechatronika, nanotechnologia, papiernictwo i poligrafia, transport, zarządzanie i inżynieria produkcji, elektronika i telekomunikacja, elektrotechnika, informatyka, technologia chemiczna, itp.) • Kierunki wychowania fizycznego (sport, wychowanie fizyczne, turystyka i rekreacja itp.) • Inne, jakie?

11. Sposób obliczania wskaźnika (II) Dla każdej uczelni obliczono odsetek pracodawców: preferujących uczelnię (jej grupy kierunków) i zatrudniających jej absolwentów lub planujących ich zatrudnić. Uzyskaną wartość pomnożono przez ustaloną wagę, tj. 2. 1 Dla każdej uczelni obliczono odsetek pracodawców: preferujących uczelnię (jej grupy kierunków), ale nie zatrudniających i nie planujących zatrudnić jej absolwentów. Uzyskaną wartość pomnożono przez ustaloną wagę, tj. 1. 2 3 Wygenerowane wartości zsumowano – dla każdej z uczelni. Wśród nich zidentyfikowano wynik najlepszy. Uczelni o tym wyniku przypisano 100 punktów. 4 Wyniki pozostałych uczelni wyrażono jako udziały procentowe w stosunku do wyniku najlepszej uczelni. 5

12. Jakie są ograniczenia badania pracodawców?

13. Jakie ważniejsze ograniczenia wyróżniamy? (I) Determinują metodologię – technikę pomiaru Kosztowe Zastosowanie ankiety internetowej skutkuje pewnym odsetkiem błędów będących efektem pomyłek w wyborze przez respondenta uczelni z bardzo obszernej listy Ogranicza wielkość próby Uniemożliwia sięgnięcie po operat REGON Ogranicza możliwość analiz na poziomie grup kierunków Pewne branże nie są licznie reprezentowane W losowaniu nie biorą udziału wszystkie podmioty gospodarcze Defaworyzuje uczelnie i kierunki, których wkład w budowanie kadr gospodarki jest niewielki Defaworyzuje uczelnie z regionów o niewielkiej liczbie pracodawców Próba ma zatem charakter quasi losowy

14. Jakie ważniejsze ograniczenia wyróżniamy? (II) Ograniczenie możliwości wnioskowania będące pochodną relatywnie małej wielkości próby oraz sposobu jej doboru. Obejmuje ono w szczególności: kierunki medyczne, artystyczne, wychowania fizycznego kierunki „wąskich specjalizacji” – pożarnictwo, ratownictwo morskie, etc. • województwa, m.in. lubuskie, świętokrzyskie, opolskie, podlaskie

15. Jak powinno wyglądać „modelowe” badanie pracodawców?

16. W jaki sposób poprawić jakość badania pracodawców? • Zapewnienie większej próby, w pełni losowej o bardziej zrównoważonym rozkładzie branż (a zatem i zapotrzebowania na absolwentów określonych kierunków studiów) i regionów • Dobór próby – losowo warstwowy, warstwy losowania oparte o zmienne: wielkość firmy, branża (sekcja PKD) i województwo. Operat losowania REGON • Wielkość próby – minimalna wielkość N=1600 • Zaprojektowana wielkość próby oraz metoda doboru (warstwowa nieproporcjonalna) powinna pozwalać na analizę danych i opracowanie wskaźników rankingowych na poziomie: • Branż – w każdej z nich powinno być zrealizowane przynajmniej 100 wywiadów • Województw – w każdym powinno być zrealizowane przynajmniej 100 wywiadów • Zmiana techniki badania z ankiety internetowej na bezpośredni wywiad kwestionariuszowy, najlepiej wspomagany komputerowo

17. Badanie absolwentów, czyli w jaki sposób wzmocnić dotychczasowe badania na temat prestiżu uczelni?

18. Absolwenci są najważniejszym podmiotem systemu edukacji Ich ścieżka zawodowa stanowi jeden z mierników jakość kształcenia Uwzględnienie opinii absolwentów pozwala na znacząco lepsze zrozumienie sytuacji w szkolnictwie Dostarcza ważne dane przydatne wszystkim interesariuszom

19. Kim mogą być odbiorcy wyników badania absolwentów? • Autorzy polityki oświatowej państwa Władze poszczególnych uczelni • Władze samorządowe • Przyszli i obecni absolwenci • Opinia publiczna • Autorzy rankingu szkół wyższych

20. Kto może uruchomić system badań?

21. Kto może uruchomić system badań? Minister Nauki i Szkolnictwa Wyższego • Minister Pracy i Polityki Społecznej • Szkoły wyższe – z własnej inicjatywy, zgodnie z potrzebami i możliwościami realizacyjnymi • Wyspecjalizowany podmiot, który w formie outsourcingu będzie świadczył szkołom wyższym odpłatne usługi za: • wykonanie obligatoryjnych badań losów absolwentów (wypełniając wymogi ustawy) • wykonywanie innych badań na wyłączność uczelni Wyspecjalizowany podmiot będzie mógł ponadto świadczyć usługi dla innych instytucji państwowych oraz zbierać dane na użytek rankingu • ranking będzie uwzględniał tylko te uczelnie, których odpowiednia liczba absolwentów wzięła udział w badaniu

22. Co jest potrzebne do uruchomienia badań?

23. Co jest potrzebne? (I) Zdaniem minister Barbary Kudryckiej monitorowanie karier studentów nie może odbywać się jednak na podstawie informacji z ZUS-u. Jej zdaniem uczelnia powinna uzyskiwać takie dane kontaktując się z absolwentami. Pani minister wyjaśniła, że monitoring karier absolwentów ma być realizowany przez uczelnię na podstawie posiadanych przez nią baz danych, w których zgromadzone są adresy mailowe studentów. "I to jest fantastyczny sposób, bo wiele osób nie zmienia swoich adresów internetowych" - zaznaczyła minister. "Jeśli uczelnia zwróci się do absolwenta z pytaniem: Czy pan/pani pracuje, a jeśli tak, to gdzie i na jakim stanowisku?, to każdy, kto będzie chciał odpowiedzieć, odpowie. To jest jego dobra wola, a nie obowiązek prawny do przekazania odpowiedzi" - dodała Kudrycka. www.edulandia.pl

24. Co jest potrzebne? (II) Operacyjnie dostępna (ze zgodą zainteresowanych na wykorzystanie) aktualna baza absolwentów Uczelnia musi uzyskać zgodę studenta na monitorowanie jego osiągnięć zawodowych - poinformował w czwartek Generalny Inspektor Ochrony Danych Osobowych (GIODO), dr Wojciech Wiewiórkowski. Podobną opinię wyraziła minister nauki Barbara Kudrycka. GIODO wyjaśnił, że to od uczelni zależy, jak uzyska zgodę studenta na monitorowanie jego losów po studiach. Według Wiewiórkowskiego najprostszym sposobem wydaje się złożenie przez studenta odpowiedniego oświadczenia w momencie, kiedy kończy on już studia. Na przykład przy składaniu karty obiegowej. www.edulandia.pl Ewentualnie również bazy „pre absolwentów” – studentów 3 roku studiów licencjackich oraz 1 i 2 roku studiów drugiego stopnia, studentów studiów doktoranckich

25. Co jest potrzebne? (III) Wystandaryzowana metodologia badania – brak standaryzacji uniemożliwi prowadzenie analiz porównawczych (pomiędzy uczelniami, kierunkami, etc.) oraz analizę zmian w czasie Niezależny, obiektywny, wykonawca badania Podejście systemowe – tworzenie ogólnopolskiej bazy absolwentów szkół wyższych i jednocześnie baz poszczególnych uczelni Współpraca szkół wyższych w zakresie organizacji baz absolwentów Współpraca szkół wyższych w zakresie finansowania przedsięwzięcia Instytucja potrafiąca zbudować system gromadzenia danych i nim na bieżąco zarządzać

26. Dziękuję za uwagę!