1 / 75

Metodologia badań społecznych Wykład IV-VII

Metodologia badań społecznych Wykład IV-VII. Roman Dolata Zakład Ewaluacji Instytucji Edukacyjnych Dyżury: piątki, 15.30-17.00, s. 314. Struktura tekstu naukowego – raport z badania. - Streszczenie Przedstawienie problemu badawczego

benard
Download Presentation

Metodologia badań społecznych Wykład IV-VII

An Image/Link below is provided (as is) to download presentation Download Policy: Content on the Website is provided to you AS IS for your information and personal use and may not be sold / licensed / shared on other websites without getting consent from its author. Content is provided to you AS IS for your information and personal use only. Download presentation by click this link. While downloading, if for some reason you are not able to download a presentation, the publisher may have deleted the file from their server. During download, if you can't get a presentation, the file might be deleted by the publisher.

E N D

Presentation Transcript


  1. Metodologia badań społecznychWykład IV-VII Roman Dolata Zakład Ewaluacji Instytucji Edukacyjnych Dyżury: piątki, 15.30-17.00, s. 314

  2. Struktura tekstu naukowego – raport z badania - Streszczenie • Przedstawienie problemu badawczego • Metoda, czyli opis sposobu rozwiązania problemu badawczego • Przedstawienie wyników • Dyskusja wyników - Bibliografia - Aneks

  3. Jak pisać streszczenie (abstrakt) • Abstrakt to krótki opis badania • Zawiera opis: • pytania/hipotezy badawczej • metody badania (próba, podstawowe pomiary, model analizy danych) • najważniejszych wyników oraz słowa kluczowe

  4. Przedstawienie problemu badawczego • Wstępne określenie problemu, dlaczego jest ważny? • Przegląd literatury – co wiemy? • Definicje kluczowych pojęć • Sformułowanie pytania/hipotezy badawczej na poziomie teoretycznym

  5. Przegląd literatury – gdzie szukać • Podręczniki (spis treści, indeks rzeczowy, słowniczki kluczowych pojęć) • Encyklopedie przedmiotowe • Monografie danego zagadnienia • Artykuły w prasie naukowej, w tym elektroniczne bazy tekstów: • artykuły przeglądowe, metaanalizy • raporty badawcze www.buw.uw.edu.pl

  6. Przegląd literatury - zasady • Krytycyzm i szacowanie wartości źródła • Unikanie omawiania „z drugiej ręki” • Dokumentowanie źródeł • Pamiętanie cały czas, czemu służy przegląd literatury: synteza dotychczasowej wiedzy na dany temat • Zwracanie uwagi zarówno na otrzymane wyniki jak i na stosowane metody badania • Poszukiwanie badania „wzorcowego” dla naszego problemu badawczego

  7. Cytowanie prac w tekście: psychologia, system amerykański • Jeden autor • (Feldman, 1966) • Feldman (1966) – jeśli w zdaniu wymieniamy nazwisko • Dwóch autorów • (Kahneman i Tversky, 1984) • Kilku autorów • Pierwszy raz wymieniamy wszystkich • (Cacioppo, Gardner i Berntson, 1997) • Kolejne odwoływania do tej pracy • (Cacioppo i inni, 1997) • Kilka prac na ten sam temat • (Ganzach, 1995; Gardner, 1996; Rowe, 1989)

  8. Bibliografia • Alfabetyczny spis prac cytowanych w raporcie • Artykuły w prasie naukowej: • Markman J., M., Hanushek E., A., Kain J., F., Rivkin S., G. (2003) Does peer ability affect student achievement? Journal of Applied Econometrics, vol. 18(5), s. 527-544. • Seppänen P. (2003) Patterns of „public-school markets” in the Finnish comprehensive school from a comparative perspective. Journal of Educational Policy, vol. 18, no. 5, pp.513-531. • Książki: • Sternberg R., J., Wagner R. (1986) Practical intelligence: Origins of competence in everyday world. New York, Cambridge University Press. • Sanders W.L., Saxton A., Horn S. (1997) The Tennessee value-added assessment system: A quantitative, outcomes-based approach to educational assessment. W: J. Millman (ed.) Grading Teachers, Grading Schools: Is student achievements a valid measure? Thousand Oaks, CA, Corwin Press.

  9. Definicje – tworzenie ładu pojęciowego • Definicja realna (DR) – stwierdzenie zasadniczej natury lub cech istotnych danego zjawiska • Poszukiwanie DR jest przejawem naiwnego realizmu. DR ewentualnie wieńczy proces badawczy, a nie go otwiera

  10. Definicje – tworzenie ładu pojęciowego, cd • Definicja nominalna (DN) – znaczenie przypisane do danego terminu bez żadnych roszczeń co do oddania „istoty rzeczy”. Konwencja terminologiczna • DN nie przysługuje wartość logiczna • Regulacyjne i projektujące DN • Wartość DN - użyteczność

  11. Definicje – tworzenie ładu pojęciowego, cd • Definicja sprawozdawcza (DS) – jak wspólnota naukowa definiuje dany termin; rekonstrukcja różnych sposobów definiowania • DS są ważne w naukach społecznych, pozwalają świadomie wybrać odpowiednią dla danego badania DN

  12. Definicje – tworzenie ładu pojęciowego, cd • Definicja operacyjna (DO) – określenie, jak będzie wyglądał sposób badania/mierzenia danego zjawiska • DO są pochodną metody badawczej • DO wyznaczają zakres dopuszczalnych interpretacji wyników badania (uogólnienia wyniku) • Operacjonizm – szersza koncepcja metodologiczna, która dopuszcza stosowanie w języku nauki tylko operacyjne zdefiniowanych terminów • Przykład operacjonizmu w psychologii – Inteligencja to to, co mierzą testy inteligencji. Mamy więc tyle inteligencji, ile narzędzi do pomiaru inteligencji.

  13. Definicje – tworzenie ładu pojęciowego, cd • Najważniejsze błędy w definiowaniu • nieznane przez nieznane • błędne koło • wielosłowie, zbyteczna komplikacja • niejasność • wieloznaczność

  14. Metoda badania • Określenie badanej populacji, jednostki analizy, jednostki obserwacji • Pobieranie próby • Schemat badania • Pomiar zmiennych, wskaźniki • Model analizy wyników • Pytanie badawcze/hipoteza w postaci operacyjnej

  15. Określenie badanej populacji • Populacja – zbiór obiektów, na który będziemy uogólniać otrzymane wyniki • Populacje jednoelementowe: studia przypadków, podejście idiograficzne • Populacje jednorodne – w badaniach społecznych praktycznie nie występują • Populacje niejednorodne – badania wyczerpujące i badania na reprezentatywnych próbkach

  16. Dobór obiektu badania w studium przypadku • Przesłanki praktyczne: • Skąd biorą się problemy w nauce szkolnej Jasia? • Dlaczego szkoła X tak nieefektywnie uczy? • Przesłanki teoretyczne: • Czy zaburzenia relacji emocjonalnych matka-dziecko są koniecznym warunkiem wystąpienia autyzmu? • Czy poprawa warunków życia grup społecznie upośledzonych zawsze poprzedza rewolucje społeczne?

  17. Badania wyczerpujące • Badania wyczerpujące dużych populacji są rzadkie • Spisy powszechne • Powszechne testy lub egzaminy szkolne

  18. Dobór obiektów badania w badaniach reprezentatywnych • Próba (próbka) – zbiór obiektów pobranych z populacji i poddanych badaniu • Wyniki uzyskane w próbie można uogólniać na populację tylko wtedy, gdy próba jest reprezentatywna • Próba jest reprezentatywna, jeżeli jest „populacją w miniaturze” • Jedyną, w pełni akceptowalną metodą tworzenia prób reprezentatywnych jest losowanie obiektów z populacji

  19. Jednostka analizy, jednostka obserwacji • Jednostka analizy: kto lub co jest obiektem, którego dotyczy pytanie badawcze lub hipoteza • Jednostka obserwacji (badania): kto lub co jest obiektem pomiaru/zbierania danych • Wyuczona bezradność prowadzi do niskich osiągnięć szkolnych . • Rywalizacyjny klimat klasy zwiększa zróżnicowanie osiągnięć szkolnych. • Granie w gry komputerowe zawierające agresję podwyższa poziom lęku. • Dokumenty oficjalne zawierają mniej przymiotników niż dokumenty prywatne.

  20. Nielosowe metody doboru próby • Dobór przypadkowy (np. dostępność) • Dobór celowy • Metoda kuli śnieżnej • Dobór kwotowy • Dobór parami w badaniu porównawczym

  21. Losowe metody doboru próby • Populacja pożądana i faktycznie badana • Operat losowania • Metody losowania • Prosty dobór losowy • Systematyczny dobór losowy • Dobór warstwowy • Dobór grupowy

  22. Inne warunki reprezentatywności próby • By móc wyniki z próby prawomocnie uogólnić na populację (uznać je za reprezentatywne) ważny jest nie tylko sposób doboru próby, ale również tzw. stopa realizacji badania. • Losowe i nielosowe braki danych.

  23. Schematy badań Nomotetyczny vs idiograficzne Nomotetyczne: • Badanie surveyowe (przeglądowe, opisowe): jedna populacja, pytanie o nasilenie zjawiska • Badania korelacyjne: jedna populacja, pytanie o korelację • Badania porównawcze: dwie lub więcej populacji, pytanie o nasilenie • Badania eksperymentalne: jedna populacja, weryfikacja hipotez przyczynowo-skutkowych

  24. Schematy badań, cd Wymiar czasu: Badania poprzeczne (przekrojowe, statyczne) Badania podłużne (panelowe, dynamiczne) • Ta sama kohorta przez wiele lat • Różne kohorty w tej samej fazie rozwojowej

  25. Pozyskiwanie danych: podejście jakościowe • Obserwacja etnograficzna • Wywiad pogłębiony • Analiza treści (dokumentów)

  26. Pozyskiwanie danych: podejście ilościowe • Obserwacja ilościowa • Testy • Wywiad standaryzowany – ankieta

  27. Jakie informacje przenoszą dane liczbowe? • Liczby jako wynik pomiaru • relacje między liczbami – wynikami pomiaru - mają oddawać relacje między badanymi obiektami pod danym względem • Skale pomiarowe: • skala nominalna • skala porządkowa • skala interwałowa • skala ilorazowa • Typ skali pomiarowej decyduje o dopuszczalnych interpretacjach wyników pomiaru i możliwych do zastosowaniach modelach statystycznych analizy danych

  28. Skala nominalna • Nominalna – nazwy kategorii • Skala dychotomiczna: tylko dwie możliwe wartości • wykonał/nie wykonał zadania • kobieta/mężczyzna • Więcej możliwych wartości • wyznanie religijne • ulubione kolory

  29. Skala porządkowa • Porządkowa: miejsce w porządku • Poziom wykształcenia: zawodowe średnie wyższe • Wynik rangowania przez badanego jakiś obiektów, np. hierarchia wartości • Liczba uzyskanych punktów w teście umiejętności (wynik surowy)

  30. Skala interwałowa • Interwałowa – miejsce w porządku i stała jednostka • Skala temperatury Celsjusza • Wynik testu wyrażony w znormalizowanej skali standardowej • Ogólnie: ustalona jednostka, ale arbitralny punkt zerowy

  31. Przykładowe skale interwałowe oparte na odchyleniu standardowymna podstawie: H. Szaleniec, Przejście od komunikowania rezultatów egzaminu w postaci wyników surowych do wyników w skali standardowej

  32. Skala ilorazowa Ilorazowa: miejsce w porządku, stała jednostka, niearbitralny punkt zerowy • Wzrost wyrażony w ustalonej jednostce • Temperatura w skali Kelwina • Liczba uczniów w klasie

  33. Obserwacja ilościowa • Obserwacja ilościowa jest: • skategoryzowana • niskoinferencyjna • Obserwacja szerokiego spektrum zjawisk w krótkich okresach czasu – próbki czasowe • np. interakcje uczniowie- nauczyciel na lekcji • Obserwacja wystąpienia określonego zjawiska w długim okresie czasu - próbki zdarzeń np. zachowania agresywne uczniów na przerwie

  34. Testy • Zjawiska, które badamy często mają charakter bezpośrednio nieobserwowalny • Wnioskuje się wtedy o wystąpieniu/nasileniu zjawiska na podstawie wskaźników • Wiązki wskaźników spełniające warunki dobrego pomiaru to testy

  35. Wskaźniki (przykłady) • Zapamiętania – poprawne odtworzenie, liczba rozpoznanych elementów, przewidzenie kolejnego elementu, ilość zniekształceń, czas rozpoznania; • Zadowolenia – odwzajemnienie uśmiechu, ocena neutralnej fotografii, odpowiedź na skali szacunkowej, testy fizjologiczne (szerokość źrenic), postawa ciała, szybkość chodzenia; • Lęku – długość utrzymywania kontaktu wzrokowego, wskaźniki fizjologiczne, szybkość przechodzenia przez ulicę, tiki, ocena prawdopodobieństwa, że spotka nas nieszczęście ; • Wpływu społecznego – skłonność do ulegania prośbom, naśladownictwo, zmiana postawy;

  36. Co można badać za pomocą testów • Inteligencję i inne cechy osobowości • Osiągnięcia szkolne • Dyspozycje zawodowe • Uprzedzenia etniczne • Klimat klasy szkolnej • Typ przywództwa w instytucji • I wiele innych cech jednostek, grup czy instytucji

  37. Cechy dobrego testu • Obiektywność • Explicite sformułowane przesłanki budowy testu • Standaryzacja • Ustalona, powtarzalna procedura testowania • Trafność • Czy test mierzy, to co ma mierzyć • Rzetelność • Jak dokładnie test mierzy to, co ma mierzyć

  38. Trafność testu

  39. Trafność zadania testowego

  40. Aspekty trafności testu • Definicyjny • Czy wskaźniki są zgodne z przyjętą definicją badanego zjawiska • Fasadowy • Czy test zdaniem użytkowników i odbiorców jest adekwatny • Prognostyczny • Czy test pozwala prognozować wystąpienie interesujących badacza zjawisk • Teoretyczny • Czy układ zależności uzyskanych w badaniu sprawdzającym jakość testu jest zgodny z teoretycznymi przewidywaniami

  41. Rzetelność testu

  42. Rzetelność testu • Każdy pomiar obarczony jest niepewnością pomiarową • Klasyczne ujęcie niepewności pomiarowej wynik empiryczny = wynik prawdziwy + błąd pomiaru Wynik prawdziwy: średni wynik z nieskończonej liczby powtórzeń testu

  43. Błąd pomiaru Wynik osoby w teście Uczeń Niskie Wysokie Wyniki

  44. Błąd pomiaru Wynik osoby w teście Wynik prawdziwy Uczeń Błąd pomiaru Wysokie Niskie Wyniki

  45. Główne źródła błędu pomiaru na przykładzie testów osiągnięć szkolnych Arbitralność doboru zadań testowych Niedostatki standaryzacji procedury testowej Zgadywanie w zadaniach zamkniętych Punktowanie zadań otwartych Ściąganie Losowe wahania dyspozycji intelektualnych ucznia Błędy systematyczne: stronniczość testu

  46. Metody określania rzetelności wyniku testu • Dwukrotne testowanie • Korelacja między wynikami dwóch testów • Metoda połówkowa • Korelacja między wynikami dwóch połówek • Wewnętrzna spójność testu • Wsp. rzetelności Alfa Cronbacha • Eksperymentalne określanie rzetelności kodowania

  47. Intertretacja ws. Alfa Cronbacha

  48. Wykorzystanie współczynnika rzetelności w interpretacji wyniku testu Wyznaczanie przedziału ufności dla wyniku indywidualnego

  49. Idea szacowania przedziału ufności Wynik ucznia w teście Uczeń Wysokie Niskie Wyniki

  50. Idea szacowania przedziału ufności Uczeń Wysokie Niskie Wyniki

More Related