1 / 19

СРАВНИТЕЛЕН АНАЛИЗ Н А ПРИЛОЖИМОСТТА НА ДВЕ ПСИХОМЕТРИЧНИ ТЕОРИИ НА ТЕСТОВЕТЕ

СРАВНИТЕЛЕН АНАЛИЗ Н А ПРИЛОЖИМОСТТА НА ДВЕ ПСИХОМЕТРИЧНИ ТЕОРИИ НА ТЕСТОВЕТЕ. (върху данни от Теста за общообразователна подготовка – ТОП). Съдържание. Аргументи “за” избора на темата План на изследването Обща методология Структура на текста (какво е направено досега).

darrin
Download Presentation

СРАВНИТЕЛЕН АНАЛИЗ Н А ПРИЛОЖИМОСТТА НА ДВЕ ПСИХОМЕТРИЧНИ ТЕОРИИ НА ТЕСТОВЕТЕ

An Image/Link below is provided (as is) to download presentation Download Policy: Content on the Website is provided to you AS IS for your information and personal use and may not be sold / licensed / shared on other websites without getting consent from its author. Content is provided to you AS IS for your information and personal use only. Download presentation by click this link. While downloading, if for some reason you are not able to download a presentation, the publisher may have deleted the file from their server. During download, if you can't get a presentation, the file might be deleted by the publisher.

E N D

Presentation Transcript


  1. СРАВНИТЕЛЕН АНАЛИЗ НА ПРИЛОЖИМОСТТА НА ДВЕ ПСИХОМЕТРИЧНИ ТЕОРИИ НА ТЕСТОВЕТЕ (върху данни от Теста за общообразователна подготовка – ТОП)

  2. Съдържание • Аргументи “за” избора на темата • План на изследването • Обща методология • Структура на текста (какво е направено досега)

  3. Класическа тестова теория (CTT) иТеория за отговор на тестов въпрос (IRT) • Това са двете най-популярни психометрични теории • Обществени науки • психология (психология на личността, организационна психология, социална психология) • образование • социология • икономика • Естествени (биология) и медицински науки • Конструиране на ТОПи анализ на резултатите • прилага се CTT • досега не е прилагана IRT

  4. CTT и IRT- конкурентни теории • Зараждане – Ch. Spearmen, 1904; D. Lawley, 1943 • “Тиха революция” в психологическите измервания(Embretsonand Reise, 2000) • Прилики: • Предназначение – за скалиране на латентни черти • Обща емпирична база – дихотомични отговори на тестовите въпроси • Споделят (някои) общи теоретични конструкти • Използват математически апарат • Разлики: • CTT – ориентирана към осигуряване на надеждността на тестово ниво (α на Кронбах) • IRT – моделира връзката между латентната черта и отговорите на и.л. на ниво тестов въпрос

  5. Приложимост на психометричните теории • CTT и IRT съществуват под формата на различни теоретични модели • Моделът е теоретична структура, представляваща една възможна реализация (на дадена теория), в която всички валидни твърдения на теорията са удовлетворени(Suppes, 1962) • CTT и IRT като модели на (емпирични) данни • В моделите на данни суровите данни се представят в един добре подреден, организиран и в известен смисъл идеализиран вид (Suppes, 1962; Frigg and Hartmann, 2006)

  6. Необходимост от изследване на приложимостта • Всеки психометричен модел се базира на определен набор от допускания, описващи данните • Това поражда необходимостта от изследване на съответствието между допусканията на модела и данните - model-data fit (Lord, 1980; Crocker and Algina, 1986; Hambleton et al, 1991) • Потенциалът на един модел може да бъде постигнат само тогава, когато между него и емпиричните данни съществува задоволително ниво на съответствие • Принцип на J. P. Benzecri: „Моделът трябва да съответства на данните, а не обратно" (по Greenacre, 1984).

  7. Изследвания на приложимостта • По-голяма част от публикациите са посветени на теоретични изследвания (Т. Райков, Ив. Парчев) • Представят се и емпирични изследвания с приложения на тестовите теории • Малък брой изследвания на приложимостта – “емпирично безмълвие” (Kingston, Leary and Wightman, 1985; Leeson and Fletcher, 2003; Hernandez, 2009) • Малък брой съпоставителни изследвания на CTT и IRT(Д. Милков)(Lord, 1980; Crocker and Algina; 1986; Hambleton and Jones, 1993; Fan, 1998; Bechger et a., 2003)

  8. Тест по общообразователна подготовка • Тестова батерия с 10 субтеста • Типичен представител на тестовете за постижения (achievement tests), но с функции на тест за склонността към обучение (aptitude tests). • Широкомащабен тест • Натрупана е огромна база от емпирични данни

  9. План на изследването:Подходи за анализ на приложимостта • Основни изследователски подходи: • Използване на серия от анализи (тестове) за установяване на степента на съответствие • подбрани са 12 варианта на ТОП • Търсене на различни видове доказателства: • дали данните удовлетворяват основните допускания на модела. • дали в данните се проявяват особеностите на модела • дали има съответствие между предсказаните от модела резултати (оценки) и наблюдаваните резултати • Изследване на връзките между (някои от) теоретичните конструкти в CTT и IRT

  10. План на изследването • Валидност на основните допускания на CTT и IRT по отношение на тестовите данни • Валидност на основните характеристики на CTT и IRT • Съгласуваност на статистиките на въпросите и индивидите, получени в рамките на CTT и IRT • Надеждност (reliability) по CTT и точност (accuracy) по IRT на оценките на индивидите • Избор на подходящ модел на IRT за данните от ТОП • Критерийна (предикативна) валидност на резултатите по CTT и IRT

  11. План на изследването - детайли План на емпиричното изследване

  12. Методология • Корелационни изследвания • системни наблюдения върху взаимовръзките между групи от променливи • Изследователски анализ на данни (Exploratory data analysis, EDA) (Tukey, 1977) • Предназначение – за разкриване на системните връзки между променливите когато няма ясни предварителни очаквания (хипотези) за характера на тези връзки • Изследване на голям брой променливи в търсене на устойчиви структури

  13. Методология • EDA е методологически подход (изследователска “нагласа”), а не набор от конкретни техники • Задачи, които се решават в рамките на EDA • Разкриване на устойчиви модели (patterns) в данните • Редуциране на данните • Проверка на допускания • Разкриване на латентни структури • Извличане на важни променливи • проблем>данни>анализ>модел>заключения

  14. Методология • Основни стат. изследователски методи • Изследване на разпределенията на променливите • Анализ на корелационни матрици • Анализ на остатъчните стойности • Многомерни изследователски техники • Факторен анализ (Анализ на главни фактори) – изследователски и потвърдителен • Йерархичен клъстърен анализ • Множествена регресия • Графични методи за визуализация на данните

  15. Структура на текста • I. Теоретична рамка на изследването • Iа. Измерване, скалиране и оценяване: теоретична рефлексия • Физични и психологически измервания • Обобщаващи теории на измерването • Ib. Психометрични тестови теории • Класическа тестова теория(CTT) • Теория за отговор на тестов въпрос (IRT)

  16. Структура на текста • II. Обща постановка на емпиричното изследване • Цели • Методология • Дизайн • Данни: характеристика на ТОП • Процедури

  17. Структура на текста • III. Емпирично изследване на приложимостта на CTT и IRT върху данни от ТОП (6 части) • Емпирично изследване 1: Валидност на основните допускания на CTT и IRT спрямо на тестовите данни • Специфични цели на изследването • Хипотези • Методология • Дизайн • Използвани данни • Процедури • Резултати • Обсъждане

  18. Структура на текста • IV. Обсъждане • Цитирана литература • Приложения

  19. Структура на текста - детайли Съдържание

More Related