СРАВНИТЕЛЕН АНАЛИЗ Н А ПРИЛОЖИМОСТТА НА ДВЕ ПСИХОМЕТРИЧНИ ТЕОРИИ НА ТЕСТОВЕТЕ

1. СРАВНИТЕЛЕН АНАЛИЗ НА ПРИЛОЖИМОСТТА НА ДВЕ ПСИХОМЕТРИЧНИ ТЕОРИИ НА ТЕСТОВЕТЕ (върху данни от Теста за общообразователна подготовка – ТОП)

2. Съдържание • Аргументи “за” избора на темата • План на изследването • Обща методология • Структура на текста (какво е направено досега)

3. Класическа тестова теория (CTT) иТеория за отговор на тестов въпрос (IRT) • Това са двете най-популярни психометрични теории • Обществени науки • психология (психология на личността, организационна психология, социална психология) • образование • социология • икономика • Естествени (биология) и медицински науки • Конструиране на ТОПи анализ на резултатите • прилага се CTT • досега не е прилагана IRT

4. CTT и IRT- конкурентни теории • Зараждане – Ch. Spearmen, 1904; D. Lawley, 1943 • “Тиха революция” в психологическите измервания(Embretsonand Reise, 2000) • Прилики: • Предназначение – за скалиране на латентни черти • Обща емпирична база – дихотомични отговори на тестовите въпроси • Споделят (някои) общи теоретични конструкти • Използват математически апарат • Разлики: • CTT – ориентирана към осигуряване на надеждността на тестово ниво (α на Кронбах) • IRT – моделира връзката между латентната черта и отговорите на и.л. на ниво тестов въпрос

5. Приложимост на психометричните теории • CTT и IRT съществуват под формата на различни теоретични модели • Моделът е теоретична структура, представляваща една възможна реализация (на дадена теория), в която всички валидни твърдения на теорията са удовлетворени(Suppes, 1962) • CTT и IRT като модели на (емпирични) данни • В моделите на данни суровите данни се представят в един добре подреден, организиран и в известен смисъл идеализиран вид (Suppes, 1962; Frigg and Hartmann, 2006)

6. Необходимост от изследване на приложимостта • Всеки психометричен модел се базира на определен набор от допускания, описващи данните • Това поражда необходимостта от изследване на съответствието между допусканията на модела и данните - model-data fit (Lord, 1980; Crocker and Algina, 1986; Hambleton et al, 1991) • Потенциалът на един модел може да бъде постигнат само тогава, когато между него и емпиричните данни съществува задоволително ниво на съответствие • Принцип на J. P. Benzecri: „Моделът трябва да съответства на данните, а не обратно" (по Greenacre, 1984).

7. Изследвания на приложимостта • По-голяма част от публикациите са посветени на теоретични изследвания (Т. Райков, Ив. Парчев) • Представят се и емпирични изследвания с приложения на тестовите теории • Малък брой изследвания на приложимостта – “емпирично безмълвие” (Kingston, Leary and Wightman, 1985; Leeson and Fletcher, 2003; Hernandez, 2009) • Малък брой съпоставителни изследвания на CTT и IRT(Д. Милков)(Lord, 1980; Crocker and Algina; 1986; Hambleton and Jones, 1993; Fan, 1998; Bechger et a., 2003)

8. Тест по общообразователна подготовка • Тестова батерия с 10 субтеста • Типичен представител на тестовете за постижения (achievement tests), но с функции на тест за склонността към обучение (aptitude tests). • Широкомащабен тест • Натрупана е огромна база от емпирични данни

9. План на изследването:Подходи за анализ на приложимостта • Основни изследователски подходи: • Използване на серия от анализи (тестове) за установяване на степента на съответствие • подбрани са 12 варианта на ТОП • Търсене на различни видове доказателства: • дали данните удовлетворяват основните допускания на модела. • дали в данните се проявяват особеностите на модела • дали има съответствие между предсказаните от модела резултати (оценки) и наблюдаваните резултати • Изследване на връзките между (някои от) теоретичните конструкти в CTT и IRT

10. План на изследването • Валидност на основните допускания на CTT и IRT по отношение на тестовите данни • Валидност на основните характеристики на CTT и IRT • Съгласуваност на статистиките на въпросите и индивидите, получени в рамките на CTT и IRT • Надеждност (reliability) по CTT и точност (accuracy) по IRT на оценките на индивидите • Избор на подходящ модел на IRT за данните от ТОП • Критерийна (предикативна) валидност на резултатите по CTT и IRT

11. План на изследването - детайли План на емпиричното изследване

12. Методология • Корелационни изследвания • системни наблюдения върху взаимовръзките между групи от променливи • Изследователски анализ на данни (Exploratory data analysis, EDA) (Tukey, 1977) • Предназначение – за разкриване на системните връзки между променливите когато няма ясни предварителни очаквания (хипотези) за характера на тези връзки • Изследване на голям брой променливи в търсене на устойчиви структури

13. Методология • EDA е методологически подход (изследователска “нагласа”), а не набор от конкретни техники • Задачи, които се решават в рамките на EDA • Разкриване на устойчиви модели (patterns) в данните • Редуциране на данните • Проверка на допускания • Разкриване на латентни структури • Извличане на важни променливи • проблем>данни>анализ>модел>заключения

14. Методология • Основни стат. изследователски методи • Изследване на разпределенията на променливите • Анализ на корелационни матрици • Анализ на остатъчните стойности • Многомерни изследователски техники • Факторен анализ (Анализ на главни фактори) – изследователски и потвърдителен • Йерархичен клъстърен анализ • Множествена регресия • Графични методи за визуализация на данните

15. Структура на текста • I. Теоретична рамка на изследването • Iа. Измерване, скалиране и оценяване: теоретична рефлексия • Физични и психологически измервания • Обобщаващи теории на измерването • Ib. Психометрични тестови теории • Класическа тестова теория(CTT) • Теория за отговор на тестов въпрос (IRT)

16. Структура на текста • II. Обща постановка на емпиричното изследване • Цели • Методология • Дизайн • Данни: характеристика на ТОП • Процедури

17. Структура на текста • III. Емпирично изследване на приложимостта на CTT и IRT върху данни от ТОП (6 части) • Емпирично изследване 1: Валидност на основните допускания на CTT и IRT спрямо на тестовите данни • Специфични цели на изследването • Хипотези • Методология • Дизайн • Използвани данни • Процедури • Резултати • Обсъждане

18. Структура на текста • IV. Обсъждане • Цитирана литература • Приложения

19. Структура на текста - детайли Съдържание