350 likes | 541 Views
项目分析. 项目分析的意义. 项目分析能使测题的质量得到提升 , 从而使整个测验的信度和效度得到提高. 项目分析的维度. 难度 区分度 ( 鉴别力 ) 选项分析. 可能会影响测题质量的原因. 模棱两可的题目 答案出错的题目 太简单或者太难的题目 没有区分度的题目. 第一节 项目的难度. 定义: 测题的难易程度(能力测验) 测题的“通俗性”或“流行性”的程度 (人格测验). 进行难度分析的意义. 选择题目 排列题目. 难度估计的方法. 1.通过率 A. 用于二值记分的测题. B. 用于非二值记分的测题.
E N D
项目分析的意义 项目分析能使测题的质量得到提升,从而使整个测验的信度和效度得到提高.
项目分析的维度 难度 区分度(鉴别力) 选项分析
可能会影响测题质量的原因 模棱两可的题目 答案出错的题目 太简单或者太难的题目 没有区分度的题目
第一节 项目的难度 定义: 测题的难易程度(能力测验) 测题的“通俗性”或“流行性”的程度 (人格测验)
进行难度分析的意义 • 选择题目 • 排列题目
难度估计的方法 1.通过率 A. 用于二值记分的测题 B. 用于非二值记分的测题 C. 用于多重选择题时还要作校正
校正难度的作用 检验实际难度 例: 某题通过率为75%,是一个五选一的题目. 比较两个不同选项数题目的难度 例: 有二道题,一题的难度为0.50,有五个选项,另一题的难度为0.53,有四个选项.
2.项目难度的等距量表 A.如果样本很大,分数接近常态分布,可以根据常态曲线表将测题的难度转换成Z分数。 B.另一种单位的等距量表公式为 =13+4X
例:某一题几乎所有的被试都通过(99.8%),其Z值为-3,代入上述公式例:某一题几乎所有的被试都通过(99.8%),其Z值为-3,代入上述公式 =13+4(-3)=1 如都通不过(0.13%),其Z值为3,代入公式 =13+4(3)=25 如通过率为84%,Z分数为-1,代入公式 =13+4(-1)=9
测题难度的确定 一个测题难度的确定要取决于测验的目的,如果测验是为了筛选少数人,那难度要比较高或比较低,如要筛选出天才儿童,那难度就要高,如要筛选出学习困难的儿童,那难度就要低. 如果测验用于选拔和录用人员,那难度最好与录取率比较接近. 如果要想通过测验对被试作最大程度的区分,题目的难度以中等程度为最佳.这也是大多数标准化心理测验的目的.
选择题的难度确定还与其选项数有关.选择题有猜测答对的可能性,选项数多则猜对的可能性就小,而选项数少则猜对的可能性就大,所以选择题的难度确定也要根据选项数来确定.最好是排除了猜测的概率后的0.50水平.选择题的难度确定还与其选项数有关.选择题有猜测答对的可能性,选项数多则猜对的可能性就小,而选项数少则猜对的可能性就大,所以选择题的难度确定也要根据选项数来确定.最好是排除了猜测的概率后的0.50水平.
测验难度的计算 • 计算所有题目难度的平均值 • 计算测验总分平均分与满分的比值
第二节 项目的区分度(鉴别力) 定义: 测题对不同水平被试反应的区分程度和鉴别能力.
估计方法 1.项目的效度分析 计算每个测题与效标的相关. 1) 相关系数 与效标求相关 2) 鉴别指数 高分组通过率减去低分组通过率. 公式: D = PH - PL
鉴别指数与测题的评价 _____________________________ D 测题评价 -------------------------------------------- 0.40以上 非常优良 0.30-0.39 良好,如能修改更好 0.20-0.29 尚可,但必须修改 0.20以下 劣,淘汰 ----------------------------------------------
2.测题和总分的相关 1) 点二列相关 公式: = 答对该题的被试在总分上的平均分 = 答错该题的被试在总分上的平均分 p = 该题的难度 q = 1-p St = 全体被试的总分标准差
对所得到的相关系数再作显著性检验.常用的是t检验,即检验通过该项目与未通过该项目的两组被试在测验总分平均分上是否存在显著差异.
2) 因素分析 分析测题在一个因素上的负荷,负荷越大说明越有区分度,一般在0.30以上才是可以接受的.
3. 方差法 方差大说明离散程度越高,那就具有鉴别力. 公式:
3. 项目特征曲线 以图的形式来表现各种水平的被试在某一测题上的答对比率,然后从图形上可以来判断其鉴别程度。
难度与鉴别力的关系 ------------------------------------------ P D ------------------------------------------ 1.00 0.00 0.90 0.20 0.70 0.60 0.60 0.80 0.50 1.00 0.40 0.80 0.30 0.60 0.10 0.20 0.00 0.00 -----------------------------------------------
第三节 选项分析 选项设置不当会降低题目的难度,所以也要对选项作分析,看有无异常情况. 通常判断选项好坏有以下几点: 1) 正确答案无人选或少于其它选项的人数. 2) 错误答案选的人太多. 3) 正确选项高分组选择人数少于低分组. 4) 错误选项上高分组选择人数多于低分组. 5) 选项无人选择. 6) 未答人数较多.
也可以用高分组的反应情况来判断选项选择是否得当. 1) 选项 A B C D* 高分组 1 1 9 2 2) 选项 A B C* D 高分组 4 3 3 3 3) 选项 A* B C D 6 0 1 6
项目分析步骤 1.选取有代表性的样组实施测验. 2.计算每个人的总分,然后按总分分组. 3.计算高分组和低分组通过每一题的比率. 4.分别求出每一测题的难度和鉴别指数. 5.选项分析. 6.修改测题或选项.
第四节 标准参照测验的项目分析 标准参照测验是用来测量学习前后被试的差异或受过训练与没有受过训练被试之间的差别.测验结果参照的不是常模,而是某一种标准.
标准参照测验的项目分析所采用的方法 1.以达标与否分组,然后计算两组被试在每一题上的成绩差异,算出难度和区分度. 公式(难度) : (区分度): 2.教育效果敏感指 公式: