1 / 69

基于诊断思想的测验编制思路

基于诊断思想的测验编制思路. 浙江师范大学教师教育学院 康春花 akang@zjnu.cn. PISA 测试为国际学生能力评估计划（英文： Programme for International Student Assessment ；简写： PISA ），是一个由 OECD 筹划的对全世界 15 岁学生学习水平的测试计划，最早开始于 2000 年，每三年进行一次。该计划旨在发展教育方法与成果，是目前世界上最具影响力的国际学生学习评价项目之一。中国和印度 2009 年开始加入 PISA 测试国。. 学习与学习诊断 传统学业测评的局限性 认知诊断评估兴起的背景

kirsi
Download Presentation

基于诊断思想的测验编制思路

An Image/Link below is provided (as is) to download presentation Download Policy: Content on the Website is provided to you AS IS for your information and personal use and may not be sold / licensed / shared on other websites without getting consent from its author. Content is provided to you AS IS for your information and personal use only. Download presentation by click this link. While downloading, if for some reason you are not able to download a presentation, the publisher may have deleted the file from their server. During download, if you can't get a presentation, the file might be deleted by the publisher.

E N D

Presentation Transcript

  1. 基于诊断思想的测验编制思路 浙江师范大学教师教育学院 康春花 akang@zjnu.cn

  2. PISA测试为国际学生能力评估计划（英文：Programme for International Student Assessment；简写：PISA），是一个由OECD筹划的对全世界15岁学生学习水平的测试计划，最早开始于2000年，每三年进行一次。该计划旨在发展教育方法与成果，是目前世界上最具影响力的国际学生学习评价项目之一。中国和印度2009年开始加入PISA测试国。

  3. 学习与学习诊断 传统学业测评的局限性 认知诊断评估兴起的背景 认知诊断评估的目的与结果解释 认知诊断评估的过程 认知诊断评估的核心概念 认知诊断评估的测验编制思路 认知诊断评估对我国学业成就评价的启示

  4. 认知学派的学习观：学习是认知结构的重组或改变；认知学派的学习观：学习是认知结构的重组或改变； 已有经验或认知结构与新知识学习的关系，学生个体差异主要在于认知结构（图式）完善程度； 教学的本质是完善学生认知结构：教师了解学生原有认知结构的重要性； 提问、作业、个别谈话、精心设计的诊断性测验。

  5. 传统的学业测评主要是基于经验、双向细目表或三维目标进行的传统的学业测评主要是基于经验、双向细目表或三维目标进行的 • 没有考虑每个题目考察了哪些知识、技能、策略 • 分数报告和解释是笼统的，不能解释分数背后的意义

  6. 01版教育目标分类表

  7. 900-[60×（2+2）+（60+20）×2]

  8. 传统分数报告

  9. “为了学习的评价”(AfL)理念(2002) • 形成性评价 • 过程性 • 诊断性 • 发展性

  10. “为了学习”的评价理念相对应的一种新的学业评测技术——认知诊断评估“为了学习”的评价理念相对应的一种新的学业评测技术——认知诊断评估

  11. 教育问责制 No Child Left Behind Act(2002)：强化了测验在评估中的作用 加强了结果评估(consequential assessment)与教学之间的联系 学生（测验分数） 学校与教师 形成性评估 认知诊断评估的背景

  12. 认知诊断评估的目的及结果报告 • 认知诊断的目的在于根据学生对考试题目的反映模式，将传统的单一考试分数转化为考生对试题中所涉及的认知过程与技能的掌握概率。 • 学生在特定考试中所采用的认知过程（cognitive process）和知识结构（structure of knowledge）是什么？ • 这些认知过程与知识结构在考试中是如何被运用的？ • 高能力被试与低能力被试在考试中有何不同？

  13. 17

  14. 学习之路(Learning Path)

  15. 认知分析 • 认知属性分析： • 属性提取 • 属性层级关系 • 测验Q矩阵 • 测验题目编制 分数报告 • 分数报告： • 属性掌握概率 • 学习之路 • 学习优势剖面图 模型选择 • 认知诊断模型： • 模型选择 • 参数估计 • 统计收敛性 • 模型数据拟合检验 认知诊断评估的基本过程

  16. 认知诊断评估的一些核心概念 属性：完成任务的知识结构和认知过程或技能，包括知识、技能、策略等。 知识状态：项目涉及K个属性，则可用K维的0,1向量来表示学生知识状态。

  17. 用题目表征属性：一个例子 我们的属性定义 4种知识属性 C1小数与分数fractions and decimals C2正负数的概念basic concepts of positive and negative number C3直线linearity C4统计图与可能性statistical graphs and probability

  18. S1图形加工graphics processing S2单位转换unit conversion S3估计approximation/estimation S4数学法则的应用applying rules in algebra S5问题重构与关系表征problem restructuring and relationship representing S6关系组合relationship combination S7算法多样性operational diversity S8检验与校正options verifying and checking S9空间转换spatial transformation 9种能力属性

  19. 题目：8辆相同的货运汽车排成一排，相邻两辆汽车之间的距离都相等。这列车队的长是多少米？ 正确的算式是（）、（）和（）。 ？米 … 7.8米 3米 A：7.8×8＋3×(8－1) B：(7.8＋3)×8－3 C：(7.8＋3) ×(8－1)＋7.8 D：7.8×8＋3×8 包含的属性： C1小数与分数 C3直线 S1图形加工 S4数学法则的应用 S5问题重构与关系表征 S7算法多样性 S8检验与校正 包含7个属性的一个复杂题目

  20. 题目：兔有（）只。 A：1 B：2 C：3 D：4 包含的属性： C1小数与分数 S1图形加工 S5问题重构与关系表征 S6关系组合 S7算法多样性 包含5个属性的一个代表性题目 我们和兔一共有7个头 我们和鸡一共有20条腿

  21. 题目：把一个正方形平均分成100份，其中阴影部分表示0.36的图形有（）、（）和（）。题目：把一个正方形平均分成100份，其中阴影部分表示0.36的图形有（）、（）和（）。 A: B: C: D: 包含的属性： C1小数与分数 S1图形加工 包含2个属性的一个简单题目

  22. 认知诊断测验编制思路 认知诊断测验与传统测验不同之处在于其项目的结构效度，所设计的项目要能测量学生的认知过程、知识状态等，即认知诊断测验要求根据问题解决的认知模型来设计项目。 具体而言，根据属性及其层级关系发展出属性和题目关系的Q 矩阵，然后基于Q矩阵编制测验。

  23. 基于Q矩阵的认知诊断测验编制 减法算法,加法算法 Q矩阵的完备性； Q矩阵包含R矩阵

  24. 例如认知属性层次关系为 可达矩阵（R矩阵） 反应认知属性间直接关系，间接关系和自身关系的矩阵 它由K行K列的0,1矩阵组成（K是属性个数）。

  25. 4个属性所有可能的掌握模式有 即16种（属性掌握模式是4 维的0-1 向量，0 表示未掌握该属性，1 表示掌握了该属性）。 然而，由于属性之间存在层级关系，则满足属性层级关系的属性组合模式数量会远远小于16种（有些不符合逻辑关系比如0100，0010）。 我们将满足属性层级关系的属性掌握模式称为理想掌握模式或知识状态。 属性层次关系理想掌握模式

  26. 描述测验项目与属性间关系的Q 矩阵。 Q 矩阵是一个k ×n 的矩阵, k 代表属性的数量、n 代表项目的数量, 如果项目i 包含属性k , 则Qki =1 , 反之, Qki = 0。对于被试而言有属性是否掌握之分，对测验项目而言有属性是否被考察之分。 含有6个项目和4个属性的测验Q矩阵 属性掌握模式

  27. 假定题目是0-1计分的，那么具有这7种知识状态的被试作答模式进行赋分，如被试1只掌握了属性1，只能答对1题，那么他的总分为1；被试2掌握了属性1、属性2，能够答对2题，那么他的总分就为2分，以此类推。于是可以得到典型项目反应向量、总分及被试的属性反应模式表：假定题目是0-1计分的，那么具有这7种知识状态的被试作答模式进行赋分，如被试1只掌握了属性1，只能答对1题，那么他的总分为1；被试2掌握了属性1、属性2，能够答对2题，那么他的总分就为2分，以此类推。于是可以得到典型项目反应向量、总分及被试的属性反应模式表： 测验Q矩阵

  28. 对被试认知过程诊断的实现——规则空间模型的应用对被试认知过程诊断的实现——规则空间模型的应用 扩张算法或减法算法 认知属性及其层级关系 布尔描述函数 属性掌握模式或称知识状态(KS) 项目也可以用这些属性来刻画(Q矩阵) 理想反应模式（IRP） 马氏距离或贝叶斯后验概率 偶然失误 碰巧做对使得ORP与IRP、KS不一致 观察反应模式（ORP） 34

  29. 小学数学行程问题认知诊断测验的编制 • 步骤一：界定认知属性及属性层级关系 • 方法：认知分析（文献回顾）、学生出声思维、专家讨论

  30. 文献回顾

  31. 出声思维 A1，A2 A6 A5 A3，A4 A6，A7

  32. 属性层级关系

  33. 小学数学行程问题认知诊断测验的编制 • 步骤二：基于属性层级关系确定R矩阵 • 方法：把属性层级关系用矩阵的形式表示

  34. 小学数学行程问题认知诊断测验的编制 • 步骤三：确定属性组合模式（考核模式） • 方法：布尔加（扩张算法）或减法算法

  35. 小学数学行程问题认知诊断测验的编制 • 步骤四：确定测验编制的Q矩阵 • 方法：从38种考核模式中选择17种模式 • 按照40分钟（1节课）完成 • Q矩阵完备性（一个属性被考察多次） • 以及Q矩阵包含R矩阵原则 • 题目所涉及属性个数的平衡性问题

  36. 小学数学行程问题认知诊断测验的编制 • 步骤五：按照Q矩阵编写题目 • 方法：为保证项目同质性，即所设计的题目测量的只是行程问题解决的认知属性，在项目设计时需要对一些因素如语言和语法复杂性等作功能性限制。 • 结合功能性限制要求，通过变换次要因素，设计出小学数学应用题认知诊断测验。

  37. 充分挖掘考试信息，具体体现学业评价的诊断功能充分挖掘考试信息，具体体现学业评价的诊断功能 考试更重要的价值在于诊断 被试对试卷的反应中包含丰富的信息 充分挖掘这些信息对学生学习与教师有针对性的指导至关重要 认知诊断理论为我们的这种需求提供了技术支持 认知诊断评估对我国学业成就评价的启示

More Related