第十一章 设计并进行形成性评价

1. 第十一章 设计并进行形成性评价 形成性评价的阶段 形成性评价的工具

2. 进行教学分析 修改教学 评价需求确定目的 编写绩效目标 开发评价方案 开发教学策略 开发和筛选教学材料 设计并实施教学的形成性评价 分析学习者和环境 设计并实施总结性评价 迪克和凯里模型

3. 第一节：形成性评价的概念和提出的历史背景

4. 一、形成性评价提出的历史背景 1、早期开发教学材料的情况： 直接将最初版本转化为成品，并直接应用于目标人群。直接的后果：由于初稿的不完善，教师教学和学生学习都出现了很多问题。 2、当时的“评价”概念： 将新设计的材料与已有成品比较其有效性。在这种比较下，研究者经常发现使用新课程材料的学生学习效果较差。

5. 二、形成性评价的概念 1、Cronbach and Scriven提出形成性评价的概念： 在教学开发过程中从目标人群中搜集关于教学材料使用及效果的数据和信息，用以提高教学效果。 形成性评价：教学设计者搜集数据信息以改进教学，提高教学效率效果的的过程。 2、形成性评价的重点： 搜集数据，分析数据，改进教学

6. 3、形成性评价的参与者 在这三个阶段之前，征求不直接参与教学开发过程但有兴趣的相关专家的意见： • 领域专家（SME）：主要评价教学内容的精确性和时新性 • 特定类型学习方面的专家：可以就提高该类型学习效果方面对教学策略提出建议。 • 学习者专家：可以从目标人群的视角和反应看教学，从最终的应用环境来看材料是否合适。

7. 第二节 形成性评价的三个基本阶段

8. 一、与学习者的一对一评价（诊断性评价） 1、评价的目的： 确定并消除教学中存在的最明显的不足之处，了解学习者对学习材料的最初反应和表现特点。 2、选择学习者： 学习者是目标人群中的3个左右的典型代表。根据与学习成就高度相关的影响因素来选择。 • 知识准备：高于平均水平；处于中等；低于平均水平 • 学习态度：积极态度的；一般态度的；消极态度的 • 经历：有10年以上工作经验的；有2到5年工作经验的；工作经验不到一年的

9. 3、评价的过程： 设计者向学习者进行必要说明，学习者使用材料，学习者和设计者交流 4、评价的特点： • 设计者要与学习者建立友好信任关系 • 进行有效互动 5、数据信息来源： • 学习者标注 • 测试成绩 • 态度问卷 • 评价者记录

10. 6、评价的标准： • 教学的清晰度：对于学习者个体而言，信息或者呈现给他们的教学内容是否明了、清楚？

11. 对学习者的影响力：教学对于学习者个体的态度和达到教学目标有没有影响？对学习者的影响力：教学对于学习者个体的态度和达到教学目标有没有影响？

12. 可行性：如果得到所需的资源（如时间、教学情境），教学的可行性多大？可行性：如果得到所需的资源（如时间、教学情境），教学的可行性多大？

13. 7、评价的质量保证 • 卷面测试：在每一项后都询问学习者做出特定反应的原因 • 操作指示:要保证学习者能够明白指示内容并能根据指示操作。 • 评价量表:要评价的要点是否可观察；对评价要点的解释是否清楚；评价要点的次序安排是否有效 • 评价者的打分表 ：区分标准和所区分的等级数是否合理，为评价者所留观察，判断，记录时间是否充足 • 评价者判断的可靠性：可以在有时间间隔下两次或多次评价同一行为或产品 • 评价策略：看看所获数据是否符合逻辑，可解释

14. 8、评价的注意事项 • 不要把特定学习者的反应过于一般化。 • 确定学习时间是一对一评价关注的一个方面，但这个从中得到的时间只是大概的，因为包含了学习者和设计者的交流时间，可以按估计减去，但比较不准确。 9评价后达到的效果 • 教学在词汇、语言复杂度、举例、解释等方面适合学习者 • 能够使学习者具有正确态度，基本达到学习目标； • 适合学习者，现有资源及环境，具有可行性。

15. 二、小组评价 1、评价的目的： • 确定在一对一评价后所作的改动是否有效，找出学习者在学习中仍然存在的问题 • 确定学习者在不和教师交互的情况下使用教学材料的情况 2、选择学习者： • 尽量代表目标人群各种类型，大概8－20人。 • 类型维度：学业水平（高，一般，低） • 习惯的学习方式； • 学习者成熟度；

16. 3、评价的过程： • 评价者（或教师）首先向学习者说明教学材料处于开发的形成性评价阶段，需要获得学习者的反馈。 • 然后按照教学材料设计的实际使用方式组织学习者使用。在整个过程中，尽可能减少教师的参与。 4、评价后应达到的效果： • 能在最终教学环境中适合大部分目标人群

17. 5、评价信息收集 • 通常是学习者在前测和后测中的分数，前测（入门能力，教学目标能力），后测（教学最终目标和阶段目标） • 对教学的态度的问卷（有时还有后续的访谈） • 搜集的关于教学可行性信息包括：要求学习者完成学习和测试的时间；按预计形式在预计环境中实施教学的可行性和花费；实施和管理教学者的态度

18. 三、实地试验 1、评价地点的选择 评价是在与最终教学环境尽可能相像的环境下进行。 2、评价目的： • 小组评价后的修改是否有效 • 是否可在最终教学环境下使用 3、选择学习者： 尽量挑选一个能代表目标人群的典型单位人群（30人左右）

19. 4、评价过程： 类似于小组评价，不同在于： • 设计者角色只能是观察者，教学必须由教师组织，因此设计者要对教师进行适当指导使其了解如何组织进行。 • 测试的减少。经过小规模评价后，前测和后测都已经得到了修正，主要集中在重要的入门能力及评价学习环境的可行性上。 • 问卷更关注对教学成功的关键环境因素。

20. 5、实地评价效果： 在预期学习情况下教学能使学习者产生要求达到的学习成果和态度。 6、要收集的信息： • 学习者的成就，态度， • 教师的教学过程，态度， • 资源，如时间，花费，空间，设备

21. 第三节 应用环境下的形成性评价

22. 1、评价的必要性： 教学最终关注的是学习者是否能在实际环境下应用所学技能。因此对教学材料进行形成性评价时有必要进行应用环境下的形成性评价。应用环境下的形成性评价可在形成性评价的任何一个阶段后进行。 2、评价的目的： • 学习者是否认识到所学新技能在工作中的作用并加以应用？ • 如果已经使用，对所在机构有何作用？ • 学习者及其同事对改进教学有何建议？

23. 3、参与评价的对象： • 参加一对一评价的全部学习者（在阶段一结束后进行） • 参加小组及实地评价的部分学习者 • 所选学习者所在机构的上级，同事或下级 4、评价的过程： 在形成性评价的任一阶段结束后，告知学习者以后某个时间会再和他们联系了解这次学习及其作用。等待一段时间后再联系学习者，进行应用环境下的形成性评价。

24. 5、搜集信息： • 直接观察 • 查看工作表现记录 • 学习者工作机构内上级，同事或下级的观点 6、评价的效果： • 教学在促进技能迁移上的优缺点 • 迁移和技能使用上可以得到更好支持的地方 • 解决阻碍运用技能于实际场景的地方。

25. 评价问题，信息来源及搜集方式

26. 第四节 选定材料和教师引导教学的 形成性评价

27. 一、对选定材料的形成性评价 1、评价的目的： • 确定该材料是否适合于特定环境中的特定人群。 • 找出该材料需要增删之处以及教学步骤中需要变动的地方，以提高材料的使用效果。 2、评价前准备： • 分析材料开发过程的记录； • 特定人群使用材料的效果； • 特别是要研究一下材料在场景评价中的使用过程；研究对材料使用程序的描述； • 对材料附带的测试要分析其与行为目标的关系，分析是否需要增加其它测试或态度问卷。 评价过程类似于实地评价

28. 二、对教师引导型教学的形成性评价 对教师引导型的教学进行形成性评价的目的和自学材料的基本相同，即确定教学是否有效以及如何改进。当然，也基本没有时间进行一对一甚至是小规模评价。评价过程和场景评价阶段最为接近。 对选定材料和教师引导型教学的场景评价经常是交织在一起的。选定材料的使用经常需要教师的交互作用，同样，教师指导也与一些准备好的教学材料离不开。在这两种情况下，会进行大致相同的场景评价程序并进行类似的修订。

29. 第五节 形成性评价的特点

30. 一、形成性评价中关注的主要问题 • 学习材料是否适合特定类型的学习？ • 材料是否完整包括了所需学习的各个技能，各个技能的学习顺序安排是否合逻辑？ • 材料表述是否清晰，易理解？ • 材料是否能激发学习者的学习动机？ • 材料所采用的媒体形式是否能有效施行？

31. 二、影响形成性评价的因素 1、环境方面的考虑： • 所有技术设备都要有效运行。 • 在形成性评价早期阶段，尤其是一对一评价中环境比较安静有助于学习者集中注意力。 2、学习者方面的考虑 • 在形成性评价的任何阶段选择学习者时，都要避免完全依赖教师确定学习者的入门知识。进行入门知识测试以确定被试是否为该教学材料的目标人群十分必要。 • 关于怎样对待那些已经掌握部分教学内容或不具备入门技能的学习者？是否要将其从形成性评价的学习者中去除？

32. 3、评价结果方面的考虑 • 做好接受否定结果的心理准备：经过了这样深入的教学设计过程，材料并不像你认为的那样有效。 • 正确认识正面反馈的意义。 • 扮演“局外人” 4、形成性评价实施方面的考虑 理想状态下在实施教学前要进行三个阶段的形成性评价，但常常由于时间和资金原因无法做到。在这样情况下设计者应该怎样做？ • 确定在正式实施教学前，是否有条件实施某个阶段的形成性评价。 • 如果教学不经任何形成性评价就应用于目标人群，尽可能利用目标人群搜集 一些信息以改进教学。