1.9k likes | 2.19k Views
101 年度高中高職圖書館閱讀指導工作坊. 國際學生能力評量計畫 PISA 2006. 報告者:李 暉 國立東華大學 課程系 2012/09/25. What is PISA?. PIZZA ?. 當然不是!. OECD PISA. OECD O rganisation for E conomic C ooperation and D evelopment ( 經濟合作發展組織 ) PISA The P rogramme for I nternational S tudent A ssessment ( 國際學生能力評估計畫 ).
E N D
101年度高中高職圖書館閱讀指導工作坊 國際學生能力評量計畫PISA 2006 報告者:李 暉 國立東華大學 課程系 2012/09/25
What is PISA? • PIZZA? • 當然不是!
OECD PISA • OECD • Organisation for Economic Cooperation and Development (經濟合作發展組織) • PISA • TheProgramme for International Student Assessment (國際學生能力評估計畫 )
What is the OECD? • 具有 30個會員國,旨在推動民主和市場經濟的國際組織 • 提供資料的比較、分析和展望 • 以便政府能夠: - 比較政策經驗 - 對一般問題尋求解答 - 識別好的政策 - 調整政策 • 別稱「富國俱樂部」
廣布全球的國際組織 OECD Member Countries
共同參與工作的全球各國 Economies with which the OECD has working relationships
OECD 的工作方式 收集資料 分 析 討 論 決 策 執 行 專家檢劾、多重監控
What PISA Is • 國際學生能力評量計畫 (PISA)係由參與國家所共同發展,針對十五歲的在學學生進行的一項國際性標準化評量 • PISA 在 2000 年首度實施時有43 個國家參與,2003 年第二度實施時有41國參與,2006 年最後有57 個國家參加, 2009 年有65 個地區參加 • 每個家參與的學生人數介於 4,500 到 10,000 人
Assessment Cycle • 每三年舉辦一次 • 每次皆以年度為名,迄今已舉辦過PISA 2000,PISA 2003,PISA 2006和 PISA 2009四次。目前正在進行中的是PISA 2012。而PISA 2015已確定仍由林煥祥教授擔任國家計畫經理(NPM)
Assessment Cycle • 每一次的PISA都包含閱讀、數學和科學素養等領域。 • PISA 2000的施測重點為閱讀能力, • PISA 2003強調數學能力與解決問題, • PISA 2006著重於科學素養 • PISA 2009重新輪回於閱讀能力 • PISA 2012強調數學能力 • PISA 2015回歸以科學素養為主
What PISA Assesses • PISA 評估學生在義務教育上所獲取的知識和技能中,有多少在本質上可以讓他們充分的參與社會。 • 在歷次測驗中,都包含了閱讀、數學和科學素養三個部份,範圍不僅限於教科書的內容,還包括了成人日常生活所需的重要知識和技能。 • 在 PISA 2003 測驗中,多加了一項問題解決能力 (problem solving) 的評估。
What PISA Assesses • 數學素養(Mathematical Literacy ) • 認識與瞭解數學在所處世界中所扮演的角色。 • 能應用數學做有根據的評斷,以適應個體的生活需要,使成為一個建設性的,關懷的和具有反省能力的公民。 • 在各種情況下辨認和明確陳述數學問題(或將數學問題化為算式)之能力。
What PISA Assesses • 閱讀素養(Reading Literacy ) • 個體為了達成其目的,或發展個人知識與潛能,以參與社會活動而對寫作文本理解、應用與反省之能力。 • 除此之外尚有解讀、字面的理解,閱讀素養包括閱讀、解釋與反思,以及利用閱讀去實現生活中目標的能力。 • PISA 的重點在於利用閱讀去學習而非去學習閱讀,因此所要評量學生的不是最基本的閱讀技能。
What PISA 2006 Assesses • 科學素養(Scientific Literacy) • 使用科學知識的能力 • 能辨認關於自然世界的問題 • 基於證據作出結論以利決策 • 通過人類活動做出改變
What PISA Assesses • 問題解決(Problem Solving )能力 • 解決問題是個體使用認知過程面對和解決解決實際且跨學科的能力,其解決方式不是顯而易見的,而其範圍亦不僅限於數學、科學或閱讀等單一領域。
The Consortium of PISA • ACER (Australia) • Australian Council for Educational Research • ACER leads the PISA Consortium and ACER will manage the communication between the Consortium and country contacts. • ETS (USA) • Educational Testing Services • NIER (Japan) • National Institute for Education Policy Research of Japan • WESTAT (USA) • Cito (The Netherlands)
PISA 2006 in Taiwan • 主持人(National Project Manager) • 林煥祥 國立花蓮教育大學 • 林福來 國科會科教處處長(前) • 共同主持人 • 周進洋 國立高雄師範大學 • 劉聖忠 國立花蓮教育大學 • 李 暉 國立花蓮教育大學
施測時間 • 2005 Field Trail • 2005/03/15 ~ 2005/04/15 • 2006 Main Study • 2006/04/15 ~ 2006/05/15
保密約定 試題及問卷嚴禁有下列行為發生: 1. 作為 PISA 測試以外的施測(考試)題目。 2. 作為上課的教材。 3. 當作學生的習題。 4. 當作學生課外補充材料。 5. 流至各級學校或補習班當作教材、考試題目。 6. 私下給學生(含校內、校外)測驗。 7. 作為個人著作之補充材料。 8. 據為個人著作財產而出版或發行。
Procedure of PISA 2006 in Taiwan • 取樣 • 舉辦施測人員講習會 • 分四區舉辦學校主任講習會 • 施測 • 分四區同步進行紙筆測驗 • 閱卷(coding)及資料鍵入
Sampling (Main Study) • 為確保施測品質,取樣須遵守下列六項關鍵程序: • 依定義確認學生母群。 • 依符合資格之學生,列出學校(或機構)名單。 • 自名單中抽取學校樣本。 • 自學校樣本中找出合格的學生母群。 • 自每一抽中學校中再抽出所需之學生樣本 • 保留取樣過程之文件,並據以計算取樣和調查操作之有效性。
取樣要求 • 提供全國十五歲在學學生名單及出生年月日 • 提供所有學校名單、類型及所在地區 • 所有偏遠小校皆應考慮在內 • 說明排除被選取學校之學生數及理由 • 至少 150 校,4500 學生
Sampling(2005 Field Trail) • 母群 • 十五歲在學學生(1989/01/01 ~ 1989/12/31) • 分層叢集取樣 • 分北市、高市及北、中、南、東共六區依母群比例 • 分普通高中、職業學校依母群比例 • 預計共取 40 校,40 人/校 • 實際取樣 1,566 人,到考率為 97.9%
Sampling (Main Study) • 母群 • 十五歲在學學生(1990/01/01 ~ 1990/12/31) • 共334,391人(教育部統計處) • 分層叢集取樣(KeyQuest are used) • 分北市、高市及北、中、南、東共六區依母群比例 • 按學制(高中、高職、五專、國中、…)依母群比例 • 預計共取 236 校,40 人/校 • 實際取樣 8,815人(女4,193,男4,622),到考率為 93.4%
試題 • 分為 13 個題本(booklet) • 每個題本有 4個題組(cluster) • 每個題組(cluster)含 3-4個大題 • 共 48 個大題(每個題目含數個小題),某些大題尚包括 2-3個科學態度問題 • 小題題型包括選擇題與問答題 • http://pisa-sq.acer.edu.au/
試題本的輪換 • 13 個題本,在學生中輪替作答 • 例如:第一位學生作答題本 12,則第二位學生將作答題本 13,第三位學生作答題本 1,第四位學生作答題本 2,餘類推。 • 每校大約有 40 位學生受測 • 每一題本在任一校約有 3 (40/13) 本被作答 • 我國 2006 年共 236 校參與 • 實際受測人數為8815人 • 平均每一題本被作答之數量約為 678 (8815/13) 本
情境 (context) 與生活相關的科學與科技 能力 (competencies) ․形成科學的議題 ․以科學解釋現象 ․使用科學的證據 需要具備 a) 知識 (knowledge) 能夠瞭解 ․科學內容的知識 ․關於科學的知識 能力和態度被左右於 b) 態度 (Attitudes) 對於科學議題的回應(興趣、科學探究的支持、責任) 科學評量架構
涵蓋之能力―科學(任務或過程) • 形成科學的議題 (identify scientific issues) • 以科學解釋現象 (explain phenomena scientifically) • 使用科學的證據 (use scientific evidence)
科學素養的評分 • 基於IRT(item response theory)設計理念的安排使得每一個題目可以根據難度(difficulty)的計算賦每一個題目一個特定的得分。 • 一旦每一個題目可以被賦予一個特定的得分後,我們就可以根據一個學生在題本中的表現去評估他的得分,而這個得分就可以被用來反映所謂學生的能力(estimated ability)或科學表現。
科學素養的評分 • PISA 2006設定OECD所有國家的平均表現(mean score)為500分,標準差(standard deviation)為100分,以作為學生得分的詮釋基準點。 • 大約三分之二的OECD國家的學生之得分介於400-600之間。 • 500分基準點的方式適用於科學素養不同向度的不同項目上。
科學素養層級(proficiency levels)是PISA 2006用來表示學生得分數所代表的層級概念,在這個層級概念中PISA 2006可以詳細的描述學生可以表現什麼(見圖 1)。 科學素養的評分
題組(unit)的形成 • 根據上述科學評量理論架構中的四個向度(情境-能力-知識-態度),在國際專家團隊(international expert panel)的指導下建構的。 • 以題組(unit)的方式呈現。 • 先讓學生熟悉某個情境開始,再根據這個情境發展數個題目 • 每一小題都會評量學生不同的能力(competencies)以及學生對於科學內容知識(KOS)或關於科學的知識(KAS)的了解。
題目的型式 • 是非題組(全對才計分) • 單一選擇題(multiple choice item) • 簡答題 • 開放式問答題 • 態度量表(李克特氏四等第量表)