1 / 24

LRT モデルに基づく CAT の開発と 　　　　　シミュレーションによる特性解析

○秋山　實 　　　 東北大学大学院（院生） 木村　哲夫 　　 新潟青陵大学 荘島　宏二郎 　大学入試センター. LRT モデルに基づく CAT の開発と 　　　　　シミュレーションによる特性解析. 研究の 背景・目的.

leann
Download Presentation

LRT モデルに基づく CAT の開発と 　　　　　シミュレーションによる特性解析

An Image/Link below is provided (as is) to download presentation Download Policy: Content on the Website is provided to you AS IS for your information and personal use and may not be sold / licensed / shared on other websites without getting consent from its author. Content is provided to you AS IS for your information and personal use only. Download presentation by click this link. While downloading, if for some reason you are not able to download a presentation, the publisher may have deleted the file from their server. During download, if you can't get a presentation, the file might be deleted by the publisher.

E N D

Presentation Transcript

  1. ○秋山　實　　　 東北大学大学院（院生） 木村　哲夫　　 新潟青陵大学 荘島　宏二郎　大学入試センター LRTモデルに基づくCATの開発と　　　　　シミュレーションによる特性解析

  2. 研究の背景・目的 • 背景・潜在ランク理論（以降LRTと呼ぶ）が荘島によって提案　された（荘島，２００７a；ニューラルテスト理論） ・しかし，これに基づくアダプティブテスト（以降CATと呼ぶ）　が未だ存在しない・項目応答理論に基づくCATよりも小規模利用に適して　いるのではないか？（木村，２０１０）・プレースメントテストにLRTに基づくCAT　（以降LRT-CATと呼ぶ）を使うニーズが出てきた • 目的・LRT-CATを開発する・その特性を調べる

  3. LRTモデルとは • テストの解像度は連続値で表示するほど高くない（荘島，２００７a）・項目応答理論では，-∞から+∞の連続値で表現 • ５から２０程度のランク数で能力を表わす ・受験者の能力は，Rank と RankMembershipProfile　で表わす（以降RMPと呼ぶ） ・項目の特性は，ItemReferenceProfileで表わす　（以降IRPと呼ぶ）

  4. RMPの例

  5. IRPの例

  6. LRTモデルの正答確率 • ・潜在ランクqjを与える場合 • 　　　p(Uij=1)　= IRPi[qj] 　 • ・RMPjを与える場合 • Q • 　　　p(Uij=1)　= Σ（IRPi[qj] * RMPj[qj]） 　　 • q=1 • Q ：ランク数Uij ：回答（正答=1，誤答=0） ｉ 　:アイテム • j ：受験者

  7. 方法 • LRT-CATをMoodle1.9のモジュールとして開発・Moodleの「問題バンク」のアイテムを利用する・ • LRT-CATモジュールの関数を利用してシミュレータを開発，シミュレーションを実施・受験者のRMPとアイテムバンク（ＩＲＰ）を与える・LRTモデルの正答確率と一様乱数を用いてモンテカルロ・　シミュレーションを行う・受験者1人あたり１００回繰り返し受験させる

  8. LRT-CATの仕様 • 初期条件・β値で5アイテムを選択しテストレットとして出題 • 項目選択・MaximumExpectation Posterior Waited Information（van der Linden,1998）のLRT版（木村・永岡，２０１１） • 能力推定・MuximumLikelihoodのLRT版（荘島，２００７b） • 終了条件・RMPの暫定推定値の変化分の平方和平方根SQRT（Σ（RMPn-RMPn-1）2 ）＜０．０１（木村・永岡，２０１１）・受験項目数＞５０アイテム

  9. LRT-CAT：受験開始画面

  10. LRT-CAT：受験画面

  11. LRT-CAT：受験結果画面

  12. CATの評価基準 • 推定誤差・測定の性能・ばらつきも重要 • 受験アイテム数・テストの実施可否を決定付ける場合もある・同じ推定精度なら少ない方がよい

  13. シミュレーション（１） • テスト・英語（語彙・文法） • 受験者・１１７名 • アイテム・１０４アイテム • シミュレーション条件・実際のテストの回答データ・1受験者あたり100回繰り返し

  14. 受験者のRMP（１）

  15. アイテムバンクの特性（１）

  16. シミュレーション（１）の結果

  17. シミュレーション（２） • シミュレーション条件・人工的なデータを使用 • 受験者・受験者のランクを中心に正規分布となるRMPを与える • アイテムバンク・項目応答理論の識別力0.5，1.0，1.5，2.0に相当する　項目特性曲線に近いＩＲＰを持つアイテム・beta毎に10アイテム・ランク5X 識別力4X10アイテム ＝ 200アイテム

  18. 受験者のRMP（２）

  19. アイテムバンクの特性（２）

  20. シミュレーション（２）の結果（測定誤差）

  21. シミュレーション（２）の結果（受験項目数）シミュレーション（２）の結果（受験項目数） RMPを使用した場合 ランクを使用した場合

  22. まとめ • LRT-CATの特性・受験項目数・

  23. 今後の課題 • LRT-CATの特性を網羅的に明らかにする・同じランクであってRMPの形状が異なる受験者に対する 　LRT-CATの挙動をあきらかにする • 最適なアルゴリズムはどれか？を明らかにする・項目選択：MFI，KL，MEI・能力推定：Bayes • IRTに基づくCATと比較する・構成要素毎に相当するアルゴリズムを用意 • 実地のテストへ適用・評価する・設定機能，テスト結果のエクスポート機能を付加する

  24. 参考文献 • 秋山實（2010）シミュレーションに基づくインハウスCATシステムの設計ツール．日本テスト学会第8回大会発表論文抄録集，148-149． • 木村哲夫・永岡慶三(2011) 潜在ランク理論に基づくコンピュータアダプティブテスト．日本テスト学会第9回大会発表論文抄録集． • Shojima, K. (2007a). Neural test theory. DNC Reasearch Note, 07-02. • Shojima, K. (2007b). Maximum Likelihood Estimation of Latent Rank under Neural Test Model. DNCReasearch Note, 07-04. • Van der Linden, W. J. (1998). Baysian item selection criteria for adaptive testing. Psychometrika, 63, 201-216.

More Related