פרויקט MET :( (Measures of Effective Teaching

1. פרויקט MET:( (Measures of Effective Teaching בין הערכת הוראה לעיצוב מדיניות ירון להבי – פברואר 2013

2. Teachers Matter ירון להבי – פברואר 2013

3. הערך המוסף של המורים: התפתחות הציון במבחני ה – TIMSS בתנאי הוראה רציפה ירון להבי – פברואר 2013

4. הערך המוסף של המורים: התפתחות הציונים עם שנת 2007 (שנת השביתה הגדולה)* * לפי מאמר מאת ד"ר אמנון כרמון העומד להתפרסם ב"הד החינוך" ירון להבי – פברואר 2013

5. מורים לחיים Chetty, Raj; Friedman, John; and Rockoff, Jonah. (2011). “The Long-Term Impacts of Teachers: Teacher Value-Added and Student Outcomes in Adulthood.” National Bureau of Economic Research Working Paper No. 17699, December 2011. מחקר עדכני שעקב אחרי 2.5 מליון תלמידים על פני 20 שנה קובע שלאלו שהיו להם מורים יעילים יש סיכוי רב יותר להגיע ללימודים אקדמיים, להשתכר טוב יותר, לגור בשכונות טובות יותר, ולחסוך יותר לקראת הפרישה1 עם זאת, נעשה מחקר מצומצם ביותר בנוגע לאופן שבו יכולים בתי ספר לקבל תמונה מדויקת על ביצועי המורים שלהם בכיתות. ירון להבי – פברואר 2013

6. הערכת מורים: תמונת מצב ההערכה במרבית המקרים נעשית באופן לא תדיר ובלא סטנדרטים מתאימים המורים אינם מקבלים בדרך כלל משוב שיכול לעזור להם לשפר את הוראתם המורים מוערכים כ"טובים" או "גרועים" ללא קשר להתקדמות של תלמידיהם ירון להבי – פברואר 2013

7. תיאור המחקר שנעשה בפרויקט:Measures of Effective Teaching (MET) * המעריכים עברו קורס בן 17-25 שעות שאחריו היה עליהם לבצע הערכה של שיעורים מצולמים. הם קיבלו את האישור רק לאחר שהציונים שנתנו היו קרובים לאלו שניתנו על ידי צופים מומחים. המחקר נערך במשך שנתיים בקרב 3000 מורים מששה אזורים שונים המחקר בדק גישות הערכה שונות הכוללות מידע על השגי תלמידים, תצפיות בכיתה (לפי חמש שיטות שונות) וסקר בקרב תלמידים התצפיות נערכו בקרב 1333 מורים על ידי 900 מעריכים לא מוטים שאומנו במיוחד לשם כך ושהשתמשו בכמה קטגוריות תצפית נפוצות.* הם צפו בכ – 7500 קטעי וידיאו ירון להבי – פברואר 2013

8. מסקנות עיקריות ירון להבי – פברואר 2013

9. 1. המורים, בדרך כלל, מנהלים היטב את כיתותיהם אבל מתקשים בביצוע מיומנויות הוראה בסיסיות “Gathering Feedback for Teaching” Page 26 לאורך הקטגוריות השונות ובאזורים שונים, המעריכים דווחו על ממצאים זהים: מרבית המורים שולטים היטב במיומנויות ניהול בסיסיות של כיתתם אך מתקשים במיומנויות ההוראה. לדוגמה2: )ממצאים דומים התקבלו גם בשאר הקטגוריות) ירון להבי – פברואר 2013

10. "Better evaluations can give teachers a real opportunity to reach their full potential in the classroom” Sartain, Lauren; Stoelinga, Sara Ray; and Brown, Eric R. (2011). “Rethinking Teacher Evaluation in Chicago: Lessons Learned from Classroom Observations, Principal-Teacher Conferences and District Implementation.” נכון אבל כואב: הממצאים שהוצגו עולים בקנה אחד עם אלו של מחקר אחר שנערך לאחרונה בשיקגו3 בקרב 280 מורים, ועומדים בניגוד מוחלט לציונים הרשמיים שקיבלו מורים במרבית האזורים. יש לצפות כי השימוש בשיטת ציון חדשה יגרום לתיקון משמעותי כלפי מטה בציוני המורים (בשיקגו אחוז המורים שקיבלו ציון בלתי מספיק אחד לפחות קפץ מ – 0.3 ל – 8). למתן ציונים אמיתיים לקבוצה גדולה של מורים יש פוטנציאל להציב לפני המורים ציפיות ברורות לגבי מהי הוראה טובה. אך מה באשר למורה היחיד? ירון להבי – פברואר 2013

11. 2. תצפיות בכיתה יכולות לתת למורים משוב רב חשיבות אך הן מוגבלות ביכולתן לנבא ביצועים עתידיים “Gathering Feedback for Teaching,” Page 7 “Gathering Feedback for Teaching,” Page 29 למרות האופן המתוחכם בו נערך המחקר של MET, נמצא כי קשה מאוד להעריך במדויק מורה בודד ביחס להשגי תלמידיו על סמך תצפיות בלבד – אפילו בין צופים מיומנים נמצאו הבדלים גדולים בדירוג של שיעור בודד. החוקרים אמנם מצאו מתאם (חלש) בין ציוני התצפית לבין הישגי התלמידים4 אך ציוני התצפיות לבדם לא יכלו לנבא את ההצלחה העתידית של המורה בסיוע לתלמידיו.5 הסיבה למגבלה זו היא אינהרנטית לתצפית משום שזו "תופסת את הרגע" בעוד שהממצאים תומכים במה שכל מורה יודע: ההוראה משתנה מיום ליום. ירון להבי – פברואר 2013

12. תצפיות בכיתה יכולות לתת למורים משוב רב חשיבות אך הן מוגבלות ביכולתן לנבא ביצועים עתידיים למגבלה של התצפיות חשיבות רבה משום שבמרבית האזורים הערכת המורים נעשית כמעט אך ורק על בסיס תצפיות. החוקרים מצאו קשר מסוים בין הציונים שנתנו על ידי הצופים לבין הלמידה של התלמידים אך לא במידה שתאפשר להשתמש בתצפיות ככלי יחיד להערכה. עם זאת, התצפיות יכולות לשמש כלי לאבחון נקודות החוזק והחולשה של המורה וכך לאפשר מתן משוב שיכול לשפר את ההוראה שלו. ירון להבי – פברואר 2013

13. 3. כשיטה יחידה, לניתוח "ערך מוסף" יש יתרון על פני שאר האנליזות “Gathering Feedback for Teaching,” Page 9 בהשוואה לתצפיות ולסקר תלמידים, לשיטת הערך המוסף, המכיילת על פי הישגי התלמידים את התרומה של מורה בודד להתפתחות התלמידים, יש יכולת טובה יותר בניבוי ההצלחה של המורה לאורך השנים.6 שיטה זו מבוססת על קיומם של מבחנים סטנדרטיים והיא יכולה לתת אומדן בלבד (לא מדד מדויק) לביצועי המורה. ירון להבי – פברואר 2013

14. 3. כשיטה יחידה, לניתוח "ערך מוסף" יש יתרון על פני שאר האנליזות “Gathering Feedback for Teaching,” Page 12 “Gathering Feedback for Teaching,” Page 12 בניגוד למצופה, אולי, מורים שהשיגו ציון גבוהה במבחן הערך המוסף נמצאו ככאלו שגם, בנוסף לתרומתם להישגי לתלמידיהם, העצימו את יכולות החשיבה מסדר גבוה שלהם.7 בסקר שנערך בקרב התלמידים נמצא כי אלו שלמדו אצל מורים שהערך המוסף שלהם היה גבוה דיווחו על הנאה גדולה יותר מהלימודים בבית הספר ועל מוטיבציה רבה יותר בהכנת שיעורי הבית.8 מסקנה: הוראה טובה המביאה להישגים אין משמעותה הוראה לשם הצלחה במבחנים. ירון להבי – פברואר 2013

15. הערך המוסף של ניתוח "ערך מוסף" “Gathering Feedback for Teaching,” Page 44 Chetty et al., 2011 בנוסף, למרות הפלוקטואציות בציונים של המורה בין שנה אחת לאחרת, קיים קשר חזק למדי בין הציון בכל שנה נתונה לבין ההצלחה של המורה לאורך השנים.9 במלים אחרות, יש לראות את יעילות המורה כקו מגמה ולא כנקודה. ממצאים אלו מקבלים חיזוק ממחקר אחר שמצא מתאם טוב בין ציוני הערך המוסף של מורים לבין ההצלחה של תלמידיהם בהמשך חייהם למין הלימודים הגבוהים ועד לתנאי הפנסיה שלהם.10 מסקנה: להערכה על סמך ניתוח הערך המוסף יכולה להיות משמעות גדולה לא כסיכום לעבודה בשנה מסוימת אלא כעזר להתקדמות הרב שנתית של המורה ירון להבי – פברואר 2013

16. 4. הערכה המבוססת על שילוב בין מספר מדדי ביצוע תתן את התוצאות הטובות ביותר “Gathering Feedback for Teaching,” Page 9 כפי שאפשר לצפות, שום מדד בנפרד אינו טוב כמו השילוב בין כולם.11 כמו כן, לכל אחד מהמדדים תפקיד אחר בתהליך העצמת המורה ושיפור ההוראה. ירון להבי – פברואר 2013

17. המלצות “Learning About Teaching: Initial Findings from the Measures of Effective Teaching Project.” (2011). Page 5. יש להשתמש במגוון מדדי ביצוע, כולל מידע על הישגי התלמידים שיפור ההערכה מבוססת תצפית על ידי ביסוסה ועריכתה לעתים תכופות יותר12. המחקר מצא כי אפילו תצפית בת רבע שעה יכולה לתת מידע משמעותי בנוגע לחלק מהקטגוריות. רצוי להשתמש ברובריקות קיימות (או להתאימן) במקום להמציאחדשות. יש להכשיר את המעריכים ולתת להם תמיכה על מנת שיצליחובתפקידם. רצוי מאוד להשתמש בסקרים בקרב תלמידים כרכיב בהערכת המורים. המחקר מצא כי התלמיד הממוצע יודע לזהות הוראה אפקטיבית כאשר הוא חווה אותה.12 ירון להבי – פברואר 2013

18. הלקוח הוא המורה? (התמקדות במשוב או בהערכה?) “The videotaping is what really drew me in, I wanted to see not only what I’m doing but what my students are doing. I thought I had a pretty good grasp of what I was doing as a teacher, but it is eye opening … . I honestly felt like this is one of the best things that I have ever done to help me grow professionally. And my kids really benefited from it, so it was very exciting.” “With the videos, you get to see yourself in a different way. Actually you never really get to see yourself until you see a video of yourself. I changed immediately certain things that I did that I didn’t like.” “I realized I learned more about who I actually was as a teacher by looking at the video. I learned of the things that I do that I think that I’m great at I was not so great at after all.” “Even the things I did well, I thought, OK that’s pretty good, why do I do that, and where could I put that to make it go farther. So it was a two-way road, seeing what you do well, and seeing the things that have become habits that you don’t even think about anymore.” ירון להבי – פברואר 2013

19. חצי התאווה החסר: 1) ההוראה לא נגמרת בין כתלי הכיתה המחקר לא בדק את ביצועי המורים כחברים בקהילותיהם. זאת למרות שלפי דו"ח מקנזי, קיומן של קהילות מורים מקצועיות ובעלות חיות מהווה את אחד המאפיינים החשובים של מערכת חינוך מצליחה. המחקר לא בדק קשר בין הידע של המורים על הוראת הדיסציפלינה שלהם (להבדיל מהידע שלו על הדיסציפלינה שלהם) לבין הצלחתם. המחקר לא בדק את תחושות המורים (לדוגמה: המחקר לא מצא מתאם טוב בין לימודים לתואר שני לבין האפקטיביות של ההוראה אבל גם לא בדק אם קיים קשר בין לימודים כאלו לבין תחושת המסוגלות העצמית או שביעות הרצון של המורים.) המחקר לא בדק יחסי מורים תלמידים מחוץ לכיתה המחקר לא בדק את היחסים בין המורים לבין ההורים המחקר לא בדק את טיב הקשר בין המורים לבין הנהלת בית הספר ...? ירון להבי – פברואר 2013

20. 2) שונות בהוראה? הדינמיות של המקצוע? כיצד מתאימים את הכלים להתפתחות המתמדתשל מקצוע ההוראה? כיצד מתייחסים באופן שונה לגישות הוראה שונות (חינוך פתוח/חינוך מכוון ערכים חברתיים...)? ירון להבי – פברואר 2013