MTM Metrics That Matter מדידת אפקטיביות הדרכה ו - ROI

1. MTM MetricsThatMatter מדידת אפקטיביות הדרכה ו - ROI

2. מטרות פרויקט ה MTM בג'ון ברייס הדרכה • הבאת מוצר חדשני, ייחודי לשוק ההדרכה הישראלי • ייעול תהליכי העבודה הפנימיים וצמצום משאבים • שלוב מתודולוגיה מגובשת כחלק מתהליכי העבודה בארגון • בחינת הארגון על פי מדדים נוספים על אלו הקיימים • המוצר כמנוף לתוצאות עסקיות טובות יותר

3. מהימערכתה - MTM • רובד ראשון: המערכת מאפשרת אסוף, אחסון נתונים, בצוע תהליכים אוטומטיים, הזנה והפצת חוות דעת • רובד שני: מערכת דו"חות אוטומטית, מורכבת ומגוונת (מוצר בתשלום) המסוגלת להפיק יותר ממאה דו"חות שונים (זמינים ברשת 24*7, מיועדים לקהלי יעד שונים: דו"חות טקטיים, דו"חות ניהוליים ועוד).

4. תפוצתהמערכת • סטנדרט במדידת הלמידה, שותפים: Adobe, Cisco Systems, , CitrixHP ,,MicrosoftNovell • בחודש מרץ 2006, מילאו את השאלון כ – 130,000 איש ב - EMEA

5. עקרונותליבה • מערכת הערכה ומשוב אוטומטית, ממחושבת - מבוססת אינטרנט מועברות 2 חוות דעת: א. בגמר הקורס(Post-class) ב. לאחר 3 חודשים (Follow-up ) - בדיקה האם ההדרכה הועילה(לעובד/לארגון), האם היה כדאי, והאם יש צורך לחזור עליה. • יכולת השוואה ל – Benchmark, הן פנים ארגוני, חיצוני, מגזרי ועוד. • התייחסות לחמשת משורי הלמידה. • כלים המאפשרים את ניתוח התוצאות ומתן הערכה אודות השפעות ההדרכהוהחזרההשקעה.

6. יתרונות • המערכת מעניקה התבוננות מעמיקה לתוך מרכיבי, ההדרכה ומדדיה השונים. • שיפור ביצועי הארגון. • המערכת מדגימה את הערך העסקי בהדרכה. • שימוש מושכל יותר במשאבים, בתקציב בהדרכה.

7. חמשתמישוריהלמידה(קירקפטריקופיליפס)חמשתמישוריהלמידה(קירקפטריקופיליפס) • 4המישורים הראשונים הוגדרו ע"י קירקפטיק, Kirkpatrick)), כחלק ממודל העוסק בהערכה בהדרכה, המידע מכל שלב משרת את השלב הבא, • שביעות רצון • אפקטיביות ההדרכה • יישום ההדרכה במקום העבודה • תרומת ההדרכה למטרות העסקיות של הארגון • המישור האחרון, החמישי, פותח בנפרד עי פיליפס (Philips) ועוסק בהחזר ההשקעה בהדרכה – ROI , קרי, היכולת לאמוד את תועלות ההדרכה (החזר-על - השקעה - ROI)

8. החזר השקעה כיצד נתרם העסק? כיצד יישמתי? מה למדתי מההדרכה? איך היה? רמות מדידה לאפקטיביות ההדרכה חוו"ד מעקב ארגון פרט חוו"ד בגמר הקורס

10. מודליםשוניםשלROI המערכת מכילה שלושה סוגים של מודלי החזר השקעה, ROI, אשר מסייעים למקבלי ההחלטות בארגון: • Human Capital ROI Model(Focus on Level 3 – Job Impact) • Business Result ROI Model(Focus on Level 4 – Results) • Phillips ROI Process Model) Focus on Level 5- ROI) * Business Result ROI Model and The Phillips ROI model involve extra costs. Both use a different set of surveys and reports.

14. Post event survey

15. סכוםחוותהדעת

16. דו"חות במערכת • ניתוח והשוואת הנתונים יכול להתבצע על פי הפרמטרים הבאים: • Learning Providers • Clients/ Business Unites • Class • Course • Instructors • Question Category • Learning Methodologies • Locations

18. Comparative performance/standard reports

19. Report cards סיכום ביצועי הלמידה על פי קטגורית השאלות ונושאים שונים בחוות הדעת תוך השוואת Benchmark חיצוני ופנימי (והשוואת חוד דעת מיידית בגמר הקורס וחוות דעת - מעקב )

20. Variancereports

21. Learning levels score cardחמשת מישורי הלמידה

22. Hierarchy reports דו"ח המדגים כיצד ניתוח מידע מסויים יעשה בצורה יעילה יותר כאשר הוא מוצג באופן היררכי, מאפשר לראות את היחסים, טיב הקשר בין הישות הקטנה ביותר לבין הישות הרחבה ביותר (לדוגמא, מרכז הדרכה, מחוז, ארץ) רלוונטי עבור פרמטרים של מיקום וקורסים.

23. בצוע אל מול יעדים הדו"ח מאפשר לקבוע מראש יעדים לכל אחת מקטגורית השאלות, הן בחוות הדעת המיידית (Post Up) והן בחוות דעת המעקב (Follow Up) ולהשוות את אותם יעדים לבצועים בפועל

24. Top/bottom report תצוגה של הביצועים הגבוהים והנמוכים בקטגוריות שונות (קורס, מרצה, יחידה עסקית, מיקום ועוד..)

25. איך זה עובד בפועל?Case Study רקע: שימוש במערכת חוות דעת פנימית, ידנית. ציפיות מוקדמות: • בניית תהליך הטמעה כחלק מתהליך שינוי ארגוני. • בידול ג'ון ברייס ממתחרים, מענה ייחודי בתחום הערכת אפקטיביות ההדרכה. • חיסכון בזמן ובמאמץ בעת איסוף, עדכון והזנת חוות הדעת • שימוש בבסיס מתודולוגי אוניברסאלי והשוואה ל – BM עולמי. • תוצרי חוות הדעת מאפשרים התבוננות מעמיקה ופילוח נקודות החוזק והחולשות של ההדרכה.

26. תהליכים שיטה : • פיילוט פנימי במשך 3 חודשים בהיקף מצומצם בג'ון ברייס • בחינה, בדיקה, קבלת החלטה ליישום מלא • "שיווק" פנימי והדרכה פנימית לעובדים הרלוונטיים • הכנסה לשימוש באופן הדרגתי, קורסים ציבוריים, קצרים, בסניף ת"א. • הסבת הנתונים הקיימים אל מול המערכת החדשה (שמות מרצים, קורסים, לקוחות ועוד) על פי צרכים מיידים • הרחבה ספיראלית של מעגלי השימוש (קורסים מוזמנים)

27. קשיים • התנגדויות - שינוי דפוסי עבודה מוכרים • קשיי שפה • אורך ומורכבות השאלון החדש • היענות נמוכה של תלמידים למילוי שאלון המעקב • קושי בבידוד גורמים מתערבים שאינם קשורים להדרכה • תקלות טכניות שנבעו מחוסר ידע בשימוש מושכל במערכת, • תלות באינטרנט • הקלדת נתונים איטית ל – DB • קושי ביישום המערכת במתקני הלקוח ללא גישה לרשת.

28. ROIהארגוני והאנושי • גוף בעל חזון המדגיש חדשנות ושינוי . • שימוש בטכנולוגיות חדשניות לשיפור האיכות • העשרת העולם המתודולוגי של עובדיהארגון. • קיומם של תהליכי למידה משותפים בארגון.

29. ROIהמקצועי • אמוץ רעיונות וכללים מנחיםחדשים • שימוש נרחב באפשרויות ה – Bench Mark, מקנה פרספקטיבה גלובלית • הרחבת השימוש במודל חמשת מישורי הלמידה למסגרות ומערכות נוספות. • פילוח מעמיק של נתונים שלא התאפשרו קודם לכן.

30. המחיר • שימוש מקביל בשתי מערכות חוות דעת, דו"חות כפולים • אובדן של נתונים ויכולת הסקת מסקנות עקב חוסר שתוף פעולה של התלמיד • לא ניתן לתרגם את המבנה הארגוני לדוחות המערכת (חלוקת התחומים הולכת לאבוד) • הכפפת המערכת לקשיים ארגוניים, מבטל חלק מיתרונותיה (שימוש בחוות ידניות ידניות) • הדגש הפנימי בניתוח חוות הדעת הוא על חווית הלמידה.

31. מסקנות והמלצות • תרגום חוות הדעת (Online) למילוי בעברית – מסייע להעלאת מספר חוות הדעת הממולאות • הכשרת מספר גדול של עובדים לעבודה עם המערכת • המשך העלאת מיצוב ותועלות המערכת, בתוך ומחוץ לארגון • שימוש ביכולות המערכת ככלי לסיוע להשבחת תהליכי ניהול • הפניית תשומת לב למדדים 3 – 5