מבחן מבוזר מהימן – מודל התייחסות "דודות" והמצב בשטח

1. מבחן מבוזר מהימן – מודל התייחסות "דודות" והמצב בשטח אריאל פרנק המחלקה למדעי המחשב אוניברסיטת בר-אילן A.Frank

2. מבנה המצגת • בחינה כחלק מאמידה בלמידה מבוזרת • ניתוח סיכונים במבחן מבוזר מהימן DDT • מודל התייחסות "דודות" DoDoT/RM • המצב בשטח A.Frank

3. למידה מבוזרת (Distributed Education) • למידה מבוזרת (Distributed Education) היא הכללה של לימוד מרחוק (Distance Learning), המאפשרת ללומדים, למורים ולתכנים הלימודיים להימצא במרחבים שונים, באופן שבו כל פעולות הלמידה ניתנות לביצוע בכל מקום, בכל זמן, במגוון שיטות המסרה (Delivery Methods) ובקצב כלשהו. • כמרכיב בהערכה (Evaluation), אמידה (Assessment), מעצבת (Formative) או מסכמת (Summative), היא תהליך העוסק בבקרה, מדידה ורישום שיטתי של הישגי תלמידים במטרה לבחון באיזו מידה התקדמו התלמידים לעבר יעדי הלמידה המוגדרים. • בחינה (Testing) היא תהליך למימוש אמידה, בכלים מוגדרים היטב, כמו השימוש במבחן (ExamTest,) המקומי המסורתי. A.Frank

4. תהליך בחינה כחלק בלתי נפרד מן האמידה?! A.Frank

5. הלמידה המבוזרת עדיין חסרה?! • למרות התעצמותה הרבה, הלמידה המבוזרת לרוב עדיין חסרה מרכיב חשוב לקיומה בסביבה מבוזרת – ביצוע מבחן מבוזר מהימן DDT (Dependable Distributed Testing). • מוסדות הוראה המקיימים תוכניות למידה מבוזרת, ועומדים על הצורך בקיום בחינה לאמידת התלמידים, מבצעים לפחות את המבחן הסופי (הסגור, לאו דווקא בחנים או מבחנים פתוחים): • בקמפוס (דורש הגעה פיזית של כל הנבחנים לאותו מקום באותו זמן). • במרכזי בחינה חיצוניים (דורש הגעה פיזית של כל נבחן למרכז הכי קרוב). • במקום שנוח יחסית לנבחן (בית, עבודה וכו') אבל בפיקוח משגיח (Proctor) במקום "In-person" (דורש איתור משגיח מוסמך לכל נבחן ונבחן). • אולם דבר זה, מעבר למאמץ ולעלויות, יוצר תסכול נשנה אצל הנבחנים ומהווה פגיעה בחזון המקיף של למידה מבוזרת.

6. הבעייתיות והאתגר ב-DDT • גם אם נניח שבלמידה המבוזרת קיימת מערכת ניהול בחינה TMS, המשולבת במערכת ניהול למידה LMS, עדיין לרוב חסר בה המרכיב של תפעול מאובטח ומהימן, באופן שניתן יהיה לטעון בבטחה כי תוצאת המבחן משקפת מהימנה (Testing Integrity) אך ורק את הידע של הנבחן. • רוב המערכות בשטח תומכים רק במבחן מרחוק תוך שימוש ביישום "נעילה מטה" (Lockdown) המאבטח את ביצוע המבחן, בסביבה תפורה מראש, בכל הנסיבות האפשריות. • המערכות אינם נותנות מענה לסיכונים של התחזות, שימוש בחומרים אסורים, קבלת עזרה מבחוץ, זליגת המבחן עצמו, וכו'. • האתגר הוא למחשב באופן מקיף את תפקודי ה"דודה" ובכך לאפשר לנבחנים מרחוק לבצע מבחן מבוזר מהימן באופן יעיל ונוח. A.Frank

7. ניטור במרכז בחינות A.Frank

8. מודל ומערכת לאבטחת מבחן מבוזר • במסגרת מחקר בתחום הלמידה המבוזרת מוצע מודל התייחסות למבחן מבוזר מהימן DDT בשם "דודות" DoDoT/RM(Dependable observable Distributed online Testing Reference Model) הנותן מענה מספק לכלל הסיכונים הקיימים בביצוע מבחן מבוזר. • מענה לסיכוני DDT יכול להיות בין השאר שימוש בהתקן ניטור מאובטח, שמאפשר ביצוע אימות ביומטרי נשנה של הנבחן, וניטור רציף של מרחבי השמיעה (בעזרת מיקרופון רגיש) והראייה (בעזרת מצלמת רשת o360) של הנבחן בזמן המבחן, תוך רכישה ושידור מאובטח של שינויי קול ותנועה חשודים, המאפשר בדיקת מהימנות בזמן-אמת או למצער, באם יש צורך, לאחר מכן. • המטרה כאן היא לסקור "ניתוח סיכונים" מקיף שבוצע בתחום, להציג את מודל ההתייחסות "דודות" שנגזר ממנו, ולבדוק את כיסויו ע"י שלוש מערכות מסחריות הנמצאות כיום בשימוש בשטח.

9. מבנה המצגת בחינה כחלק מאמידה בלמידה מבוזרת ניתוח סיכונים במבחן מבוזר מהימן DDT מודל התייחסות "דודות" DoDoT/RM המצב בשטח A.Frank

10. שבעת הסיכונים ב-DDT • ניהול בחינה לקוי ((Testing Mis-management • מתחזה (Impersonator) • שימוש לרעה במחשב (PC Misuse) • חומרים אסורים (Forbidden Stuff) • שותף לדבר עבירה (Accomplice) • זליגת מבחן (Test Leakage) • ”לוחמה אלקטרונית “(“Electronic Warfare”)

11. ניהול בחינה לקוי ((Testing Mis-management • לניהול בחינה יש צורך ב-TMS (Testing Management System), לרוב כמרכיב או בשילוב הדוק עם מערכת של LMS/LCMS(Learning (Content) Management System). • ה-TMS צריך לספק כלים ושירותים משולבים רבים לניהול מחזור חיים מלא של בחינה: חילול, זימנון, פרסום, המסרה, בדיקה, תיעוד, דיווח, בקרה, הצפנה, אבטחה, גיבוי וכו'. • המערכת צריכה לתת תמיכה טובה לבוחנים, לנבחנים, ולמנהלנים. • ה-TMS מיושם כמערכת מבוזרת מהימנה (Dependable System). • מערכות TMS לדוגמא: ,Questionmark Perception SecureRespondus, PupilCity ProctorU, , Kryterion WebassessorSecure PlanetSSISoftware

12. מתחזה (Impersonator) (1) • איך לוודא שהנבחן הוא מי שאמור להיבחן כאשר הוא מרוחק? • יש צורך בבדיקת זהות (Identity Check) ע"י ביצוע אימות נבחן (Testee Verification). • למזער מניחים שימוש בחשבון נבחן וסיסמה ("זהות חלשה"). • אבל בבירור אי אפשר לסמוך על: • משהו שידוע לגביך ("what is known"), כגון: מספר מזהה, מען דואל, וכו'. • משהו שידוע לך ("what you know") כ"סוד משותף" עם יישום מסוים, כגון: שם אם קודם, צבע אהוב, וכו'. • משהו שיש לך ("what you have"), כגון: רישיון נהיגה, כרטיס חכם, וכו'. • המיקום שלך ("where you are"), כגון: מען IP, מעקב GPS.

13. מתחזה (Impersonator) (2) • הרעיון הוא שימוש בשיטות של "משהו שהינך" (“who you are”) שמהווה "זהות חזקה": • הרשמה (Enrollment) ואימות ביומטרי (Biometric Verification): • Fingerprint verification (Securexam), Face verification(Securexam, Kryterion), Signature verification (StudentPen) • יש צורך להחליט מתי לבדוק (בתחילה, מחזורי, אקראי) והשלכות הכישלון. • הרשמה (Enrollment) ואימות התנהגות (Behaviometric Verification): • Typing rhythms patterns or mouse movements • שימוש בניתוח הקלדה Kryterion))Keystroke analysis • שאלות אתגריות (Challenge Questions): • תשאול הנבחן בזמן-אמת לגבי "משהו שרק ידוע לך" “what only you know”)). • הידע המסוים נקצר ממאגרי מידע ציבוריים/פרטיים גדולים המורשים לגישה. • הכל נעשה בהסכמת הנבחן (מעין הרשמה) תוך שמירה על פרטיות. • יש צורך להחליט מתי לבדוק (בתחילה, מחזורי, אקראי), מספר השאלות, וכו'.

14. שימוש לרעה במחשב (PC Misuse) (1) • במבחן ללא משגיח במקום (“In-person”) יש צורך באבטחה ומהימנות מעבר לזה הקיימים במחשב אישי רגיל או בדפדפן מצוי. • שימוש ביישום "נעילה מטה" (PC Lockdown) כדי לאבטח את סביבת המחשב והדפדפן המשמשים לבחינה. • נדרשת הורדת/הקמת/הפעלת ה"נעילה מטה" דרך ה-TMS בזמן בדיקת זהות חזקה. • מניעת אפשרויות גישה והפעלה של התפקודיות במחשב וברשת שיכולה לסכן את מהימנות המבחן. • הרעיון הוא יצירת סביבת מבחן סגורה מתחילת המבחן ועד סופה.

15. שימוש לרעה במחשב (PC Misuse) (2) • יישום "נעילה מטה" במחשב מנטרל (אם לא ממזער) את סוגי הפעילויות הבאות: • Cut/copy/paste of data to/from the testing environment • Screen capture/printing functions • Control/function keys/shortcuts • Task/application start/access/switch • Right-click menu options • Menu options or icons activation • Setting of PC date/time • Pop-up windows • Messaging, screen sharing, network monitoring.

16. שימוש לרעה במחשב (PC Misuse) (3) • יישום "נעילה מטה" בדפדפן מנטרל (אם לא ממזער) את סוגי הפעילויות הבאות: • Search/surf the Web • Browser menu and toolbar options with possible exception for Back/Forward/Refresh/Stop • HTML source code viewing • Cache/store of pages in history/search listings.

17. שימוש לרעה במחשב (PC Misuse) (4) • יישום "נעילה מטה" יכול לספק את הדרישות הבאות: • Automatically start at sign-on page of the organization's TMS. • Testees cannot commence a test until they are provided with a special password by the TMS. • The test questions are displayed in a full-screen mode that cannot be minimized. • Following test completion, all test-related files are automatically submitted back to the TMS. • Clearing of any cookies, caches, and temporary files at test session end.

18. שימוש לרעה במחשב (PC Misuse) (5) • "סביבת נעילה מטה" צריכה לשרוד גם במקרים של בעיות, תקלות, קריסות ותיחול מחדש. • בנייה של סביבות בחינה מתקדמות תיתכנה בעזרת טכנולוגיות מודרניות, כגון: "תוכנה כשירות" (SaaS), שירותי ווב, וירטואליזציה ומחשוב עננים. • אפשרי גם להיעזר לבקרה ועזרה בתוכנה לשליטה מרחוק (Remote Desktop). • תוכנות ל"נעילה מטה" כוללות:Respondus, Simpliciti, KioWare Lite,Questionmark Perception Secure,Open-source SEB (Safe Exam Browser)

19. חומרים אסורים (Forbidden Stuff) • איך למנוע שימוש בחומרים אסורים במבחן ללא משגיח במקום. • הרעיון הוא לבצע ניטור מקוון(Online monitoring) באמצעות הזרמת זמן-אמת של שמע/חוזי (Audio/Video) של מושב המבחן: • מאפשר צפיית משגיח מקוון (Online proctor observation),באופן חי, מחזורי או אקראי. • מאפשר הקלטתמושב מבחן (recordingTest session) כולל מידע ביומטרי ומידע נוסף נדרש. • תהליכים מחשוביים יכולים לאתר דברים חריגים או פעילויות אסורות ולהתריע(Red flag) למשגיח בזמן-אמת או לסמן צורך ב"ניתוח אחר-מבחן" (Post-test analysis). • יש אבל קושי אם הניטור נעשה רק עם מצלמת רשת (Webcam) רגילה.

20. שותף לדבר עבירה (Accomplice) • איך למנוע קבלת עזרה מעוזרים חיצוניים כשאין משגיח במקום. • ראינו כבר את הפיתרון של ניטור מקוון, אבל זה לא מספק, לדוגמא: • העברה/הקרנה של תוכן המסך, באמצעות כבל מחשב או מצלמה נסתרת, לשותף העומד מאחורי המחשב, המסמן (מספרית או בשפת סימנים) או משרבט על לוח-לבן, את התשובה המבוקשת. • אפשרי לבקש מהנבחן לסובב פנורמית (Panning) את מצלמת הרשת אבל זה לא נוח, במיוחד אם זה מתבקש מספר פעמים. • פתרון עדיף זה שימוש במצלמה 360oהמנטרת את סביבת הנבחן באופן מלא ורציף. • אפשרי גם להשתמש בעזרים: • משבשי מצלמות (Camera zappers) • חוסמי תקשורת סלולארי (Cellular jammers) • כלי זיהוי שמע/תמונה מתקדמות.

21. זליגת מבחן (Test Leakage) • למניעת זליגת מבחן אפשרי לעשות שימוש בשיטות לעיל. • יש לאפשר שרבוט במרחב פרטי (Private workspace) במסגרת סביבת המבחן. • אין לאפשר קריאה בקול של השאלות עצמם בכדי למנוע הקלטת סתר. • כדי להקשות על זליגת מבחן ("Schemed Questioning"): • שימוש בבנק שאלות עם בחירת שאלות אקראית. • ערבול סדר השאלות והתשובות (בשאלות רב-ברירה). • הצגת שאלה יחידה בכל שלב. • קציבת ספי זמן למתן תשובות.

22. "לוחמה אלקטרונית" (Electronic Warfare) • צריך להגן על החומרה והתקשורת של המחשב והתקני העזר. • זה אפשרי כמובן באמצעות ניטור מקוון של משגיח. • אבל לניטור מאובטח מומלץ להשתמש ביחידת חומרה נפרדת, ניידת, וקלה לחיבור (USB). • היחידה צריכה להיות מוקשחת(Tamperproof) ולפעול בשילוב עם יישום "נעילה מטה" וה-TMS. • הרעיון הוא לספק ניטור ממוחשב רציף ולמנוע התנכלות לתקשורת ולהתקנים המשמשים לאבטחה.

23. מבנה המצגת בחינה כחלק מאמידה בלמידה מבוזרת ניתוח סיכונים במבחן מבוזר מהימן DDT מודל התייחסות "דודות" DoDoT/RM המצב בשטח A.Frank

24. מודל התייחסות "דודות" DoDoT • מודל התייחסות "דודות" מציע מערך שיטותכמענה לכל שבעת הסיכונים ב-DDT. • כל סיכון צריך להיות מכוסה ע"י לפחות שתי שיטות למזעור הסיכון, (ז.א., שהסיכון לא ישתלם), לדוגמא שימוש ב: • שתי שיטות שונות (Two-factor authentication) לאימות הנבחן. • גם צפיית משגיח מקוון וגם הקלטת מושב מבחן לצורכי ניטור מקוון. • מכיוון שיש מענים העונים במקביל על מספר סיכונים, יש לבחור אוסף (שיטות עם) כיסוי מינימלי (Minimal covering set). • יש עדיפות לתהליכים ממוחשבים כדי לחסוך במשאבי אנוש. • מומלץ גם להשתמש במצלמת רשת 360o , משבשי מצלמות (Camera zappers), חוסמי תקשורת סלולאריים (Cellular jammers) וטכנולוגיות זיהוי שמע/תמונה מתקדמות.

25. DDT risks and methods

26. תיאוריה לעומת פרקטיקה?! A.Frank & D. Gallula

27. מבנה המצגת בחינה כחלק מאמידה בלמידה מבוזרת ניתוח סיכונים במבחן מבוזר מהימן DDT מודל התייחסות "דודות" DoDoT/RM המצב בשטח A.Frank

28. המצב בשטח – מערכות מסחריות • PupilCity ProctorU • Kryterion Online Proctoring (OLP) • Securexam Remote Proctor (SERP) A.Frank

29. (1) PupilCity ProctorU • שימוש בשיחוח חוזי, אחד-על-אחד, עם משגיח מקוון מוסמך שמוודא הכל. • פותח ב-2008 ע"י Andrew Jackson University(AJU) ומוסחר ע"י חברת PupilCity ב-2009. • אימות נבחן מבוצע בעזרת טכנולוגיית "שאלות מאתגרות" שלAcxiom Identify-X . • עבר חלוץ (Pilot) ומספר ניסויים בהצלחה ב- National American University (ANU) • נמצא בשימוש בכ-26 מוסדות הוראה. A.Frank

30. (2) PupilCity ProctorU • כל נבחן צריך להירשם אישית למבחן באתר. • יש 4 שלבים בלקיחת המבחן: • Connect – ProctorU automatically connects the testee to the online proctor. • Observe – proctor connects to testee's screen. • Prove identity – proctor watches the testee as he/she authenticates identity. • Monitor – proctor observes testee taking test. • שימוש בשיחוח חוזי TokBox ותוכנת שליטה מרחוק. • פעילות חריגה נרשמת ע"י לכידת מסך ותמונות מצלמה. A.Frank

31. PupilCity ProctorU: risks and methods

32. (1) Online Proctoring (OLP)Kryterion • פותח ב-2008 ע"י חברת Kryterion העוסקת שנים רבות בטכנולוגיות ושירותי אבטחה. • OLP נוסתה עםWorld Campus of Pennsylvania State University וכן Western Governors Univ. • משתמשת ברשת הפצת תוכן Akamai להמסרה מאובטחת של תכני המבחנים. • שימוש בתשתיות/טכנולוגיות שלSentinel Secure. • OLP משתמשת במגוון של מענים המומלצים במודל התייחסות "דודות". A.Frank

33. (2) Online Proctoring (OLP)Kryterion • KCOPS – Kryterion Certified Online Proctors • אפשרי ניטור מקוון במקביל של עשרות נבחנים. • יש למשגיחים מידע קודם על הנבחנים היכול לסייע להם באיתור פעולות חריגות של נבחנים. • טכנולוגיית Real Time Data Forensics (RTDF). • משגיח יכול לבקר בסביבת הנבחן ולהתריע לו. • המנשק עם הנבחנים הוא רק דרך תפריטים צצים. • יש ערבול שאלות והצגת שאלה אחת בכל פעם. A.Frank

34. Kryterion OLP: risks and methods

35. Securexam Remote Proctor (SERP) • פותח ב-2006 ע"יTroy University ומוסחר ע"י חברת Software Secure. • עבר חלוץ ומספר ניסויים ב- Troy Universityוכן ב- .University of West Alabama • יש שימוש בהתקן ניטור מאובטח ונפרד. • נתמך במעל 15 מוסדות הוראה. • כ-12,000 נבחנים מרחבי העולם נבחנו באמצעותו בשנה שעברה. A.Frank

36. SERP - Anytime Anywhere Testing With Integrity A.Frank

37. הרעיון מאחורי SERP • SERP כהתקן ניטור מאובטח מאפשר רישום וביצוע אימות ביומטרי ראשוני של הנבחן ע"י טביעת אצבע. • מאפשר ניטור רציף של מרחבי השמיעה (בעזרת מיקרופון רגיש) והראייה (בעזרת מצלמה o360) בזמן המבחן, תוך רכישת שינויי קול ותנועה חשודים, המאפשרים בדיקת מהימנות כמעט בזמן-אמת או לאחר מכן, בניתוח אחר-מבחן, כפי הצורך. A.Frank

38. SERP במבט מהיר A.Frank

39. מאפיינימערכתSERP • התקן SERP פועל בשילוב של תוכנות ייעודיות: • PlanetSSI – מערכת TMS ברשת. • Securexam Student – "נעילה מטה" (Downlock) למעבד התמלילים והגיליון האלקטרוני שבשימוש. • Securexam Browser – "נעילה מטה" (Downlock) למבחן המקוון וכלי הבחינה המורשים בשימוש. • SERP מאפשר זיהוי ביומטרי של טביעת אצבע הנבחן בתחילת המבחן וניטור שמע וחוזי של סביבת הנבחן תוך רכישת כל השינויים החשודים בצליל ותנועה, בדומה לסוגי ההשגחות של ה"דודה" במבחן קלסי.

40. שלבים במבחן מבוזר (1) • התקנה: • התקן SERP יכול להישלח ישירות לנבחן מ-Software Secure. • הנבחן יכול להוריד מהרשת תכנה/מדריכים/סרטים של SERP. • הרשמה: • הנבחן אינו יכול לגשת למבחן לפני ביצוע "הרשמה" ב-TMS. • SERP מבצע "צילום מצב" של הנבחן ע"י רכישת תמונה, סרט, טביעת אצבע, (צילום תעודה מזהה,) ושליחת המידע ל-TMS. • לאחר ההרשמה, הנבחן יכול להיבחן עם ה-SERP רק לאחר אימותו עם כל מרכיבי הרשמתו.

41. "צילום מצב" בעת ה"הרשמה" A.Frank

42. שלבים במבחן מבוזר (2) • יישום: • הנבחן נכנס למבחן מה-TMS או.Securexam Student • בעת המבחן, SERP ימנע גישת מחשב לכל משאב מלבד המבחן וכלי הבחינה כאשר כל המידע מאובטח ומוצפן. • בעת המבחן, SERP ישדר קטעי שמע/חוזי של כל המבחן ובמיוחד את השינויים החשודים, בצליל ותנועה, לצורך בדיקה לאחר מכן. • ניהול: • לאלו המורשים, יש גישה מאובטחת לאתר המבחנים כדי לבדוק את נתוני ה"הרשמה" של הנבחנים. • לאלו המורשים, יש גישה לקטעי שמע/חוזי שהוקלטו במבחנים. • מורים ומנהלים יכולים לתצר את מאפייני המוסד או המבחנים.

43. Software Secure SERP: risks and methods

44. מבחן מבוזר מהימן בשטח • בהיערכות מתאימה, בעלות סבירה לנבחן, תוך שמירת פרטיות, אפשרי לתלמידים לבצע מבחן מבוזר מהימן. • הרעיון הוא להקשות ככל האפשר על מרמה במבחן – מידת ההסתכנות של הנבחנים תהיה ביחס הפוך להסתברות שיתפסו. • תזכורת: גם במבחן מקומי מסורתי לא מתקרבים ל-100% של מהימנות. • ההיגיון של עלות-תועלת (Cost-Effective) של מבחן מבוזר מהימן: לפי כלל ה-20/80 (או אפילו 10/90). • מסתבר שיעילות ומהימנות המבחן, והנוחות לכל המעורבים, שווה את המאמץ. • בכך מתאפשר גם יישום מקיף של חזון הלמידה המבוזרת. A.Frank

45. נשאר עוד זמן  A.Frank