ارائه‌ی چارچوبی برای یادگیری کنترل توجه در وظایف با فضای ادراکی چندبعدی

1. ارائه‌ی چارچوبی برای یادگیری کنترل توجهدر وظایف با فضای ادراکی چندبعدی مریم سادات میریان اساتید راهنما: دکترمجید نیلی، دکتر بابک نجار اعرابی

2. استاد مشاور

3. فهرست مطالب • مقدمه • اهمیت و انگیزه‌ • پرداختن به کنترل توجه (در حالت کلی) • این پژوهش (به طور خاص) • نوآوری‌ها در قالب یک شبکه‌ی مفهومی با گذار از حوزه‌های مرتبط • چارچوب پیشنهادی • تحقق در حوزه‌ی برخط • تحقق در حوزه‌ی برون‌خط • آزمایش‌ها و نتایج • جمع‌بندی و نتیجه‌گیری • پیشنهادهایی برای ادامه‌ی این پژوهش

4. مقدمه: کنترل‌توجه چیست؟ • روانشناسی • کنترل نمودن روند تفکر بر یکی از چندین موضوع یا شیئی که به طور همزمان ممکن است ذهن را مشغول نماید. • بریدن از چیزهایی برای پرداختن موثرتر به چیزهای دیگر. • مهندسی • فیلتر نمودن فضای ورودی به گونه‌ای که بر چیزی که در فرایند تصمیم‌گیری ارزش بیشتری دارد، متمرکز شویم. • ایجاد ارزش/اهمیت کمتر برای ورودی‌های گمراه‌کننده، غیرقابل اتکاء و نویزی

5. اهمیت پرداختن به کنترل توجه • هرجا نیاز به تصمیم‌گیری • در زمان محدود • با هزینه‌ی مشخص • بر اساس اطلاعات انبوه باشد نیاز به روشی است که به نوعی از میان منابع اطلاعاتی موجود، زیرمجموعه‌ی مناسب‌تر را برگزیند. • تعابیر متفاوت ولی مرتبط به توجه در مهندسی: • پالایش یا فیلترینگ • انتخاب حسگر • کاهش بعد • و ...

6. اهمیت و انگیزه‌ی کنترل توجه ادراکی (در حالت معمول) • حل مشکل محدودیت زمان و توان پردازشی • حل مشکل پیچیدگی فضای حاصل از ادراک همزمان تمامی ابعاد سنسورهای ورودی • حل مشکل ابهام به دلیل اطلاعات انبوه سنسوری • راهی برای کارآمدتر نمودن حل مسئله‌ی تصمیم‌گیری • کاهش بعد فضای ادراکی ربات • کاهش نیاز به حافظه برای ذخیره‌ی مشاهدات غیرضروری • ساده‌تر شدن مدلی که ربات برای انجام وظیفه باید از محیط بسازد

7. اهمیت و انگیزه‌ی یادگیری کنترل توجه(در حالت معمول) • اینکه ”به چه/کجا نگاه کنیم؟“ و اینکه ”در پاسخ به مشاهده‌ی انجام شده، چه کنشی انجام بدهیم؟“ به یکدیگر تافته شده‌اند. • زیرمسئله‌ی اول در خدمت دومی است! (با هدف تسهیل و کاهش بار مسئله‌ی دوم) What to do? Where to look?

8. اهمیت و انگیزه‌ی این پژوهش: یادگیری کنترل توجه در فضای تصمیم • اینکه ”با چه کسی مشورت کنیم؟“ و اینکه ”در پاسخ به مشورت دریافتی، چه کنشی انجام بدهیم؟“ به یکدیگر تافته شده‌اند. • مشورت ها به صورت ترتیبی انجام می‌شوند. • سطوح و ناحیه‌ی خبرگی ها متفاوت هستند. What to do? Whom to Consult?

9. ایده‌ی اصلی چارچوب • تقسیم مسئله‌ی اصلی به زیرمسئله‌ها‌ی یادگیری کوچکتر و سپس یادگیری نحوه برهم‌نهی نتایج: • یادگیری انجام وظیفه در زیرفضاهای ادراکی ساده‌تر به صورت موازی توسط ماشین‌های یادگیر ساده‌تر • یادگیری کنترل توجه با تعبیر یادگیری مشورت با همین ماشین‌های یادگیر ساده‌تر در فضای تصمیم

10. مسئله یادگیری در فضای ادراکی چندبعدی (در حالت معمول) فضای ادراکی چندبعدی کدام سنسور؟ کدام کنش؟ نظر/تصمیم/کنش نهایی

11. همان مسئله با نگرش پیشنهادی در این رساله(یادآوری) فضای ادراکی چندبعدی بخشبندی فضای ادراکی با بعد کمتر فضای ادراکی با بعد کمتر فضای ادراکی با بعد کمتر Perceptual Space کدام کنش؟ کدام کنش؟ کدام کنش؟ کدام کنش؟ کدام نظر؟ Decision Space نظر/تصمیم/کنش نهایی

12. 2 سوال کنترل توجه: ادراکی یا تصمیم؟! • یادگیری کنترل توجه در فضای تصمیم به جای nتا حسگر، در واقع l عدد خبره داریم به ازای هر موقعیت کدامین l’ از l تا خبره‌ها را برای مشوت انتخاب کنم تا کنش با بیشترین امید پاداش و کمترین هزینه را پیدا کنم؟ • یادگیری کنترل توجه در فضای ادراکی اگر ما حداکثر n حسگر (یا در حالت کلی n موقعیت مکانی/شیء مثلا در داخل یک مدالیتی مانند بینایی) داشته باشیم که به کمک آنها موقعیت یا حالت فضا را ادراک نماییم به ازای هر موقعیت کدامین n’ بیش از بقیه هم به لحاظ اطلاعاتی مفیدتر است و هم به لحاظ اقتصادی به صرفه‌تر است که استفاده شود؟

13. دیدگاه پیشنهادی این پژوهش تعریف یک مسئله یادگیری در فضای ادراکی چندبعدی بینش (Intuition) • هدف این پژوهش، ارائه‌ی یک راه‌حل یکپارچه است برای حل مسئله‌ی Attentive Decision Fusion ولی در دو حوزه مختلف برای طراحی جمع خبرگان : • برخط در کاربردهای رباتیکی • برون‌خط در کاربردهای شناسایی الگو + طراح خبره طراحی جمع خبرگان یادگیری Attentive Decision Fusion Core این پژوهش

14. اهمیت و انگیزه‌ی این پژوهش:چرا یادگیری؟ • یادگیری تنها راه حل ممکن است وقتیراه حل بهینه‌ی یک مسئله را در حالت کلی نمی‌دانیم • مدل محیط و سیگنال دقیق خطا را نداریم • مشاهده‌‌هایی که ربات و طراحش هر کدام در محیط انجام می‌دهند، متفاوت است

15. اهمیت و انگیزه‌ی این پژوهشچه نوع یادگیری؟ • یک روش یادگیری در تعامل با محیط • یک روش یادگیری فقط بر اساس یک ارزیابی غیرمستقیم از عملکرد • یک روش یادگیری که قابلیت وارد کردن هزینه برای هر کنش عامل را داشته باشد تا در مجموع کل هزینه را بتوان کنترل کرد.

16. چرا روش توجهی برای ترکیب تصمیم؟! • هزینه بر و طولانی بودن استخراج تمامی اطلاعات لازم برای یک تصمیم‌گیری جامع • نیاز به پردازش اطلاعات انبوه و مشورت‌های متعدد با افراد خبره برای اتخاذ یک تصمیم منطقی • در مسائل تشخیص (پزشکی)، مشورت با یک خبره(پزشک) متخصص جدید، نیازمند فراهم کردن اطلاعات(انجام آزمایش‌های) جدید است؛ چرا که هر خبره (پزشک) ممکن است از منظری خاص به یک مسئله (بیماری) واحد بنگرد. • پس به کمک ایده‌ی توجه این فرایند را تسهیل می‌کنیم.

17. چالش‌های حوزه‌ی ترکیب تصمیم چیست؟ • دانش یک فرد خبره و حوزه‌ی خبرگی وی در حالت کلی بر روی حوزه‌ی مسئله، معمولا ناکامل و نایکنواست. • بسیار محتمل است که پیشنهادهای یک خبره روی کل فضای مسئله ناکامل باشد • پیشنهادها در مورد برخی پرسش‌هایی که در حوزه‌ی خبرگی وی واقع نشوند، برای وی گمراه‌کننده و حتی ابهام‌برانگیز هستند. • منطقی نیست که ابتدا همه‌ی مشورت‌ها را به صورت یکجا انجام دهیم و سپس به یکباره و بر اساس کل آنها، اقدام به تصمیم‌گیری نماییم. • بنابراین لازم است که به صورت ترتیبی و بر اساس انتخابی هوشمندانه و با توجه به میزان سودمندی نظر هر خبره، اقدام به انتخاب توجهی خبره‌ها کنیم!

18. شبکه‌ی مفهومی: نمایش ارتباط حوزه‌های پژوهشی مرتبط Online, Interactive METAL Can be considered from perspective of Is done by Task Type Offline, Supervised ADFL Needs Necessitates Can be solved by Is done by

19. شبکه‌ی مفهومی: نمایش ارتباط حوزه‌های پژوهشی مرتبط Can be considered from perspective of Is done by METAL Needs Necessitates

20. مدلسازی یادگیری Attentive Decision Fusion‌ به عنوان یک مسئله‌ی یادگیری تعاملی

21. نیاز به یک روش یادگیری پیوسته حالت و گسسته کنش‌ Bayesian RL Decision support of an expert about all actions

22. مولفه‌های کلیدی MDP مفروضبرای فرمول‌بندی مسئله

23. تحقق چارچوب پیشنهادی این رساله در: حوزه برون‌خط حوزه برخط

24. تحقق چارچوب در حوزه‌ی برون‌خط

25. به‌کارگیری ADFL در حوزه برون خط • داده‌ی آزمون قابل‌اتکائی برای محک‌زنی مسئله‌ی ترکیب تصمیم نداریم. • پس طبقه‌بندی و تشخیص را انتخاب کردیم، چون: • طبقه‌بندی وظیفه‌ی مناسبی برای آزمودن یک روش تصمیم‌گیری از جنس ترکیب تصمیم به نظر می‌رسد. • خبره‌های محلی که نیاز داریم را می‌توانیم به سادگی با طبقه‌بندهای محلی جایگزین نماییم. • با انتخاب طبقه‌بندی به عنوان وظیفه‌ی محک، می‌توانیم روش خود را با روش‌های شناخته شده‌‌ی این حوزه مقایسه نماییم. • اما بدین ترتیب، خبره‌ها را هم باید خودمان بسازیم!

26. ساختن خبره‌ها: چند فرصت و یک تهدید! • فرصت‌ها: • روش ما به یک آلترناتیو برای محک‌زنی با روش‌های شناخته‌شده‌ی حوزه طبقه‌بندی تبدیل می‌شود • با اینکار، در حوزه‌ی پیشنهاد و تست روش‌هایی برای طراحی خبرگان هم به عنوان یک By-product وارد می‌شویم. • ورود به حوزه‌ی شناسایی الگو و شکل‌دهی فضای جایگزین یادگیری و .... • تهدید: • ارائه یک طراحی مناسب برای خبرگان ساده نیست: اگر خبره‌ها را از قبل داشتیم، صرفا برای مشورت با آنها هزینه لحاظ می‌کردیم و نظر آنها را در هر مورد بنا به روش خود به صورت ترتیبی ترکیب می‌کردیم و...

27. طراحی خبره‌ها با هدف ایجاد تنوع  BRSM PKSM

28. The set of features: F Number of Experts = l Select RF = Redundancy_Factor: the number of local experts having access to one feature. LF= Locality_Factor: the portion of whole feature space to be considered by a single local classifier. Set Number of Classifiers = l = 1/ LF Number-of-Features-per-Classifier = fpc Rank the features according to the effect on CCR using Forward Selection/Backward Elimination Make l bins of sorted features; each contains fpc features. Randomly select fpc features from these l bins to assign to the feature subspace of local experts. We have l different portions of feature space: f1,…, fl سیاست‌ BRSM برای طراحی LDEها • روشی برای ایجاد یک طراحی سریع، ساده و طبعا تصادفی(البته به صورت متوازن) • ایجاد کلاسه کننده‌های تقریبا هم‌قدرت Balanced Random Sub-space Metod

29. The set of features: F, Number of Classes = |C| Number of Experts = l سیاست‌ PKSM برای طراحی LDEها Divide the features into two groups: expensive and inexpensive Assign all inexpensive features to all local experts • توزیع ویژگی‌های کم‌هزینه میان بیشتر خبره‌ها • اولویت دادن به طراحی که ویژگی‌های پرهزینه را به تعداد محدودی از خبره‌ها منتسب نماید بر طراحی‌ دیگری که بدون توجه به هزینه‌ی لازم برای به دست آوردن هر ویژگی، آنها را به صورت یکنواخت و بر اساس تصادف میان همه‌ی خبره‌ها تقسیم می‌نماید Randomly distribute the expensive features among local experts Map all the training instances to the Decision Space Using the decision of each local expert Cluster the Decision Space using Kmeans method into CN clusters 2<T<MaxT Pre-Knowledge based Sun-sapce Method ClustMemij = number of members of class i in the cluster j Yes Is Separability Index acceptable? We have l different portions of feature space: f1,…, fl called cls(i).fwhere

30. داده‌ها و روش‌های محک • داده‌ها: • یازده داده‌ی انتخابی از مجموعه‌ داده‌های UCI ML Repository • روش‌های فضای ویژگی: • یک طبقه‌بند k-NN در فضای ویژگی‌ • روش Bagging • روش Adaboost • روش‌های فضای تصمیم: • یک طبقه‌بند k-NN در فضای تصمیم • روش‌های ترکیب تصمیم: • برچسب خروجی: روش رای‌گیری اکثریت • رتبه‌ی تصمیم‌های خروجی: روش Borda-count • خروجی پیوسته به فرم تصمیم‌های احتمالاتی پسین: روش OWA با وزن‌های بهینه به‌دست‌آمده از الگوریتم یادگیری گرادیان نزولی

31. معیارهای ارزیابی پایه • کارایی: متوسط نرخ تشخیص (در 5 بار اجرا) روی داده‌ی آزمون • قوام نسبت به نحوه‌ی تفکیک ویژگی‌ها: واریانس نرخ تشخیص (در 5 بار اجرا) روی داده‌ی آزمون • نسبت مشورت

32. عملکردADFL+BRSM • شکست رقبای ترکیب تصمیمی خود از لحاظ نرخ تشخیص نهایی • حتی در مواردی که نرخ تشخیص هر خبره به صورت محلی پایین است. • مشورت هوشمندانه‌ADFL بعد از آموزش در هر حالت فقط با خبرگانی که سودمند تشخیص داده شده‌اند (چنانکه نسبت مشورت نشان می‌دهد) • در مورد برخی داده ها شکست از Adaboost و Bagging

33. عملکردPKSMADFL+ • افزایش معنادار نرخ تشخیص نهایی و غلبه بر روش‌های رقیب هم در دسته‌ی ترکیب تصمیم و هم Adaboost و Bagging • واریانس کم در نرخ تشخیص نهایی • قوامنسبت به چگونگی شکست کل داده به مجموعه‌های آموزش و آزمون و نیز شکست مجموعه‌ی ویژگی‌ها میان خبره‌های مختلف • لزوم حداقل درکی از معنای ویژگی‌ها!

34. آزمون علامت(ps)، ویلکوکسون (pw) وt(pt) میان ADFL+PKSM بر اساس بهترین طبقه‌بند پایه و روش‌های رقیب ADFL+PKSM با بهترین LDE ها (مستقل از نوع الگوریتم یادگیری پایه) : از بهترین روش‌های رقیب در دسته‌ روش‌های اجماع خبرگان با 90 درصد اطمینان و از بهترین روش‌های رقیب در دسته‌ی ترکیب تصمیم با 95درصد اطمینان، بهتر عمل می‌کند.

35. معیارهای ارزیابی تکمیلی • قوام نسبت به 2 گونه‌ی مختلف از خطاهای زمان طراحی خبرگان • خبره‌ای که در حالت باینری، صد در صد و در حالت چندکلاسه با الگوی مشخصی به طور هدفمندی اشتباه می‌کند. • خبره ای که نظر تکراری ارائه می‌نماید.

36. تست خبره‌های تکراری داده های باینری داده‌‌های چندکلاسی

37. الگوی مشورت در تست تکرار خبره‌‌ی شماره 5 کپی شده و تحت عنوان خبره‌‌ی 6 به مجموعه خبره‌ها در داده‌ هپاتیت افزوده شده است. در انتهای یادگیری دیده می‌شود که هر دو خبره به میزان مساوی برای مشورت کردن محتمل هستند

38. نتایج آزمایش افزودن خبره‌ی تکراری • این افزونگی بر خلاف روش‌های رایج ترکیب تصمیم، تاثیر مخربی بر نتیجه‌یروش پیشنهادینداشته است. • قوام روش به چنینخطاهای زمان طراحی! • نتایج روش‌های ترکیب تصمیم، تاثیر مستقیم این آزمایش را در خروجی نشان می‌دهند. • عامل یادگیر در ما هم با یک خبره و هم با کپیآن مشورت نمی‌کند.

39. نتیجه‌یآزمایش افزودنتصمیم‌گیرهای به طور سیستماتیک خطادار در حالت باینری در حالت چندکلاسی

40. الگوی مشورت در تست خبره‌ی خطاکار در پایان یادگیری ADFL بیشترین مشورت را با خبره‌ی خطادار سیستماتیکی انجام می‌دهد

41. بحث در مورد طراحی خبره‌های محلی شکستADFL + BRSM از Adaboost و Bagging روی اغلب مجموعه‌های داده‌ای • بررسی توزیع نمونه‌های آموزشی در فضای تصمیم • (فضای تصمیمی متشکل از خبره‌های محلی طراحی شده بر اساس روش BRSM که بیش از بقیه با آنها مشورت شده بود.) مشاهده: یک فضای تصمیم در هم که به ندرت می‌شد مرز تصمیم مشخصی میان نمونه‌های کلاس‌های مختلف متصور شد. نتیجه: بسیار دشوار است که ADFL بتواند با قراردادن گوسی‌ها و تنظیم میانگین و واریانس آنها، مرز تصمیم مشخصی در فضای تصمیم شکل بدهد و به کارایی مناسب و مورد انتظار دست یابد.

42. بحث در مورد طراحی خبره‌های محلی(2) • روش یادگیری پیوسته با بخشبندی نرم فضای ورودی، تعدادی هسته‌‌ی گوسی در نواحی مختلف فضای یادگیری قرار می‌دهد. • سپس میانگین و واریانس آنها را در طول زمان با ورود نمونه‌های یادگیری جدید، تنظیم (به‌روز) می‌کند. • در هم رفتگی زیاد نمونه‌های یادگیری باعث افزایش تعداد هسته‌های گوسی‌می‌شود و کار را دشوار و بعضا غیرممکن می‌کند. • پس باید تا حد امکان فضای تصمیم اولیه را گرانول‌بندی شده به ADFL تحویل بدهیم.

43. شکل‌دهی فضای تصمیم.....                      تصویر پایه اقتباس از DHS PR book: Ch2. page 28

44. بحث در مورد طراحی خبره‌های محلی(3) • تعریف معیاری با نام Seperability Indexبرای سنجش میزان قابلیت خوشه‌بندی فضای تصمیم (مطلوبیت موردانتظار در فضای تصمیم) • روش PKSM بر اساس بیشینه نمودن این معیار، ویژگی‌ها را انتخاب می‌نماید. تعداد خوشه‌ها تعداد اعضاء کلاسi در خوشهj

45. نتایج طراحی خبره‌های محلی به روش PKSM • غالبا افزایش متوسط دقت خبره‌های محلی و کمیت جداپذیری در فضای تصمیم هر دو بر بهبود کارایی نهایی ADFL تاثیرگذار هستند. • بهبود متوسط دقت خبره‌های محلی در اکثر موارد، موجب جداپذیری بهتر هم می‌شود ولی عکس این شرایط وجود ندارد. • به صورت تجربی مشاهده شد که ضریب همبستگی میان جداپذیری و متوسط دقت خبره‌های محلی یک عدد منفی و کوچک است. • SI یک معیار پیش‌ارزیابی است : • آیا خبره‌های طراحی شده (حتی با متوسط قدرت کم) به صورت بالقوه برای ADFL مناسب هستند یا خیر؟ • معمولا طراحی خبره‌هایی با متوسط قدرت بالا در عمل دشوار است در حالیکه افزایش جداپذیری ‌به مراتب عملی‌تر است.

46. تحقق چارچوب پیشنهادی این رساله در: حوزه برون‌خط  حوزه برخط

47. تحقق چارچوب در حوزه‌ی برخط(METAL برای یادگیری رباتیکی)

48. در حوزه‌ برخط • باز هم به دنبال حل مسئله کنترل توجه از طریق تبدیل آن به فرم یک مسئله یادگیری ترکیب تصمیم هستیم. • اما داده‌ی آموزشی نداریم: • پس ایجاد خبره‌های محلی چگونه باید باشد؟! • قطعا در این حوزه نیازمند تعامل با محیط برای آموزش خبره‌های محلی هستیم.

49. METAL= Mixture of Experts Task & Attention Learning FOA TAs TAs TAs Expert Advisor ACL Learned Behavior Quality Structural Components Learning Phases Bayesian Continuous RL Evaluation Measures

50. METAL= Mixture of Experts Task & Attention Learning FOA TAs TAs TAs Expert Advisor ACL Learned Behavior Quality Structural Components Learning Phases Bayesian Continuous RL Evaluation Measures