یادگیری بر پایه نمونه

1. یادگیریبرپایهنمونه Instance Based Learning Author : Saeed Shiry With little change by: Keyvanrad & Mitchell Ch. 8 Fall 1392

2. مقدمه • درروشهائیکهتاکنونبررسیکردیم،سعیبراینبودکهبااستفادهازمثالهایآموزشیتابعیپیداکنیمکهبتواندتوصیفکنندهدادههاباشد. • درروشیادگیری IBL بسادگیفقطمثالهاراذخیرهمیکنیموهرگونهتعمیمتامشاهدهمثالجدیدبهتعویقمیافتد. بههمیندلیلاینروشگاهیروشتنبلیا lazy همنامیدهمیشود. • بامشاهدهمثالهایجدیدرابطهآنبانمونههایذخیرهشدهبررسیشدهویکمقداربرایتابعهدفآننسبتدادهمیشود. درروش IBL یکفرضیهعمومیمشخصبرایدادههابدستنخواهدآمدبلکهدستهبندیهرنمونهجدیدهنگاممشاهدهآنوبراساسنزدیکترینمثالهایذخیرهشده،انجامخواهدشد.

3. Instance-based Learning Its very similar to a Desktop!!

4. یکتفاوتاساسی • روش IBL برایهرنمونهجدید،تقریبجداگانهایازتابعهدفراایجادمیکند. اینتقریبفقطبههمسایگینمونهجدیدقابلاعمالبودهوهرگزنمیتواندبررویفضایتمامنمونههاعملکند. • کاربرداینروشهنگامیموثراستکهتابعهدفخیلیپیچیدهبودهولیدرعینحالقابلنمایشتوسطتوابعسادهترمحلیباشد.

5. Instance-based Learning When To Consider IBL • Instances map to points • Less than 20 attributes per instance • Lots of training data Advantages: • Training is very fast • Learn complex target functions • Don't lose information Disadvantages: • Slow at query time • Easily fooled by irrelevant attributes

6. مشخصهها اینروشدارای 3 مشخصهاصلیاست: • تابعشباهت: مشخصمیکندکهدونمونهچقدرنزدیکبههمهستند.انتخاباینتابعمیتواندبسیارمشکلباشد. مثلاچگونهمیتوانشباهترنگموی 2 نفررابیاننمود؟ • انتخابنمونههابرایذخیره: دراینالگوریتمسعیمیشودنمونههائیذخیرهشوندکهعمومیترباشند.تشخیصاینکهآیایکنمونهعمومیتداردیاخیر،میتواندکارمشکلیباشد. • تابعدستهبندیکننده: تابعیاستکهبامشاهدهیکمثالدستهبندیآنراتعیینمیکند.

7. مشکلات • دستهبندیدادهجدیدمیتواندبسیارپرهزینهباشد. زیرادرمرحلهآموزشعملیصورتنمی پذیردوتمامیمحاسباتدرهنگامدستهبندیانجاممیگردند. • ازاینروبرایکاهشزماندستهبندیازتکنیکهایایندکساستفادهمیشود. • مثل روش درخت باینری • دراغلبروشهای IBL برایبازخوانیمثالهایمشابهازحافظهازتمامیویژگیهایموجوداستفادهمیشود. بنابرایناگرتابعهدففقطبهبرخیازویژگیهابستگیداشتهباشد،مثالهائیکهواقعامشابههستندممکناستبسیارازیکدیگردورشوند.

8. مثالیازکاربردها Image Scene Classification برایهرتصویربااستفادهازمقادیرپیکسلهایآنیک signature محاسبهشدهوازآنبرایمقایسهتصویرورودیباتصاویرموجوددردیتابیساستفادهمیشود.

9. مثالیازکاربردها • image size: 82x100 pixels • 5NN is used for prediction • error rate is about 9.5% • 5NN performs best among LVQ, CART, NN, … .

10. روشهایمختلف • K-Nearest Neighbor (KNN) • Discrete Target Functions • Continuous Target Functions • Distance Weighted • Locally Weighted Regression • Radial Basis Function Networks • Case-Based Reasoning • General Regression Neural Networks

11. K-Nearest Neighbor Learning (k-NN) • k-NN سادهترینومتداولترینروشبرپایهیادگیرینمونهاست. • دراینروشفرضمیشودکهتمامنمونههانقاطیدرفضای n بعدیحقیقیهستندوهمسایههابرمبنایفواصلاقلیدسیاستانداردتعیینمیشوند. • مرادازkتعدادهمسایههایدرنظرگرفتهشدهاست.

12. فاصلهاقلیدسی • اگریکمثالدلخواهرابصورتیکبردارویژگینمایشدهیم: • فاصلهبیندومثال xiو xjبصورتزیرتعریفمیشود:

13. الگوریتمk-NN برایتابعهدفگسسته براییکتابعهدفگسستهبصورت الگوریتمk-NN بصورتزیراست: الگوریتمیادگیری • هرمثالآموزشی<x , f(x) >رابهلیستtraining_examplesاضافهکنید. الگوریتمدستهبندی: • براینمونهموردبررسی : xq • نزدیکتریننمونههائیاز training_examplesبهآنرابا x1 … xkنمایشدهید. • مقدارزیررامحاسبهنمودهوبرگردانید.

14. - - + - · + Xq - + + - مثال • اگر k=1 انتخابشودالگوریتم 1-NN مقدارنزدیکتریننمونهبه xqراانتخابخواهدنمود.برایمقادیربزرگتر k متداولترینمقداربین k همسایهنزدیکانتخابخواهدشد. دراینمثالxqدرحالت 1-NN مثبتوبرای 5-NN منفیخواهدبود.

15. فضایفرضیه ماهیتفضایفرضیهضمنیدرنظرگرفتهشدهتوسطالگوریتم k-NN چیست؟ • اگرچهاینالگوریتمهرگزفرضیهعمومیمشخصیایجادنمیکند،بااینوجودممکناستسطحتصمیمالقاشدهتوسطالگوریتمبراییکفضایدوبعدیرابصورتترکیبیازچندوجهیهانشاندادکههرچندوجهیمجموعهایازنقاطیرا کهتوسطآندستهبندیخواهندشدمشخصمینماید. • نقاطخارجچندوجهینقاطیخواهندبودکهتوسطسایرچندوجهیهادستهبندیخواهندشد. • ایننوعنمودار Voronoi diagramخواندهمیشوند.

16. Voronoi diagram query point qf nearest neighbor qi مثال 1 مثال 2

17. بایاساستقرا • بایاساستقراالگوریتم k-NN رامیتوانبصورتزیردرنظرگرفت: دستهبندییکنمونهمشابهدستهنمونههایدیگریخواهدبودکهدرنزدیکیآنقراردارند

18. الگوریتمk-NN برایتابعهدفپیوسته • الگوریتم k-NN رامیتواندبسادگیبرایتوابعهدفپیوستهنیزاستفادهنمود.دراینحالتبجایانتخابمتداولترینمقدارموجوددرهمسایگیمقدارمیانگین k مثالهمسایهمحاسبهمیشود. • درنتیجهدرخطآخرالگوریتمازرابطهزیراستفادهمیشود:

19. k-NN برایتابعهدفپیوسته 1-nearest neighbor 3-nearest neighbor

20. one two three six five four Eight ? seven مثال برخی از این نقاشی ها طبق جدول بعد متعلق به نقاشی به نام Mondrian هستند. مشخص کنید که آیا نقاشی هشتم نیز به وی تعلق دارد؟

21. Training data Test instance

22. نرمالیزهکردندادههایآموزشی یکراهنرمالیزهکردندادهآموزشیar(x)بهa´r(x)عبارتاستاز

23. Normalised training data Test instance

24. Distances of test instance from training data Classification 1-NN Yes 3-NN Yes 5-NN No 7-NN No

25. Distance-weighted k-NN میتوانعملکرداینالگوریتمرابادرنظرگرفتنوزنیبرایهریکاز k مثالهمسایگیبهترنمود.اینوزنبراساسفاصلهنمونههاتانمونهموردبررسیاعمالمیشودومعمولابافاصلهنمونههارابطهمعکوسدارد. • درحالتگسسته: • درحالتپیوسته درصورتاعمالوزناینامکانوجودخواهدداشتکهبهجای k نمونههمسایهازتمامینمونههابرایدستهبندیاستفادهکنیم.امااینانتخابباعثکندشدنعملدستهبندیخواهدشد.

26. نکاتیدرموردالگوریتم k-NN • الگوریتم Distance-weighted k-NN بطورموثریدرمسائلعملیمختلفیبرایاستنتاجاستقرائیبکاررفتهاست. • اینروشنسبتبهنویزمقاومبودهودرمواردیکهدادهآموزشیزیادیموجودباشدبسیارکاراست.

27. The curse of dimensionality • ازانجائیکهبرایمحاسبهفاصلهازتمامیویژگیهااستفادهمیشوداینامکانوجودداردکهحتیویژگیهاینامرتبطدرامردستهبندیمورداستفادهقرارگیرند. اینامربرخلافروشهائیمثلدرختتصمیماستکهدرآنسعیمیشدتافقطازویژگیهایمرتبطاستفادهشود. • برایمثالفرضکنیدکههرنمونهبا 20 ویژگیمشخصشوندکهازمیانآنانفقط 2 ویژگیبرایدستهبندیکافیباشنددراینصورتممکناستنمونههایذخیرهشدهایکهدرایندوویژگیمشابههستندبسیارازهمفاصلهداشتهباشند. دراینصورتمعیارفاصلهمورداستفادهدر k-NN میتواندبسیارگمراهکنندهباشد. • اینمسئله curse of dimensionality نامیدهمیشود.

28. Cross-validation • یکراهحلاینمشکلاستفادهازوزنبیشتربرایویژگیهایمرتبطاست.اینامرمشابهتغییرمقیاسمحورهاست:محورویژگیهایمرتبطکوتاهترومحورویژگیهاینامرتبططولانیترمیشوند. • برایتعیینوزنویژگیهامیتوانازروشcross-validationاستفادهنمود: • مجموعهایازدادههابهعنواندادههایآموزشیانتخابمیشوند. • مقادیرz1,…,znبعنوانضرایبیکهبایددرهرمحورضربشوندانتخابمیگردند.اینانتخاببنحویاستکهخطایدستهبندیدرباقیماندهمثالهاکاهشیابد. • میتوانباقراردادنzj=0 اثریکویژگیرابکلیحذفنمود.

29. Indexing ازآنجائیکهدرروشK-NN دستهبندیمثالهاتازمانبرخوردباآنمثالبهتعویقمیافتداستفادهاز Indexing برایمرتبکردنمثالهایآموزشیمیتواند بطورچشمگیریکارائیالگوریتم راافزایشدهد. روشkd-tree(k-dimensional tree) یکروشبرایایندکسکردناستکهدرآننمونههادرسطح یکدرختذخیرهشدهونمونههاینزدیکبههمدرهمانگرهویاگرههاینزدیکبههمذخیرهمیشوند.

30. ویژگیهای یادگیری نمونه • مزایا: • میتواندتوابعپیچیدهرامدلکند • اطلاعاتموجوددرمثالهایآموزشیازبیننمیرود • میتواندازنمایشسمبلیکنمونههااستفادهکند (در روش case-based reasoning) • معایب: • بازدهالگوریتمهنگامانجامدستهبندیکماست • تعیینیکتابعفاصلهمناسبمشکلاست • ویژگیهاینامرتبطتاثیرمنفیدرمعیارفاصلهدارند • ممکناستبهحافظهبسیارزیادینیازداشتهباشد

31. لغت نامه استفاده شده در منابع دیگر • : regressionعبارتاستازتقریبیکتابعبامقدارحقیقی • : Residual عبارتاستازمقدارخطایحاصلازتقریبتابع • :Kernel Function عبارتاستازتابعیکهبااستفادهازفاصلهمقداروزنهایمثالهایآموزشیرامعینمیکند.

32. توابع Kernel • معمولابافاصلهرابطهمعکوسدارندتانقاطنزدیکتروزنبیشتریبگیرند. • K(d(xi,xq)) • 1/d2 • e-d • 1/(1+d)

33. توابع Kernel K(d(xq,xi)) = exp(-(d(xq,xi)/0)2) K(d(xq,xi)) = 1/ d(xq,xi)2 K(d(xq,xi)) = 1/(d0+d(xq,xi))2

34. Locally Weighted Regression • الگوریتم LWR تعمیمیبرالگوریتم K-NN استکهتقریبصریحیازتابع f حولناحیهمحلیدربرگیرندهنمونهموردبررسی xq بدستمیدهد. • اینتقریبمحلیبااستفادهازمثالهاینزدیکهمویامثالهای distance-weightedانجاممیشود. • اینتابعممکناستیکتابعخطی،درجهدوویایکشبکهعصبیباشد. دلیلنامگذاری: • :local ازمثالهاینزدیکنمونهموردبررسیاستفادهمیکند • :Weighted اثرهرمثالآموزشیبادرنظرگرفتنفاصلهآنمنظورمیشود • :Regressionبرایتقریبیکتابعبامقدارحقیقیبکارمیرود

35. f1 (simple regression) Locally-weighted regression f2 Locally-weighted regression f3 Locally-weighted regression f4 Training data Predicted value using simple regression Predicted value using locally weighted (piece-wise) regression

36. Locally Weighted Linear Regression • اینروشازیکتابعخطیبرایتقریبتابعهدفدرنزدیکیمثالموردبررسیاستفادهمیکند: • اینتابعمشابهتابعمورداستفادهدرفصل 4 برایمحاسبهوزنهاییکشبکهعصبیاستکهدرآنوزنهاطوریانتخابمیشدندکهمقدارخطایزیرحداقلگردد: • کهبرایاینکارازقانونآموزش gradient descent استفادهمیشد.

37. رابطهمحلی؟ • قانوندلتایکپروسیجرتقریبکلیاستدرحالیکهدرروش nearest neighbor بهدنبالیکرابطهبرایتقریبمحلیهستیم. • سوال: چگونهمیتوانبااستفادهازرابطهکلیقانوندلتارابطهمحلیموردنظررابدستآوریم؟

38. استفادهازخطایمحلی • بهنظرمیرسدکهسادهترینراه، تعریفمجددرابطهخطاستبنحویکهبامثالهایمحلیآموزشیتطبیقنماید. • اینکاررابهسهروشمیتوانانجامداد: -1 استفادهاز k مثالهمسایگی -2 استفادهازتمامیمثالهاباتخصیصیکمقداروزنیبهآنها -3 ترکیبیازروشهای 1 و2

39. قانونتغییروزنها • درانتخابهایفوق • E1فاصلهرادرنظرنمیگیرد • E2 جالبترازهمهبودهامامحاسبهآنپرهزینهاست • E3 یکانتخاببینابیناست • باانتخاب E3 میتوان قانوندلتارابراییادگیریوزنهابصورتزیرنوشت:

40. انتخابمقدار k • اگر k خیلیکوچکباشد،نسبتبهنویزحساسخواهدبود • اگر K خیلیبزرگباشدممکناستیکهمسایگینقاطیازسایرکلاسهارانیزدربربگیرد. • Large k: • less sensitive to noise (particularly class noise) • better probability estimates for discrete classes • larger training sets allow larger values of k • Small k: • captures fine structure of space better • may be necessary with small training sets • Balance must be struck between large and small k

41. Radial Basis Functions • روشیبرایتقریبتوابعاست. • یادگیریبا RBF ارتباطنزدیکیباشبکههایعصبیمصنوعیو Distance-weighted regression دارد. • دراینروشفرضیهیادگرفتهشدهبصورتزیرمیباشد: • دراینروشازتعداد k تابعکرنلبرایتقریبتابعاستفادهمیشود .تابعکرنلمعمولابصورتیکتابعگاوسیانتخابمیشود:

42. Radial Basis Functions • نشاندادهشدهاستکهدرصورتیکهتعدادکافیتابعکرنلگاوسیانتخابشوند،بااستفادهاز RBF میتوانهرتابعیراباخطاینسبتاکمیتقریبزد. • رابطهفوقرامیتوانبهیکشبکهعصبیدولایهتشبیهنمودکه • لایهاولمقادیرکرنلهاو • لایهدوممجموعآنهارامحاسبهمینماید. f(x) W0 wk w1 w2 … 1 K1 K2 Kk … x1 x2 x3 xn

43. آموزش RBF درصورتداشتنمجموعهایازمثالهایآموزشی،آموزش RBF دردومرحلهصورتمیگیرد: • تعدادتوابعکرنلانتخابمیشود.بعبارتدیگرباانتخابمقداریبرای ,Kمقادیر xu , s2uبرایهرتابعکرنلتعیینمیگردد. • وزنهایشبکهطوریانتخابمیشوندکهشبکهبادادههایآموزشیمنطبقگردد.اینکاربااستفادهازرابطهخطایکلیزیرانجاممیشود

44. نحوهانتخابتعدادواحدهایمخفی • بازاهرمثالآموزشی<xi,f(xi)> یککرنلگاوسیتخصیصدادهمیشود. • اینتابعبهمرکزیت xi بودهوبرایتمامیآنهامقداریکسانs2درنظرگرفتهمیشود. • شبکه RBF طوریآموزشدادهمیشودکهبتواندتقریبیکلیبرایتابعهدفپیداکند.توجهشودکههرمثالآموزشیفقطمیتوانددرهمسایگی xi تابعتقریبزدهشدهراتحتتاثیرقراردهد. • وزنهاطوریمحاسبهمیشوندکهبازاهرمثالآموزشی<xi,f(xi)> درخروجیشبکه رابطه f’(x)=f(x) برقرارباشد.بدینترتیبشبکه RBF بطورکاملبامثالهایآموزشیانطباقخواهدداشت.

45. K2 K1 نحوهانتخابتعدادواحدهایمخفی • دراینروشتعدادتابعکرنلانتخابشدهکمترازتعدادمثالهاست. • اینروشبازدهیبیشتریازروشقبلیدارد. • مرکزکرنلهارامیتوانبصورتیکنواختانتخابنمود. • درحالتیکهتوزیعنمونههاغیریکنواختباشندمیتوانتوزیعکرنلهاراهمبصورتمشابهیانتخابنمود. • یکراهدیگرکلاسترینگنمونههاوتخصیصیککرنلبههرکلاستراست.

46. ویژگیهایشبکه RBF • آموزشاینشبکههاآسانترازشبکههایعصبیمعمولیاستکهازروش Back Propagation استفادهمیکنند. • اینشبکهیکتقریبکلیازتابعرابااستفادهازمجموعتقریباتمحلیمحاسبهمیکند.

47. Case Based Reasoning

48. Case Based Reasoning سهخاصیتاصلیسیستمهاییادگیریبرپایهنمونه: • روشهاییادگیریتنبلیهستندکهعملتعمیمتامشاهدهنمونهجدیدبهتعویقمیافتد • برایدستهبندینمونهجدیدازمثالهایمشابهاستفادهمیشود • نمونههاتوسطنقاطیبامقادیرحقیقیدرفضای n بعدینشاندادهمیشوند روشیادگیریCBR ازدوویژگیاولتبعیتمیکنددرحالیکهبراینمایشنمونههاازروشسمبلیکاستفادهمینماید. بههمیندلیلبدستآوردننمونههایمشابهمشکلتراست

49. مسائلیراکهبهشیوه CBR حلمیکنیم CBR مشابهروشیاستکهآدمیبرایحلبرخیازمسائلبکارمیبرد .نظیر: • پزشکی: اغلبپزشکاننمونههایقبلیبیمارانرابخاطرسپردهودرمواجههبابیمارانجدیدازتجربهگذشتهسودمیبرند. • حقوق: قضاوتدرکشورهائیمثلامریکاوانگلستانبراساساختلافاتگذشتهورایهائیکهبرایآنهاصادرشدهاستانجاممیشود. • بنگاهمسکن: معمولاقیمتخانههابراساسخانههایمشابهیکهاخیرافروشرفتهاندتعیینمیگردند.

50. اجزاسیستم CBR • Case-base • یکدیتابیسازمثالهایقبلی • Retrieval of relevant cases • استفادهازایندکسبرایمثالهایموجوددردیتابیس • قابلیتتطبیقباشبیهترینمثالها • بدستآوردنراهحلبااستفادهازمثالهایمشابه • Adaptation of solution • تغییردادنراهحلبنحویکهاختلافبینمثالموردبررسیونمونههایپیداشدهدردیتابیسرادرنظربگیرد.