بینایی ماشین

1. بینایی ماشین

2. تعریف بینایی ماشین • بینایی ماشین، تبدیل داده یک دوربین به یک نمایش جدید یا یک تصمیم است. همه این تبدیلات براي رسیدن به هدف مشخصی انجام می‏شود. • داده‏ي ورودي می تواند شامل اطلاعات متنی مانند اینکه ”دوربین در یک ماشین قرار داده شده ”یا این که” تشخیص دهنده‏ي فاصله لیزري یک شیءرا در فاصله یک متري نشان می دهد“، باشد. • تصمیم نیز می تواند به طور مثال این باشد که ”شخصی در صحنه حضور دارد ” یا این که ” 14 سلول تومور در این اسلاید وجود دارد”. یک نمایش جدید نیز می تواند به معنی تبدیل یک تصویر رنگی به سیاه و سفید و یا حذف حر کت دوربین از یک مجموعه تصاویر باشد.

4. طبیعت معیوب بینایی ظاهر دوبعدي اشیاء می تواند شدیداً با نقطه دید تغییر کند. داده ها همراه با نویز و اعوجاج می‏باشد.

5. چشم انسان • چشم انسان تقریباً یک عدسی کروي با قطر 2.5 سانتی متر می‏باشدکه از چندین لایه مختلف که درونیترین آن‏ها شبکیه نام دارد تشکیل شده است. ماهیچه‏هاي اطراف چشم اندازه لنز را تنظیم می‏کنند که این کارچشم را قادر به زوم کردن روي اشیاء می‏کند.

6. دوربین(Charge Coupled Device) CCD • CCD از جهت عملکرد تقریباً مانند چشم انسان کار می‏کند .نور از طریق یک عدسی وارد دوربین و برروي یک پردهمخصوص تصویر می‏شود که تحت عنوان تراشهCCDشناخته می‏شود. • تعریف پیکسل: تراشهCCDکه تصاویر با استفاده از آن گرفته می‏شوند از تعداد زیادي سلول تشکیل شده که همگی در یک تراشه با الگوي خاصی مرتب شده‏اند و تحت عنوان پیکسل (pixels) شناخته می‏شوند.

7. گرافیک خطاي ديد • خطاي چشم انسان و عادت كردن آن به كلمات باعث ميشود تا شما، به راحتي متن صفحه قبل را نيز بخوانيد!! با وجود اينكه پر از غلط املائي است!

8. گرافیکخطاي ديد • در طراحي اين تصوير تماما از خطوط صاف و مستقيم استفاده شده است.

9. گرافیکخطاي ديد

10. گرافیکخطاي ديد

11. گرافیکخطاي ديد

12. گرافیکخطاي ديد

13. گرافیکخطاي ديد

14. گرافیکخطاي ديد • چشم انسان قادر است كمتر از يك تريلينيوم درصد از امواج الكترومغناطيسي كه در اصطلاح نور مرئي مي‏ناميم را ببيند. افزایش فرکانس کاهش طول موج

15. گرافیک: طیف الکترمغناطیس

16. گرافیک: دروبینهای دید در شب • دوربينهاي ديد در شب قادرند از انسانها و اشياء در شب فيلم برداري كرده و به ما نشان دهند.

17. گرافیک: نكاتي در خصوص فيزيولوژي چشم • اندازه و ضخامت شبكيه به معادل يك تمبر پستي است. • چشم هشت پا بزرگترين چشم نسبت به جثه است. • پرندگان هشت برابر بهتر از انسان مي بينند. • چشم سنجاقك ده برابر بدتر از چشم انسان مي بيند. • چشم حشرات ده برابر بهتر از چشم انسان حركات را مي‏بيند. يك دويستم ثانيه براي ديدن يك حركت براي آن كافي است. • همه چيز در زير آب به رنگ آبي مايل به سبز است زيرا آب طيف قرمز نور را جذب مي‏كند. • احتمالا“ سگ‏ها هيچ رنگي را نمي بينند البته اين موضوع هنوز ثابت نشده است. • يك چشم سالم به طورمعمول می‏تواند ده ميليون رنگ را تشخيص دهد. • گاوها رنگ ها را نمي بينند پس پارچه‏ي قرمز در عصباني كردن گاو وحشي تاثيري ندارد.

18. گرافیک: نكاتي در خصوص فيزيولوژي چشم • يك نمونه از خطاي ديد : اگر يك عينك وارونه كن بر چشم بگذاريم بعد از يك هفته همه چيز درست ديده مي‏شود ولي اگر عينك را برداريم دوباره همه چيز به صورت وارونه در مي‏آيد. • نور مهتاب كامل يك صدوشصتم نور خورشيد است. • جغد مي‏تواند در زير نور يك شمع در فاصله چهارصد متري طعمه اش را شكار كند. • چشم گربه سانان مانند آينه عمل مي‏كند و كمترين نورها را نيز بازتاب مي‏کند. • مار زنگي اشعه مادون قرمز را مي‏بيند بنابراين، گرماي حاصل از بدن جانوران اين را به سوي خود جذب مي‏كند. • خلبانان انگليسي در جنگ جهاني دوم زياد هويج مي خوردند وقتي آلماني ها ديدند كه آن ها هدف را در شب مي‏بينند فكر كردند كه اين اثر زياد خوردن هويج است در حالي كه انگليسي ها رادار را اختراع كرده بودند. • تصاوير متحرك براي چشم ما حداقل پانزده كادر در ثانيه هستند ولي اين مگس اين تصاوير را به صورت صحنه آهسته مي بيند.

19. مفهوم گرافيك كامپيوتري • اولين كامپيوترها شامل سطرهاي بسياري از چراغها و كليدها بودند. • سپس دستگاههاي قابل برنامه نويسي جديدي پديد آمد كه ميتوانستند بر روي لوله كاغذ با مكانيزمي شبيه ماشين هاي تحرير از راه دور چاپ كنند. • مانيتورهاي CRT اوليه در آغاز تنها خروجي هايي براي تصاويري بودند كه تنها حروف اسكي را نمايشمی‏داد. • اولين گرافيك هاي كامپيوتري كه بر روي اين خروجي ها نمايش داده ميشد دو بعدی بودند. • اصطلاح Real-time اولين بار به تصاويري كه متحرك بودند اطلاق شد. • بكارگيري اصطلاح Real-time براي گرافيك كامپيوتري بدين معناست كه كامپيوتر در حال ارائه كردن يك انيميشن يا رشته‏اي از تصاوير است كه بی‏درنگ به بعضي از ورودي ها واكنش نشان مي‏دهد.

20. مفهوم گرافيك كامپيوتري • اصطلاح سه بعدي (3D): به اين معناست كه يك شئ در حال نمايش، سه بعد قابل اندازه‏گيري دارد طول و عرض و عمق • گرافيك سه بعدي كامپيوتري در حقيقت تصاويري دو بعدي هستند روي يك صفحه تخت كه بعد سوم و يا خطاي ديد در عمق را مهيا ميسازند. • 2D + Perspective = 3D • پرسپكتيو تنها براي خلق سيماي سه بعدي كافي است. • مصنوعات سه بعدي: دليل اينكه وقتي شما جلوي يكي از چشمانتان را مي‏پوشانيد دنيا به يكباره تخت نمی‏شود اين است كه هنوز افكت‏هاي سه بعدي زيادي حاظر هستند وقتي كه دو بعدي تماشا ميشوند. اين افكت‏ها (تاثيرات) به اندازه‏اي هستند كه باعث شوند مغز شما به راحتي مسافت و عمق را تشخيص دهد. مسلم ترين چيز اينست كه اشيا نزديك‏تر بزرگتر از اشيا دور نمايان مي‏شوند. • اين افكت پرسپكتيو Foreshortening ناميده ميشود . اين افكت و تغييرات رنگ و تكسچرها و نورها و اختلاف در شدت رنگ همه با هم به ادراك ما يك تصوير سه بعدي را اضافه ميكنند.

21. مفهوم گرافيك كامپيوتري • مهمترين ابزار خروجي كه مي تواند به مفهوم گرافيك كامپيوتري عينيت ببخشد، صفحه نمايش (Monitor) است كه امروزه با روشهاي متفاوت در اندازه‏ها و كيفيت‏هاي مختلفي توليد می‏شوند. • تعریف پیکسل (Pixel=Picture cell/Element): در معماري سخت‏افزار گرافيك كامپيوتري امروزي (و كارت هاي گرافيكي در راس آنها) تصاوير به صورت مجموعه اي از نقاط در نظر گرفته مي شوند. هر نقطه ، رنگ و مشخصات خاص خود را دارد و كوچكترين جز قابل رويت يك تصوير محسوب مي شود. به اين نقاط در اصطلاح پيكسل گفته می‏شود. • تعریف صفحه نمایش (Screen): به مجموعه پيكسل هايي كه در هر لحظه از طريق ابزارهايي مانند صفحه نمايش ترسيم مي شود صفحه تصوير گفته می‎‏شود. • صفحه نمايش دو بعدي در نظر گرفته مي شود و معمولاً پيكسل هايي كه در اين دو بعد وجود دارند از طريق مختصات آنها مانند يك ماتريس قابل دسترسي می‏باشند.

22. مفاهیم پایه • تفكيك پذيري (resolution): وضوح تصاوير يا تفكيك پذيري به مجموعه پيكسلهاي افقي و عمودي اطلاق مي‏شود كه صفحه نمايش قادر به نمايش آن است • پيكسل (pixel): پيكسل كوچكترين عنصر تصويري است كه به صورت نقطه كوچكي روي صفحه نمايش قابل رويت مي‏باشد وبا توجه به تعداد و ميزان تراكم اين نقاط در صفحه نمايش، كيفيت تصاوير به نمايش در آمده متفاوت خواهند بود. • ماتريس كاراكتر: ماتريس كاراكتر مجموعه اي از نقاط روشن و خاموش در صفحه نمايش مي باشد كه يك كاراكتر را نمايش مي دهند، هر چه تعداد پيكسلهاي موجود در ماتريس كاراكتر بيشتر باشد، وضوح تصاوير و كاراكترها نيز بيشتر خواهد بود. • مد متني (Text Mode): در اين مد كوچكترين جز تصوير كاراكتر است . صفحه نمايش به چند سطر و ستون تقسيم مي شود . ابعاد صفحه در اين مد مي تواند 40*25 یا 80*25 باشد.

23. انواع صفحه‏هاي نمايش • صفحه كريستال مايع (LCD): از اين نوع سابقاً در كامپيوترهاي كيفي و قابل حمل استفاده مي شده و اكنون به صورت رايج براي تمام كامپيوترها استفاده مي شود. اين صفحه نمايش حجم و وزن كمي دارد. عبور يكسري جريانات خاص باعث نوراني شدن پيكسل هاي آن مي شود. • لامپ اشعه كاتدي (CRT): اين نوع لامپ تصوير، كيفيت خوبي را ارائه مي‏دهد و حجم و توان مصرفي بالايي دارد. در گذشته از اين نوع مانيتور براي كامپيوترهاي شخصي استفاده مي‏شد. تفاوت عمده تلويزيون با مانيتور در اين است كه تلويزيون داراي تيونر بوده و قادر است كانالهاي مختلف تلويزيوني را از طريق آنتن دريافت كند.

24. مشخصات كارت‏هاي گرافيكي

25. مشخصات كارت‏هاي گرافيكي • MDA: متن را بدون لرزش و با دقت زياد به يكي از زبانهاي سبز، خاكستري و سفيد نمايش مي‏دهد. • HERCULES: اين كارت رنگي نيست ولي براي كارهاي گرافيكي مي‏توان از آن استفاده نمود. • CGA: متن و گرافيك را با 4 رنگ توليد مي‏كند. اين كارت مي تواند خروجي خود را علاوه بر مانيتور به تلويزيون هم بدهد. هر چند در اين تعويض 80 ستون در مانيتور به 40 ستون در تلويزيون تبديل مي‏شود . • EGA: گرافيك و متن را خيلي خوب توليد مي‏كند و چهار حالت گرافيكي قابل نمايش است. • VGA: اين كارت كليه چهار حالت گرافيكي EGA را توليد مي‏كند و دقت آن براي كارهاي اداري عالي و براي كارهاي چاپي و طراحي خوب است.

26. اصطلاحات علمی تفاوت بین پردازش تصویر با بینایی ماشین: • Image processing • Machine vision بهبود (Enhancement) کدگذاری (Coding) فشرده سازی (Compression) ترمیم (Restoration) بازسازی (Reconstruction) اندازه‏گیری ویژگی‏ها (Measurement of features) طبقه بندی الگو (Pattern classification) الگو شناسی (Pattern recognition)

27. اصطلاحات علمی • اصطلاحات بینایی کامپیوتر (computer vision)، درک تصویر (imageunderstanding) و آنالیز تصویر (image analysis) اغلب مورد استفاده قرار می‏گیرد که به معنای بینایی ماشین (machine vision) می‏باشد.

28. سازماندهی سیستم بینایی ماشین Feature vector Class identity Raw data Feature measurement Pattern classifier

29. نمونه‏ای از مرحله اندازه‏گیری ویژگی‏ها

30. اجزای یک سیستم ماشین بینایی • یک و یا چند دوربین دیجیتال یا آنالوگ (سیاه-سفید یا رنگی) با اپتیک مناسب برای گرفتن عکس. • واسطه ای که عکس‌ها را برای پردازش آماده می‏سازد. برای دوربین‌های آنالوگ این واسطه شامل یک دیجیتال کننده عکس است. هنگامی که این واسطه یک سخت‌افزار جدا باشد، به آن Frame grabber(کارتی که برای دریافت سیگنال تصویری و فرستادن آن به کامپیوتر استفاده می‏شود) می‏گویند. • یک پردازشگرگاهی یکPC یا پردازنده تعبیه شده (EmbeddedProcessor) مانند DSP • نرم‌افزار Machine visionاین نرم‌افزار امکاناتی برای توسعه یک برنامه نرم‌افزاری که برای کاربردی مشخص است را فراهم می‏کند.

31. اجزای یک سیستم ماشین بینایی • سخت‌افزار ورودی / خروجی (مثلاً I/O دیجیتال) یا حلقه‌های ارتباطیمثلا ارتباط شبکه ای یا (RS-232) برای گزارش نتایج. • یک دوربین هوشمند: یک وسیله ساده که همه موارد فوق را داراست. • لنزهایی که بتواند به مقدار مطلوبی روی سنسور تصویر زوم کند. • منابع نوری مناسب و گاهی خیلی مخصوص ( مثلا چراغهای LED، فلورسنت، لامپهای هالوژن و . . . ) • یک برنامه مشخص که بتواند تصاویر را پردازش کرده و مشخصه‌های مربوط و مناسب را شناسایی کند. • یک سنسور همزمان ساز برای شناسایی اجزا (گاهی یک سنسور نوری و یا یک سنسور مغناطیسی): این سنسور برای راه اندازی سیستم استخراج و پردازش تصویر می‏باشد.

32. حالت کلی عملکرد دستگاه • سنسور همزمان ساز تعیین می‌کند که چه زمانی یک بخش (که معمولاً روی یک حمل کننده حرکت می کند) در موقعیتی قرار گرفته است که باید مورد بررسی واقع شود. این سنسور هنگامیکه از زیر دوربین می‏گذرد و یک پالس نوری برای ثابت نگهداشتن تصویر ایجاد می‌کند، دوربین را برای گرفتن عکس فعال می‏کند. نوری که برای روشن کردن آن بخش به کار می رود در واقع برای آن است که مشخصه‌های مطلوب را برجسته و مشخصات نامطلوب (مثل سایه‌ها و یا انعکاس‏ها) را به حداقل برساند. معمولاً پنل‌های LED با اندازه و طراحی مناسب برای این هدف مورد استفاده قرار می گیرند. تصویر دوربین یا توسط یک frame grabber و یا توسط یک حافظه کامپیوتری (که در آن ازframe grabber استفاده نشده است) گرفته می‏شود.

33. حالت کلی عملکرد دستگاه frame grabberیک وسیله دیجیتال کننده است (یا در داخل دوربین هوشمند و یا بطور جداگانه) که خروجی دوربین را به فرمت دیجیتال تبدیل کرده (معمولاً این فرمت از یک آرایه دو بعدی از اعداد تشکیل شده که هر عدد متناظر شدت روشنایی نقطه متناظر در آن تصویر می‏باشد. به این نقاط پیکسل می گویند.) و سپس تصویر را به منظور پردازش توسط نرم‌افزارٍ Machine vision در حافظه کامپیوتر ذخیره می‏کند. به طور معمول نرم‌افزار، اقدامات متفاوتی را برای پردازش تصویر انجام می‏دهد. گاهی در ابتدا تصویر برای کاهش نویز و یا تبدیل سایه‌های خاکستری به ترکیب ساده ای از رنگهای سیاه و سفید دستکاری می‌شود (Binarization)در قدم بعدی نرم‌افزار عمل شمردن، اندازه گیری و شناسایی اجسام، ابعاد، کاستی‌ها و مشخصات دیگر تصویر را انجام می دهد.

34. حالت کلی عملکرد دستگاه در نهایت با توجه به ضوابط و معیارهای برنامه ریزی شده ممکن است بخشی را بپذیرد و یا رد کند. اگر یک بخش رد شد، نرم‌افزار به یک دستگاه مکانیکی فرمان می دهد تا آن بخش را خارج کند و همچنین سیستم خط تولید را قطع کرده و به کارگر هشدار می دهد تا مشکلی که باعث ایجاد خطا شده را رفع نماید. اگرچه اکثر Machine vision‌ها بر مبنای دوربین‌های سیاه–سفید بنا نهاده شده اند، استفاده از دوربین‌های رنگی در حال رایج شدن است. همچنین امروزه شاهد شیوع فراوان استفاده از تجهیزات دوربین‌های دیجیتال به جای یک دوربین و یک framegrabberجداگانه در Machine vision هستیم. استفاده از یک دوربین دیجیتال به منظور برقراری ارتباط مستقیم، باعث صرفه جویی در هزینه و نیز سادگی سیستم خواهد شد. دوربین‌های هوشمند که در داخل آنها embeddedprocessor‌ها تعبیه شده اند، در حال تسخیر سهم بالایی از بازار Machine vision‌ها هستند.

35. حالت کلی عملکرد دستگاه دوربین‌های هوشمند که در داخل آنها embedded processor‌ها تعبیه شده‏اند، در حال تسخیر سهم بالایی از بازار Machine vision‌ها هستند. استفاده از یک embedded processorو یا یک پردازنده بهینه نیاز ما به framegrabber و یک کامپیوتر خارجی را از بین می‏برد. به همین خاطر این پردازنده‌ها باعث کاهش هزینه، کاهش پیچیدگی سیستم و همچنین اختصاص توان پردازشی مشخص به هر دوربین می‏شود. دوربین‌های هوشمند معمولاً ارزان تر از سیستمهای شامل یک دوربین و یک برد و یک کامپیوتر خارجی هستند. همچنین توان بالای embeddedprocessor و DSP‌ها منجر به بالا رفتن عملکرد و توانایی آنها نسبت به سیستمهای مرسوم ( که بر مبنای PC هستند) شده است.

36. کاربردهای بینایی ماشین • تولید صنعتی در مقیاس بزرگ. • ساخت اجزایی که نیاز به زمان تولید مشخصی دارند. • سیستمهای ایمنی موجود در محیط‌های صنعتی. • بررسی مواد اولیه تولید (مثلا کنترل کیفیت و بررسی وقوع خطا) • کنترل موجودی انبار و سیستمهای مدیریتی ( شمارش، بارکد خواندن و ذخیره اطلاعات در سیستمهای دیجیتال) • کنترل رباتهای تعقیب خطی که برای حمل بار در کارخانه‌های صنعتی استفاده می شوند. • کنترل کیفیت و بهبود محصولات غذایی. • ماشینی کردن اجزای کوچک صنعتی.

37. روش‌های پردازش • شمارش پیکسل: شمردن تعداد پیکسل‏های روشن و تاریک. • تعیین آستانه: تبدیل یک عکس با قسمت‌های خاکستری به یک عکس سیاه و سفید به این طریق که با قرار دادن آستانه‏ای پیکسل‌های روشن تر از آن را سفید و پیکسل‌های تیره‏تر از آن را سیاه در نظر می گیریم. • بخش‏بندی کردن: (Segmentation) تبدیل تصویر ورودی به بخش‌های مختلف برای موقعیت یابی و شمارش پیکسل‏ها. • تشخیص و شناسایی لکه‌ها و دستکاری: بررسی یک عکس برای یافتن گسسته از بین تمامی پیکسل‏ها. (به عنوان مثال یک حفره سیاه رنگ در درون یک جسم خاکستری) این لکه‌ها به عنوان نشان اختصاصی عکس خواهند بود.

38. روش‌های پردازش • تشخیص و شناسایی توسط اجزاء موجود: استخراج اجزاءی خاص از یک تصویر ورودی مثلا عکس. • تشخیص وشناسایی الگو به طور مداوم در برابر تغییرات: به این معنا که موقعیت جسمی که ممکن است چرخانده شود یا اندازه اش تغییر کند یا قسمتی از این جسم توسط جسم دیگر پوشانده شود، را به طور دقیق شناسایی کند. • خواندن بارکد: شناسایی و تعیین کدهای یک بعدی و دو بعدی اسکن شده توسط ماشین‌ها طراحی شده است. • تشخیص و شناسایی کاراکتر نوری: خواندن خودکار یک متن (مثال: یک رشته اعداد پشت سرهم).

39. روش‏های پردازش • اندازه گیری: اندازه گیری ابعاد یک جسم (بر حسب میلی متر یا اینچ). • تشخیص و شناسایی لبه ها: پیدا کردن لبه‌های یک جسم در یک تصویر. • تشخیص و شناسایی از طریق تطبیق الگو: پیدا کردن، مطابقت دادن و شمارش اشکال خاص در یک تصویر. در اکثرموارد یک سیستمMachine vision به منظور بررسی کامل یک تصویر، از زنجیره مرکبی از این تکنیک‏های پردازش استفاده می‏کند. به عنوان مثال می‏توان به سیستمی اشاره کرد که بارکد را می‏خواند و هم سطح جسم را برای خراش احتمالی مورد بررسی قرار می‏دهد و هم ممکن است طول و عرض آن وسیله را اندازه گیری کند.

40. فرآیند یک سیستم بینایی ماشین

41. مثال: تشخیص ارقام دست نوشته

42. مثال: تعیین موقعیت سر

43. پردازش تصویر: تصویر دیجیتالی

44. پردازش تصویر: تشکیل تصویر دیجیتالی • نمودار تابع به ازای مقادیر پیوسته و گسسته

45. پردازش تصویر: تشکیل تصویر دیجیتالی • برای یک پیکسل دو نوع همسایگی می‏توان تعریف نمود: همسایگی چهارگانه همسایگی هشت‏گانه شدت روشنایی پیکسل در سطر چهارم و ستون چهاردهم

46. پردازش تصویر: تشکیل تصویر دیجیتالی • شدت روشنایی دریافت شده توسط حسگر در پیکسل (m,n) از تصویر باید کوانتیزه شود. • در بینایی ماشین با دو نوع تصویر سروکار داریم: تصویر باینری و تصویر خاکستری تصویر خاکستری تصویر سیاه و سفید

47. نمونه‏ای از کاربردهای بینایی ماشین بازی مشت زنی بازی تیس روی میز

48. video

49. تصویر رنگی و خاکستری • از دید بینایی ماشین هریک از رنگ‏های قرمز و سبز و آبی یک کانال رنگ نامیده می‏شود. یعنی برای ایجاد تصویر رنگی باید به ازای هر پیکسل مقادیر هریک از کانال‏های قرمز، سبز و آبی را به طور مجزا ذخیره نمود. • در بیشتر مسائل بینایی ماشین تصاویر رنگی را به خاکستری طبق فرمول زیر تبدیل می‏کنند.

50. عملیات نقطه‏ای • عملیات نقطه‏ای از عملیات پیش‏پردازش می‏باشد که تنها بر روی یک پیکسل از تصویر اعمال می‏گردد. با اعمال عملیات نقطه‏ای مقدار جدید یک پیکسل تنها تابعی از مقدار فعلی آن پیکسل خواهد بود. • اگر عملیات نقطه‏ای بر روی دو تصویر اعمال شوند، مقدار جدید پیکسل تابعی از مقادیر پیکسل‏های متناظر در دو تصویر ورودی خواهد بود.