واقعیت مجازی و کاربرد آن در پزشکی

1. واقعیت مجازی و کاربرد آن در پزشکی تنظیم کننده: آزاده صادقی کاربرد فناوری اطلاعات در پزشکی E_mail:sadeghiazadeh@gmail.com

2. خلاصه فهرست مطالب • واقعیت مجازی چیست ؟ • تاریخچه • تکنیک های virtual reality • سخت افزار و معماری یک سیستم VR • کاربردهای مختلف VR • کاربرد در پزشکی • دور نما • منابع و لینک های مفید جهت مطالعه بیشتر

3. تعریف مجازی-Virtual • مجازي  virtual: صفتي كه به فعاليت ها، اهداف، موجودات و مكان هايي اشاره دارد كه واقعيت فيزيكي ندارند. بلكه تنها در شكل رقومي ( سايبر- فضا ) موجوديت دارند مثل صندوق الكترونيكي

4. واقعيت مجازيvirtual reality محيط الكترونيكي كه با استفاده از جلوه هاي بصري سه بعدي واقعيت را مشابه سازي مي كند اما فاقد ماديت فيزيكي هستند. واقعيت مجازي با اختصارVRتوليد نرم افزاري – رايانه اي از يك پنداره يا محيط كه براي حواس( بيشتر بصري ) معادل واقعيت، وانمود گردد و به فضاي سه بعدي كه توسط كامپيوتر ايجاد مي شود، اطلاق مي گردد.در حقيقت واقعيت مجازي استفاده از فناوري پيشرفته از جمله كامپيوتر و لوازم جانبي آن و ابزارهاي چند رسانه اي مختلف براي ايجاد يك محيط مجازي شبيه سازي شدهاست. در اين محيط كاربر اشياء، حوادث و رخداد هاي مجازي قابل مقايسه با دنياي واقعي را با استفاده از مبدلهاي طراحي شده و حسگر هاي خاص به طور تعاملي در دست مي گيرد و تصاوير نمايشي و حركتي را مشاهده مي كند طوري كه فرد گمان كند در محيط واقعي قرار گرفته است.

5. تاریخچه VR • 1910- پنوماتيك و حركت هواپيما و آموزش خلبانان( شبیه سازهای مکانیکی • 1929- مفهوم شبیه سازهای الکترونیکی • 1955- سیستم های video based ، سینمای سه بعدی • اواخر دهه 60 – طرح دنیای مجازی تحت کنترل کامپیوتر • تولید دستگاه واقعیت مجازی توسط میرون کروگر • دهه 70 – تولید گرافیک های سه بعدی شبکه سیمی و استفاده از آن در اولین شبیه سازی های کامپیوتری – ایوان ساترلند • 1970 – اضافه کردن هوش مصنوعی به این سیستم - میرون کروگر • 1983- HMD (Head Mounted Display ) • 1989- اصطلاح واقعیت مجازی توسط یارون لانیر • 1989- ساخت HMD های تجاری – شرکت VPL

6. تکنیک های VR در پزشکی • Virtual Realisation Surface rendering of polygons - natural for graphics machines

7. تکنیک های VR در پزشکی • Hybrid models - with texture mapping

8. تکنیک های VR در پزشکی • Volume rendering - natural form for volumetric data • مورد استفاده در داده های حجمی • نیاز به سرعت و قدرت پردازش بالا

9. تکنیک های VR در پزشکی • Modelling objects - first stage of adding meaning

10. تکنیک های VR در پزشکی • e.g. registration of multiple sources When more than one image modality involved: Registration – Voxelman

11. تکنیک های VR در پزشکی • Modelling behaviours - autonomous, interactive and predictive

12. ابزار سیستمVR • داده ها : براي دنياي مجاز ي كليه اطلاعاتي كه آن جهان را تعريف مي كند. چيزهايي مثل شكل، رنگ اشيا و نحوه حركت ، صدا و ازاين قبيل • كامپيوتر گرافيكي پر قدرت و با سرعت بسيار بالا. • نرم افزار كاربردي نرم افزاري براي دنياي مجازي سه بعدي كه واقعيت محازي را به راه مي اندازد و تصاوير و صداهاو فضاها را توليد مي كند و آنها را نمايش مي دهد VRML زبان مدل سازي واقعيت مجازي VRML كه به صورت V-R-M-L يا Vermil تلفظ مي شود، كلمه اي اختصاري براي Virtual Reality Modeling Language  يا زبان مدل سازي واقعيت مجازي است. اين زبان كه توسعه واقعيت مجازي و فناوري هاي مدل سازي سه بعدي است در مي 1994 توسط مارك بسكي [9] تن پاريسي[10] و گاوين بل[11] نوشته شد. آنها در انجمن حرفه ايي گرافيك كامپيوتري نسبت به ايجاد يك برنامه جلوه خاص ويژه براي دنياي انيميشن سه بعدي تعاملي در روي وب اقدام نمودند كه موتور محرك اين كار زبان VRMLبود.

13. ابزارهاي ورودي و خروجي اين ابزارها واسط ميان كاربر و كامپيوترهستند از جمله : الف  –نمايش گر مخصوص سرHMDبا گوشي استريو جهان مجازي را مي بينيدو مي شنويد .متداولترين نمايشگرهاي تصويري براي نمايش تصاوير مجازي است كه از دو نمايشگر مجرا براي هر دو چشم تشكيل شده است كه بر سر كاربر نصب مي شود اين نمايشگرها داراي كيفيت زاويه ديد متفاوت هستند .

14. ب - دستكش اطلاعات (Data Glove): با گرفتن ان به دنياي مجازي مي رويد و در آنجا حركت مي كنيد . با وجوديكه صفحه كليد وسيله خوبي براي برقراري ارتباط با كامپيوتر است اما خيلي زود مشخص شد كه براي ارتباط با محيط مجازي نقش محدود كننده اي دارد .پس دستكش اطلاعات توسط توماس زيمرمان (فردي كه تلاش كرد گيتار مجازي را خلق كند)توليد شد كه بوسيله آن تماس با دنياي مجازي طبيعي تر مي شد.

15. انواع دیگر displays

16. Force Feedbackابزار • Rutgers University, Rutgers Master II • Reads hand gestures (hand-master) • Displays forces (haptic display) • Four fingers in real time

17. انواع دیگر ابزار ورودی joystick Probe

18. مبدل های حسی • Vibro- and Electro-tactile stimulation (simple surface texture) • Micro-pin stimulation (complex surface textures, and edges) • Pneumatic and force feedback (shape)

19. تقسیم بندی کاربردVR کلیه کاربرد های واقعیت مجازی را می توان در 3 مقوله زیر قرار داد : ●شبيه سازي شبيه سازي به معناي وانمودن، حل كردن، تقليد چيزي است. دنياهاي مجازي برگردان هاي دنياي واقعي اند، مانند شبيه سازي وشبيه سازي پرواز يا رانندگي در محيطهاي مختلف مثل محيط فيزيكي فضايي و…● تجسم تجسم به معناي مجسم كردن قابل مشاهده ساختن به خصوص در ذهن دنياهاي مجازي كه با نشان دادن اطلاعات به صورت تصاوير سه بعدي آسان تر فهميده شوند. مثل تجسم هاي مجازي از فعاليت هاي پزشكي،نظامي و آموزشي●واقع گريزيواقع گريزي به معناي تمايل به خلاصي از واقعيت دنياهاي مجازي كه با تخيل خلق ميشوند ، شبيه بازي هاي ماجرايي

20. کاربردهای رایجVR ●فروشگاه هاي مجازي براي استفاده بهتر از تجارت الكترونيكي ● دانشگاه هاي مجازي كه كلاسها و آزمايشگا ه هاي آن همه مجازي است و شاگردان آن درنقاط مختلف دنيا قراردارد. ● شبيه سازي حركت وسائل نقليه و آموزش رانندگي، خلباني شبيه سازي انواع ورزش و………… . ● جراحي از راه دور ، اموزش جراحی و آناتومی ، پزشکی ● كتابخانه و مراكز اطلاعاتي● بازيهاي واقعيت مجازي چند نفره و ابزار هاي سرگرمي مجازي

21. مزاياي استفاده از محيط مجازي • در اين محيط كاربر امنيت بيشتري احساس مي كند. • در اغلب موارد هزينه طراحي و پياده سازي كمتري دارد. • انعطاف پذير است - مي توان آن را به راحتي براساس شرايط واهداف تغيير داد. • كاربرهاي واقعي وتوان بالقوه فوق العاده اي دارد به طوري كه كاربران مي توانند مدل شبيه زندگي را تجربه كننديا درمحيطي امن قدم زنند و مي توانند در عين حال روي آن محيط كنترل داشته باشند در واقعيت ممكن است چنين چيزي محال باشد.

22. کاربرد های پزشکی VR • حوزه های کاربری VR در پزشکی • آموزش Training • برنامه ریزی Planning • درمان Treatment • کاربری های رایج : • جراحی عمومی • جراحی مغز و اعصاب • روانپزشکی

23. آموزش پزشکی • استفاده از سیستم های مولتی مدیا – VR جهت آموزش فعال آناتومی و فیزیولوژی

24. آموزش پزشکی- شبیه سازهای جراحی

25. برنامه ریزی جراحی

26. استفاده از واقعیت افزوده در جراحی • تلفیقی از محیط مجازی و محیط حقیقی

27. واقعیت افزوده درجراحی مغز و اعصاب Neurosurgery • Harvard Medical School • Combined neurosurgery planning and augmented reality

28. جنينVisualization • دانشگاه North Carolina • سيستم VR جهت تصويرگيري از جنين در رحم مادر • روش :روي هم قراردادن تصوير اولتراسوند جنين و تصوير ويدئويي رحم • قابل استفاده در check up هاي دوران بارداري

29. آندوسكوپي كلاسيك • ورود يك سيستم optical به داخل ارگان بيمار ( كولون ، معده ، روده ، سينوس و ... ) جهت معاينه • امتياز اين سيستم ، ايجاد تصوير واضح و روشن از سطح بافت جهت تشخيص است . • معايب : • امكان ايجاد جراحت سطح بافت ، semi invasive • عدم امكان عبور از ديواره هاي كولون

30. آندوسكوپي مجازي VE- • مراحل : تصويربرداري 3D از ارگان مورد نظر ( ‍CT, MRI و ... ) • پيش پردازش تصوير 3D ( registeration , interpolation ) • آناليز تصوير 3D جهت ايجاد مدل آناتوميكي (segmentation) • محاسبه مسير 3D camera- target جهت انتخاب اتوماتيك يا دستي مسير مشاهده • قراردادن نماهاي مكرر در مسير مشاهده به منظور توليد انيميشن (سطح و حجم )

31. مناسب جهت ارگان هاي بزرگ سايز : مانند سيستم قلبي عروقي ، مفاصل اصلي ، سيستم كليوي ، نخاع • اولين سيستم VE در مورد كولونو سكوپي و در سال 1995 استفاده شد.

32. مزايا و معايب VE مزايا: • عدم وجود محدوديت حركتي براي دستگاه endoscope • كاملا غير تهاجمي • بدون نياز به بستري بيماردر بيمارستان معايب : • تكنيك هاي آندوسكوپي مجازي كنوني امكان بازسازي تصوير ظاهر سطح بافت ارگان را ندارند . تاريخچه VE • Virtual colonoscopy (Vining, Kaufman) • Carotid arteries (Lorensen) • 3-D organ visualizations (Robb) • Visualizations for stereotactic neurosurgery (Jolesz and Kikinis)

33. تاریخچه VE • Virtual colonoscopy (Vining, Kaufman) • Carotid arteries (Lorensen) • 3-D organ visualizations (Robb) • Visualizations for stereotactic neurosurgery (Jolesz and Kikinis)

34. چند نمونه ... • شبیه ساز آموزش تکنیک جراحی آرتروسکوپی • شبیه ساز آندوسکوپی سینوس • امکان تمرین مجازی جراحی برای دانشجو قبل از انجام جراحی واقعی

35. چند نمونه .... • کمیته تحقیقاتی جراحی روباتیک – سوسیس • شبیه سازی اعضای داخلی شکم و خصوصیات بافت در pushing و pulling بافت • شبیه سازی force feadback

36. مدل سازی اعضا

37. برنامه ریزی پروسه جراحی • ایجاد مدل خاص برای هر بیمار در جراحی پروستات با استفاده از VR • انجام اندازه گیری های سه بعدی 3D measurments • استفاده از یک ابزار اندازه گیری متصل به میکروسکوپ جراحی • تصاویر stereo ناحیه جراحی با تصاویر کامپیوتری تلفیق یافته و Virtual measure tape را بوجود می آورند. • صفحه نمایش تقویت شده ، سیستم اندازه گیری بسیار دقیقی را بوجود می آورند. • میزان دقت تا 0.2 الی 0.7 mm نرم افزار VR کمک جراح • VR Assisted Surgery Program (VRASP)

38. برنامه ریزی جراحی

39. شبیه ساز جراحی فک و صورت • Erlangen Institute, Germany • در جراحی فک وصورت پیش بینی نتایج جراحی از اهمیت خاصی برخوردار است • در این سیستم امکان پیش نمایش نتیجه عمل جراحی به بیمار وجود دارد.

40. پیش نمایش جراحی فک و صورت

41. واقعیت افزوده در جراحی Augmented Reality • Julesz, Harward Medical School • مشاهده واقعیت افزوده Augmented Reality در 3 مرحله صورت می گیرد: 1- اسکن سه بعدی از سطح سر بیمار 2- ثبت سه بعدی تصاویر و اسکن های سطح سر 3- مشخص نمودن تومور یا ضایعه ( رنگ سبز در تصویر )

42. کاربرد روانپزشکی • ترس از ارتفاع ، پرواز ، جانوران و .... • روش درمان عبارت است از قراردادن بیمار در موقعیت استرس زا برای او در محیط مجازی و تحت کنترل قراردادن استرس ، شروع کار با موقعیت کم استرس زا و اضافه نمودن بتدریج موقعیت های بیشتر

43. کاربرد در Telesurgery • Telesurgery is a telepresence application in medicine where the surgeon and the patient are at different locations • The sketches below show the telesurgery concept currently under development at the Medical Robotics Lab at UC Berkeley

44. نتیجه گیریدور نما و • حقیقت مجازی یا virtual reality یکی از زمینه های تحقیق بسیار گسترده در حوزه مهندسی پزشکی می باشد . • واسطه های انسان – کامپیوتر مانند force –feedback یا واسطه های لمسی • تکنیک های مدل سازی بافت جهت شبیه سازی ارگان های بدن • تکنیک های نمایش تصویر • امکان ایجاد نسل جدیدی در تصویربرداری پزشکی با بکارگیری مفاهیم حقیقت مجازی و ایجاد مشاهدات موثرتر • استفاده از تکنولوژی virtual reality در کاربردهای پزشکی از راه دور

45. لینک های مفید جهت مطالعه بیشتر • http://www.irandoc.ac.ir/data/e_j/vol6/eini.htm • http://en.wikipedia.org/wiki/Virtual_reality • http://www.informatik.umu.se/~jwworth/medpage.html • http://www.vrlab.com/ • http://www.ahs.uic.edu/ahs/php/?sitename=vrml • http://www.uic.edu/ahs/sbhis/vrml/Publications/publicationsWebBasedSegment.htm