手持裝置應用系統之設計 與未來發展

1. 手持裝置應用系統之設計與未來發展 黃有評 大同大學 資訊工程系

2. 內容 • 研發動機 • 理論技術與設計要點 • 導覽與學習系統建置（以李梅樹紀念館為例） • RFID技術及應用 • 鳥類檢索系統（e 機在手，鳥趣無窮、emome） • 結論與未來展望

3. 研發動機 • 因應無線網路與第三代行動通訊（3G）的發展，以手持裝置為基礎開發各種應用程式，讓使用者能夠充份的感受到無線環境和手持裝置所帶來的便利性。 • 如何提升新產品附加價值? • 主要開發平台：PDA、Tablet PC、WebPad、UMPC及手機平台。

4. Visual Memory

5. Visual Memory vs Moving Speed

6. Smart Phone vs PDA

7. Handheld Device +GPS

8. Portable Notebook (unit:10k) Source: IDC, Appledaily

9. 理論與技術背景 • Data mining （資料探勘） • Genetic algorithm （基因演算法） • BPN（類神經網路 – 倒傳遞網路） • Information retrieval （資訊檢索） models: QBIC, CBIR • RFID（無線射頻識別系統） • Location-awareness

10. 基本設計概念 • No keyword is needed. • Click and select input. • Simple, flexible, easy to use for indoor and outdoor activity. • Passive & active search. • Interactive learning.

11. 實例一 導覽與學習系統建置（以李梅樹紀念館與BioBlitz活動為例）

12. 李梅樹紀念館RFID導覽系統 系統目標： • 增加參觀者再來遊覽的興趣 • 幫助遊客對畫作背景有更深入的了解 • 具有教育性與娛樂性 • 操作簡單方便

13. 李梅樹紀念館RFID導覽系統 • 文字搜尋:　依照展品介紹內容搜尋 • 分類特徵搜尋:依照展品分類搜尋 搜尋展品 展品清單 • 作品名稱 • 圖片清單 導覽首頁 • 串流語音 • 文字介紹 展品背景介紹 推薦展品 • 作品名稱 • 圖片清單 • 語言選擇: • 中文 • 日文 • 英文 • 隨機顯示展品名稱與照片 • 可依照下列兩種方式進入展品背景: • A. 輸入展品編號 • B. 點選展示照片 展品幻燈片

14. 導覽首頁 • 以李梅樹教授照片為首頁，並提供三種語言的選擇。 • 可選擇語言：中文、英文、日文。

15. 展品幻燈片 • 會隨機輪流地播放系統內存之各展品名稱、照片。 • 簡單的展品說明則跑馬燈方式顯示在畫作下方。

16. 瀏覽記錄 • 會記錄下使用者瀏覽過的畫作，以便讓使用者回顧。 • 可結合資料探勘技術與推薦系統，引導使用者欣賞其他相關作品。

17. 展覽圖片 • 將畫作呈現在PDA上，讓使用者可以進一步觀察畫作的細節。 • 畫作年代與作品名稱會顯示在畫作底部。

18. 展品背景介紹 • 以文字或語音方式介紹展品背景。 • 例如：作品名稱、年代、類別。 • 文字部分可以選擇字型大小以方便觀看。 • 語音部份與後端串流伺服器連線播放語音介紹。

19. BioBlitz 生物多樣性調查活動 • 活動宗旨： • 帶領民眾與自家附近的生態環境拉近距離。 • 讓專家學者走出戶外與民眾交流。 • 由了解環境開始，逐漸培養環保概念。 • 帶領台灣開啟生物多樣性調查活動的風潮。

20. 華江公園生態 Bioblitz 資訊檢索系統架構 • 保留使用者瀏覽記錄。 • 記錄物種總量。 Level 1 查詢介面 物種記錄 系統首頁 Level 2 生物資料 幻燈片 生態筆記

21. 【華江雁鴨季】PDA物種調查操作手冊 首頁 請點選 【進入華江生物探索之旅】的按鈕 分頁一： 雁鴨檢索 分頁二： 植物檢索 分頁三： 生物統計 分頁四： 新增資料 ．以上各分頁後續將詳細說明之

22. 分頁一：雁鴨檢索 當欲描述的鳥類特徵都勾選完畢，請按下【特徵搜尋】按鈕 這裡是依使用者所勾選出的特徵所列出的可能鳥類 可以點選圖片或者文字，查看更詳細的資訊 以已勾選左側【嘴型】為例： 右側則會出現：鉤形嘴、彎錐形嘴、雞鴨形嘴、長形嘴，以供選擇 請先勾選基本特徵：體型、嘴型、飛行、行走、體色、足型(單選或複選均可) 分頁a： 點選【下一頁】，可查更多不同圖片； 點選【聽我唱歌】，可聆聽所選鳥類的鳥叫聲(部分有聲音、部分沒有) 分頁b： 鳥類相關資訊簡介 分頁c： 使用者可以將自己的心得做紀錄

23. 分頁二：植物檢索 這裡是依使用者所勾選出的特徵所列出的可能植物 可以點選圖片或者文字，查看更詳細的資訊 請先勾選基本特徵：葉形、葉脈、葉緣、葉序 以已勾選左側【葉緣】為例： 右側則會出現：全緣、波狀、鋸齒、裂開，以供選擇 分頁d： 點選【下一頁】， 可查看更多不同圖片 分頁e： 蓮霧的簡介 分頁f： 使用者可以將自己的心得做紀錄

24. 分頁三：生物檢索 以點選 彩鷸 為例 就可以看到所點選鳥類的圖案 以彩鷸為例： 看到五隻彩鷸就選5， 將欲增加的數目都選取妥當後；最後按下【新增數目】按鈕即可 【生物檢索】是讓使用者自行新增所看見的物種數目

25. 分頁四：新增資料 以鳥類為例 先選擇基本特徵 以【體型】為例 勾選比麻雀大或比麻雀小 使用者再輸入鳥類名稱，按下【新增】即可 先選擇【物種類別】 有鳥類、 植物兩種選擇

26. 實驗與評估 • 實際環境使用測試：2002 年於華江雁鴨公園雁鴨季活動，實際測試我們的系統，並搜集使用者操作記錄。

27. 實驗與評估 • 實際環境使用測試：2004 年我們在關渡自然公園國際賞鳥博覽會，針對不同年齡層使用者進行教學。

28. 本系統之優點 • 利用PDA手機即可隨時隨地進行鳥類檢索。 • 利用上下左右按鍵進行特徵點選，免除需以文字或語言輸入之困擾。 • 結合Tablet PC 實現導覽系統與互動式學習環境。 • 系統具備圖案淺顯易懂、輸入簡單、可依不同場合或環境迅速變更搜尋模型及容易學習使用等優點。 • 結合 RFID 提供互動式學習(例如：學習護照)，更可定位出使用者所在區域。

29. 實例二 RFID技術及應用

30. 什麼是RFID • RFID • Radio Frequency Identification • 無線射頻識別 • 起源： • 第二次世界大戰時，英、德兩軍在英倫三島的戰役中，為了辨別敵我兩方的戰機，發展一套利用無線電來做識別驗證的系統，而這套系統就是RFID。直到現在的飛航交通管制，仍舊在使用這個技術。

31. 唱片行-音樂試聽 • 消費者只要把想試聽的CD，靠近PDA的感應器，系統即會透過無線網路，從資料庫找出該音樂CD介紹資料，以及專輯曲目。 • 消費者只要在PDA上點選想聽的曲目，即可聆聽音樂 音樂庫 Server WLAN 音樂庫 Server WLAN

32. 博物館導覽 • 數位導覽不是要取代文物導覽，而是輔助參觀者的學習 • 透過RFID感應，取得介紹資訊 Server RFID DB WLAN Content DB Introduce / Recommend e Visitor Log Visitors Web Browser Exhibition with RFID tag

33. 導覽硬體需求 ‧手機 ‧QR Code辨識 ‧3G 上網功能 提供鳥類資訊 ‧文字介紹 ‧圖片瀏覽 ‧聆聽鳥叫聲 ‧影片觀賞 ‧鳥類檢索系統 　（手機版） 以鳥類照片為例：透過手機使用相機拍攝 QR Code ， 取得鳥類相關資訊。 此系統可應用至博物館展覽品導覽、購物、訂票、醫療門診時段，任何資訊之查詢。

34. 導覽硬體需求 ‧PDA ‧RFID Reader ‧無線網路 提供鳥類資訊 ‧文字介紹 ‧圖片瀏覽 ‧聆聽鳥叫聲 ‧影片觀賞 以鳥類照片為例：PDA 結合 RFID Reader 取得 Tag 資訊，再透過無線網路連至遠端伺服器取得鳥類相關資訊，包括文字文字介紹、圖片瀏覽、聆聽鳥叫聲、影片觀賞。 此系統可應用至博物館展覽品導覽、設備盤點、購物、門控、醫療等領域，用途廣泛。

35. 實例三 鳥類檢索系統（e 機在手，鳥趣無窮）

36. 動機 • 希望以Java手機結合Server建構一個行動式的學習環境，利用手持裝置之便利性，提供無所不在的學習之旅。 • 透過簡單明瞭的圖形與按鍵設計，建立使用者易於操作的介面，方便使用者做搜尋的動作。 • 提出一個搜尋系統的模型，可迅速套用至其他應用上，不侷限於鳥類搜尋的範圍。 • Example: 植物、商品、藥物、導覽等。

37. 系統架構 Record Management System AssociationRule BPNetwork GPRS Database 鳥類生態自然公園 Java Cellular Phone Server

38. 系統功能 • 我們的系統對「鳥類搜尋」提出一個完整的架構。本系統包括下列幾項主要的功能： • 以輸入鳥類名稱的方式做關鍵字檢索 • 利用圖片特徵勾選的方式做特徵檢索 • 行動式教學環境 • 生態筆記 • 系統推薦機制 • 記錄使用者資料與搜尋記錄探勘

39. 系統功能-文字搜尋與特徵搜尋 • 文字搜尋：輸入鳥名，做關鍵字搜尋。 • 特徵搜尋：六個圖片特徵中至少選擇一項。 • 體型： (體型大、體型小) • 嘴形： (鉤形、彎錐形、雞鴨形、長形) • 飛行： (盤旋式、直線式、波滾式) • 行走： (步行、跳躍) • 顏色： (深色、淺色、紅褐色、綠色) • 足型： (長腳、短腳)

40. 系統功能-行動式教學環境 • 適合室內(ex. 博物館)與戶外(ex. 動物園)使用。 • 注入行動教室的概念，可使用手機欣賞影像、聲音、文字、圖片等資源，兼具在室內講授的教學品質與戶外學習的樂趣。

41. 系統功能-生態筆記 • 格式 • 主題 • 地點 • 時間格式(Thu, 13 Oct 2005 17:04:02 GMT+8) • 心得內容 • 使用者查詢生態筆記記錄時，系統會依主題排序供使用者選擇。

42. 系統功能-系統推薦機制 • 透過Data mining中Apriori-like演算法進行探勘，找出鳥類與區域之間的關聯。 • 建立推薦模型，主動推薦使用者搜尋之鳥類所在區域的其他鳥類。 • 九大區域： • 水域、中低海拔空曠林區、平地、平地樹林底處、田地、沿海、低山區草叢、河川或溪流、中低海拔樹叢

43. 系統功能-系統推薦機制 Database Server User query 特徵： 嘴形→雞鴨形嘴 將搜尋條件丟給資料庫做搜尋 將搜尋結果回傳給Server Server回傳結果至手機上顯示，使用者點選「綠頭鴨」查詢詳細資料

44. 系統功能-系統推薦機制 Database S={資料庫所有鳥類之集合} 首先，利用Minimum spanning tree演算法將S分成幾個群組。 再使用Apriori-like演算法從每一 群組中找出Large item set與有 效的關聯法則。 Large item set即表示同一區域 中較容易聚在一起的鳥類。 Example: 找到規則 R1={綠頭鴨, 花嘴鴨, 小水鴨}皆是 位於水域。 交易記錄為 T1={綠頭鴨}向資料庫做搜尋 Server User query 點選： 綠頭鴨 將搜尋結果回傳給Server Server推薦花嘴鴨與小水鴨給使用者

45. 系統功能-記錄使用者資料與搜尋記錄探勘 • 使用者帳號、密碼寫入資料庫。 • 將搜尋記錄寫入資料庫，每一位使用者最多可記錄最近30筆鳥類搜尋記錄。 • 使用者透過輸入之帳號與密碼之比對，可從資料庫取得過去30筆搜尋記錄。 • 回傳搜尋記錄至用戶端。

46. 系統架構(用戶端) 文字搜尋 主畫面 搜尋結果 鳥類圖片 特徵搜尋 鳥類介紹 鳥類聲音 鳥類影片 搜尋記錄 生態筆記 系統推薦

47. 系統架構(用戶端) 文字搜尋 主畫面 搜尋結果 鳥類圖片 特徵搜尋 鳥類介紹 鳥類聲音 鳥類影片 搜尋記錄 生態筆記 系統推薦

48. 系統架構(用戶端) 文字搜尋 主畫面 搜尋結果 鳥類圖片 特徵搜尋 鳥類介紹 鳥類聲音 鳥類影片 搜尋記錄 生態筆記 系統推薦

49. 系統架構(用戶端) 文字搜尋 主畫面 搜尋結果 鳥類圖片 特徵搜尋 鳥類介紹 鳥類聲音 鳥類影片 搜尋記錄 生態筆記 系統推薦

50. 系統架構(用戶端) 文字搜尋 主畫面 搜尋結果 鳥類圖片 特徵搜尋 鳥類介紹 鳥類聲音 鳥類影片 搜尋記錄 生態筆記 系統推薦