Programming in the world

1. Programming in the world 國立台北藝術大學 新媒體藝術學系碩士班 王新仁、江偉男

2. 作者：Rodney Berry 1963生於澳洲塔斯馬尼亞，畢業於雪梨科技大學。 在加入日本國際電器通信基礎技術研究所 其已經以藝術家和作曲家的身分活躍。 他專長於音樂創作，並且對人工生命，生物科技，虛擬實境以及擴增實境感到興趣。 在日本的工作重點是擴增實境應用的組成和學習音樂，並建立互動藝術作品。 目前正在開發擴增實境工具。

3. Summary 當現有的工具的成長沒辦法跟的上藝術家的點子怎麼辦？ What to do when existing tools fail to grow along with artistic ideas？

4. 1.Introduction 當科技藝術創作者在軟體上進行創作到了一個極限，想要超越突破的時候。所面對的是程式編撰的問題。解決問題的方式有兩種。 ‧第一是藝術家自己自己學習程式。 ‧第二是找有程式背景的工程師來幫忙。 ‧第三是第一種的變化尋找另外一個新的工具，一個能夠完整表現藝術家作品的軟體。

5. 2.To code or not to code… 很多藝術家感受到程式的創意的吸引力，但他們得被迫去努力學習駕馭它。 （many artists feel this attraction to the idea of programming, but are intimidated by the effort required to master it.） 程式工程師和藝術家兩者之間益師益友，兩者共同創造學習經驗。 （Both can alternate roles of mentor and student, resulting in a learning experience for both the artist and the programmer.）

6. 3.Feeping Creatures and collaboration Feeping Creatures(Berry 1998)為一個1998年結合音樂跟圖像的擴增實境作品。 Feeping Creatures影片（youtube 2009） 雖然後來的合作合作是成功的，但是作者從來沒有和整個團隊達成默契。 主要原因來自不良的溝通(poor communication )(不只是語言上的差異)，不但是程式人員，美術人員也一樣缺乏相關知識(domain knowledge )的一部分(像是美術和音樂－以及程式)，以及破壞流程(breaks in continuity )（改變程式中的項目）。

7. 4.Pure Data and the Music Table 音樂桌(Berry, Makino, Hikawa and Suzuki 2003) Music Table為音樂互動的擴增實境專案。 Music Table影片(youtube 2009) 一樣是跨領域，而且還有母語問題，卻因為Pure Data而成功了。

8. 團隊使用Pure Data的變化： ‧可以同時將專案分開成數個部分發展，可以隨時測試想到的新想法。(we were able to develop our respective parts of the project in parallel and to test new ideas as we went)。 ‧原本使用midi訊息溝通後來使用網路通訊（network socket）。這樣就可以直接和自己點腦其他程式和網路上的其他電腦(allows a direct connection from one program to another, either on the same computer or another one on the network)。 團隊的兩個美術人員（Mao Makino和Naoto Hikawa）在Maya和3D Studio MAX的部份透過擴增實境建模語言（Virtual Reality Modelling Language）匯入。 每個成員可以輕鬆使用自己的工具，作者自由改變音樂也不會影響到其他成員。

9. 5.Interpreted and visual 直譯式語言（interpreted languages），此語言在此篇paper撰寫期間發展快速的原因。 ‧現代電腦已經夠快，編譯高階語言的速度已經縮短許多。 ‧低階的c++語言處理關鍵程序，而高階解釋型語言則提供了 簡單易讀的”緊連語言”（glue language）連結去告訴運轉的程式們要做些什麼。 (It is also due to the widespread practice of using low-level C++ code to handle time-critical operations while a high-level interpreted language provides an easy-to-read 'glue' to tell the fast-running routines what to do.) ‧已經有現成的c語言資料庫(existing C program or a library)，使用者入手門檻低，以前只有專業程式人員才能辦到的事現在初學者也能達到。

10. 可視化編程語言（Visual programming languages） 如圖，可視化編成語言幾乎以流程圖的方式去編撰，就算專案正在製作中也很容易改變創作。 作者認為這種模式修改減少視覺混亂(the ensuing visual clutter)後可以讓其他方面的用戶更受歡迎，像音樂以及3d圖像。 PD的可視化介面。

11. 本章節軟體簡介： Max/MSP(1988~) 現為電腦音樂/數位藝術最重要的軟體之一，它包含三大部分：Max是這套軟體的核心，處理數值運算/資料記載/MIDI訊號等。 MSP專門處理聲音訊號的物件組。Jitter以處理影像資料為主。換句話說，如果把整套軟體看做是一個人的話，Max就可說是大腦與神經，負責邏輯運 算，資料儲存與對外聯繫，而MSP就是聽覺中樞與聲音調變，而Jitter則是視覺處理分析及投影機制。 Pure Data(1996~) Pd (全名為 Pure Data )是一種及時圖形化編寫程式環境，針對音頻、視頻和圖形的處理。最初是由 Miller Puckette 和在 IRCAM 的夥伴所開發。Pd 的核心是由 Miller Puckette 所編寫與維護，並且包括許多開發者的工作，社群的努力使得整個套件非常優秀。 Python(1989~) 1989年間完成，發佈時間為1991年。是一種物件導向、直譯式電腦程式語言，也是一種功能強大而完善的通用型語言，已經具有十多年的發展歷史，成熟且穩定。

12. 6.Augmented reality, embodi-ment, and programming in the world (擴增實境，具體化和世界的程序) 擴增實境，也被簡稱AR，指的是讓我們能在現實世界中觀看圖像的科技和技術，和在同一個視域（field of view）觀看電腦世界產生的圖像。這種系統是即時互動，並且用某中方法去追蹤真實世界中的物件，以確認電腦生成的物件出現並且能夠持續。 (The term 'augmented reality', often abbreviated to AR, refers to a variety of technologies and techniques that allow us to see images of the real world, and images of computer-generated worlds in the same field of view. Such systems are interactive in real time, and have some way of tracking real world objects to make sure the computer-generated objects appear and move with them. Ronald T. Azuma. (1997))

13. Fiducials ： 在影像科技中，附加標記（fiduciary marker）和基準點是個被用於視域中的的成像系統的物件，Fiducials出現於圖像生產，用作於參考點或是基準。 (In imaging technology, a fiduciary marker or fiducial is an object used in the field of view of an imaging system which appears in the image produced, for use as a point of reference or a measure.) (Wikipedia 2005) 在AR，Fiducial通常為黑白顏色模式。電腦可以識別視覺環境中Fiducials。

14. Knowledge in the world ： 世界中的知識 (knowledge in the world )一詞來自認知社會學家Donald Norman (1988)。 知識的訊息隱藏在我們周邊的物理結構之中，讓我們即刻知道如何處理它們而沒有經過事先的學習。 (information that is implicit in the physical structure of objects around us, so that we instantly know how to physically deal with them with no prior instruction.)

15. 兒童心理學家Jean Piaget認為人類6歲到12歲會面對一個轉變期(註1)，他們開始學習更多成人式的推理和抽象思維(abstract thinking)。在他們達到12歲前，這種形式的抽象過程(abstraction)會一直存在物質界中(this kind of abstraction is always grounded in the physical world)。 雖然Piaget認為這樣的發展有利於擺脫這種更抽象成純粹的精神(a more adult purely mental abstraction)，但Turkl和Papert (1990)認為就算接近了青春期這種物理的抽象思維(physically-based abstract thinking)也不會被完全放棄，但對於成人和兒童而言這是很重要的。 Mitchell Resnick(1998)表示這個物理思維工具變得稀鬆平常的世界就像是終身的幼稚園(lifelong kindergarten)(註2)。 即使我們最高根據(highest reasoning)是依賴於我們的感覺和運動系統，而我們無法相信任何不是透過我們我們身體以及聯繫的到的物理環境所最後形成的根據。 (even our highest reasoning is dependent on our sensory and motor systems, and that we are unable to think anything that is not ultimately shaped by our body and its relationship to the physical environment )

16. Clark and Chalmers認為語言使我們的涉身心靈(embodied mind)(註3)擴展到物理世界當我們分配意義和操作我們周邊的物理物質，而這種延伸的認知有一個中心，而不是在我們周邊的認知過程。 這麼一來，正在和Music Table上的積木遊戲的小孩因該不單只是內在思考過程的外在表現。這可能是現實過程的一部分。 註1：Jean Piaget：的學說中這階段為兒童認知發展中的具體運算階段（具體運思期，Concrete Operational, 7-11歲） 此時期兒童獲得邏輯運算能力的基礎，例如，時間，空間等概念。 註2： lifelong kindergarten：為MIT Media Lab的一個計畫，Mitchell Resnick就是此計畫的總監。官方網站http://llk.media.mit.edu/作者引用的paper也收錄其中。該團隊致力於開發針對小朋友來啟發創意學習經驗的科技。他們並和樂高積木合作讓軟體結合積木開發學習工具。透過玩來開發創意。 註3：embodied mind：直譯被具體化的心，台灣有文獻翻作〝身體中的心〞（林建德 2008）。 名稱來自Francisco J. Varela,Evan Thompson,Eleanor Rosch（1992）The embodied mind: cognitive science and human experience

17. 數位世界和現實世界的交會點(a meeting between the world of bits and the world of atoms )： 假如一個程序在物質界中發生，不再輸入輸出，但代替的是變量，甚至是在物質編成環境裡。我想要的東西接近石井裕(註1)(1997)所描述的數位世界和現實世界的交會點。 If the programming takes place in the physical world, such things cease to be inputs and outputs, but instead are variables or even operations in a physical programming environment. I imagine something close to what Hiroshi Ishii describes as a meeting between the world of bits and the world of atoms (Ishii and Ullmer 1997).

18. 某種意義上，系統和程序在物質界中不斷交流和處理訊息。某種意義上，系統和程序在物質界中不斷交流和處理訊息。 (In a sense, systems and processes in the physical world exchange and process information constantly.) 整個宇宙被從事著一個無限的自發發運算，我們則是一個組成的部份。 (the whole universe is engaged in an endless spontaneous computation of which we are a part.) 海浪，正在滑動的砂子，溫泉池的泥漿所有計算系統，處理和交換訊息的方式完全不同於我們所擁有的桌上型電腦。 ocean waves, slipping piles of sand and bubbling pools of mud are all computing systems that process and exchange information in ways quite unlike our own desktop PCs.

19. 經典物理學(註2)就像是個數量龐大的處理器的運算結構，沒有超級處理器負責。經典物理學(註2)就像是個數量龐大的處理器的運算結構，沒有超級處理器負責。 classical physics as a computing architecture where there are a vast number of processors with no super-processor in charge(Rucker (2005, p.89)). 每個處理器遵循相同的規則和相同的處理速度。 Each processor obeys the same rules and runs at the same speed. 這樣情況下，世界的程序（programming in the world）無疑會需要控制過程規則問題的知識，然後計畫介入這過程。 In this case, programming in the world would certainly demand some knowledge of the rules governing the processes in question, and a plan for intervening in those processes. 雖然這個過程沒有發生在分子水平(molecular level)下。

20. 作者聯想到一首引用John Nash提出的指令創作的音樂”Tune a brook by moving the stones in it”(移動小溪裡的石頭來調音)(註3)(1974)，不同數量的聲音可以做出個個聲音的部份，這最起碼的定義干預一個持續的自然計算。 執行這些指令，任何數量的不同聲音表演可以製作一首音樂，是個低定義(minimally-defined)的干預(intervention)一個持續的自然運算(natural computation)。 (In carrying out these instructions, any number of different sounding performances could be made of the one piece of music, a minimally-defined intervention in an on-going natural computation. ) 作者打算建立個自然運算和個人電腦的數位運算連結系統的大膽舉動。作者他的直覺是，AR可以成為這一些有計算模式間的橋樑。 (It is my intention to create systems that exploit natural computation in conjunction with digital computation using the personal computer. My intuition is that augmented reality can perform some of this bridging between computational paradigms.)

21. (註1)：石井裕(Ishii Hiroshi)：日本電腦科學家。他在人機互動領域開創出可觸碰的互動介面。 (註2)：經典物理學(classical physics )：為量子力學以及相對論發展出來前所先的理論。 經典物理研究的對象是在原子或分子的尺寸以上。這包括肉眼可見的與天文的境界。小於這尺吋，例如，在原子的內部，或在分子內原子與原子之間，經典物理的定律開始失效，無法給予一個正確的描述。 通常論及日常物體，忽略量子力學，用經典物理學描述就足夠。 (wiki 2010) (註3)：作者提供資料來源自Nash, J. Cardew, C. (ed) (1974) Tune a brook by moving the stones in it. Scratch music p. 'S'. MIT Press , Cambridge, Mass.

22. 7.Authoring augmented reality 現在的藝術家的角色為”內容”的創作者者(maker of 'content')，在製作傳統的程式則被下降為程式工程師。 (The artist's role has so far been that of a maker of 'content', made in a conventional program then dropped into the application by the programmer.)

23. 本章節擴充實境包簡介： ARToolKit 1999年發表，ARToolKit可以讓創作者不用麻煩去撰寫識別和追蹤marker這種工作，並且也幫忙創造標定三維座標的相機。透過ARToolKit，AR的構築顯得容易以及真實。2004年為止已經擁有16萬人次下載。 MXR Toolkit MXRToolkit有一個自己的程式庫，以幫助各方面的建設混合實境應用。MXR工具包提供了一個超過 100頁的詳細指南。而且該工具包仍不斷的被修改改進。

24. AMIRE( Authoring Mixed Reality) 基於ARToolKit設計，發表於2004年的混合實境計畫(mixed reality(MR)。目標將mr設計變得更有效率。 AMIRE的開發目標： MR遊戲、MR設備、MR結構。 CATOMIR則為AMIRE的延伸版本，安裝後原本的AMIRE介面會和攝影機抓取的影像重疊，設計者可以邊看實際結果邊設計。

25. 8.DesignAR DesignAR DesignAR為作者和他一起製作Music Table的日本團隊共同開發的綜合工具包。這工具包可以將影像分兩個獨立影像輸入，一個用於觸摸，一個用於標記跟蹤。 傳統AR工具匯入標記跟蹤資料還需要在從別的軟體匯入(Traditional AR authoring tools allow very little control over the models once they are imported from whatever tool is used to modelthem.)，使用DesignAR可以解決這個問題直接匯入標記跟踪到Touch Designer。

26. DesignAR 和Touch Designer連結AR流程圖。

27. 9 Touch Designer TouchDesigner TouchDesigner是針對建築藝術的互動三維，可視化，原型和UI界面所設計的軟體。 類似pd或是Max/MSP，不過他針對的是三維空間做感知偵測。並透過幾何圖形設計出感側專案。

28. 10.In the Domain of The King Did you know? In 1977, there were 37 Elvis impersonators in the world. By 1993, there were 48,000. At this rate, by 2010, one in every three people will be an Elvis impersonator. 這傳奇流傳在英文語系的各個網站，通常位索引為Useless Facts Fun Facts這類類似豆知識的網頁。

29. In the Domain of The King(2004) 工具為ARToolKit以及Python編撰。 作品由Eye Trek和三個marker構成。 ‧印有吉他的卡，投映出正在唱歌跳舞的3D貓王。角色使用maya製作。 ‧貓王頭像的卡會顯示出數字，這不斷增加的數字為這世界不斷增加的貓王。 ‧星型圖卡會顯示50張照片在空中飄動，照片來源使用google搜尋，不是每一個照片主角都是貓王。 音效會隨著卡片和Eye Trek之間的左右和前後的距離改變收音內容。

30. 11. Future improvements to DesignAR 除了使program更加可靠，主要還要改善擷取品質，作者希望使用數位代替類比影像輸入，創建一個更簡潔的影像，和提高追蹤性能。 作者決定要使用ARToolKit和Python腳本語言修改。 吸引作者的原因為他們的c++語言結構簡單又不惱人，甚至有個靈感乍現時，很多都可以直接寫在餐巾紙上。(代表有靈感也可以簡單記下即可) (a lot like one might write on a restaurant napkin when first hit by an idea.)

31. 12.Conclusions 作者認為可視化的編撰工具給他進入另一個高水平境界的勇氣。(They have also given me the courage to venture into the world of high level) 並且作者的目標加強工具的能力讓想要投入擴增實境的創作者，能夠進入中高階的境界，而不需要高程式能力。 (I go on to describe our attempts to make a tool to allow artists access to the medium of augmented reality without needing advanced programming skills.)

32. Background Advanced Telecommunications Research Institute International国際電気通信基礎技術研究所ATR成立於1986年3月，是私人的研究單位,組成的人員包含來自業界，學術界和政府， 旨在促進基礎研究和創新活動 電信和對社會貢獻很大。 1989年，研究實驗室在大阪開設了關西科學城，作為其核心機構。 Digital Creativity 數位創意期刊 數位創意期刊是最大的數位藝術和技術期刊。它出版的文章為數位難容背景的創作和理論。刊載內容包括紀律美術，平面設計，插圖，攝影，版畫，雕塑，三維設計，交互設計，產品設計，紡織及時裝設計，電影製作，動畫，遊戲設計，音樂，舞蹈，戲劇，創意寫作，詩歌，室內設計，建築和城市設計。

33. Keyworld1.Augmented reality:廣義上來講，所謂的AR〈augmented reality-有人翻譯成擴增實境〉是將電腦的資訊疊合到現實世界，讓我們在正確的時間正確的地點取得〈感官的〉正確資訊2.Physical programming :Exploring emergent systems through software and hardware.The physical programming is a multi-objective mathematical programming formulation that is used to model engineering decisions involving multiple trade-offs. 這是一種包含可視化編程和基本電子在設計環境，物理性的編程設計是一種高效的多目標優化設計方法,與設計人員的工程經驗緊密相聯。這種方法將被應用到複雜的互動系統開發使用的軟體和硬體工具，專門為藝術家和設計師。包含嵌入式技術，穿戴設備，智能產品和身臨其境的環境。 3.Visual programming tools可視化編程工具,Max Msp,VVVV,puredata都是此種型態的程式語言。

34. References ： 林建德（2008）佛學觀點下的意識研究：初步的回顧、反思與展望。 Francisco J. Varela,Evan Thompson,Eleanor Rosch（1992）The embodied mind: cognitive science and human experience. Michael Haller, Erwin Stauder, Juergen Zauner(2005) AMIRE-ES: Authoring Mixed Reality once, run it anywhere Las Vegas, Nevada, USA. CATOMIR: The Component based Authoring Tool for MIxed Reality http://staff.fh-hagenberg.at/jzauner/CATOMIR/CATOMIR-0.0.1-GettingStarted-V0.pdf