NIME04 Rencon 開催報告と 次回への課題

1. NIME04 Rencon 開催報告と次回への課題 ○野池賢二（さきがけ研究２１） 　橋田光代（和歌山大学，さきがけ研究２１） 　平田圭二（NTT CS研） 　片寄晴弘（関西学院大学，さきがけ研究２１） 　平賀瑠美（文教大学）

2. 1980 年代 アドホックな表情付けルールの作成と適用 1990 年代 学習型システムの出現 認知的構造理論への留意 2000 年代 評価方法の問題 演奏表情付けシステムの歴史 すごい!? ちょっと変？ 公平な評価の方法は 定量的な評価の方法は？

3. 演奏生成システムを，演奏コンテストによって評価するプロジェクト “Rencon”を 2000 年に発足 （Rencon : Performance Rendering Contest） 表情付けシステムに限らず，生成系システムの評価方法のひとつの切り口 公平な評価方法，定量的な評価方法の確立を目指す Rencon 発足

4. Rencon ロードマップ ↑現在このあたり

5. Rencon 開催の歴史 • ICAD2002 Rencon （ATR@京都） • Performance Rendering Systems: Today and Tomorrow • FIT2002 Rencon　（東京工業大学@東京） • Toward the Number One Pianist in the World • IJCAI-03 Rencon　（？？？@アカプルコ） • on methods for automatic music performance andtheir applications in a public rendering contest • NIME04 Rencon（静岡文化芸術大学@浜松） • Turing Test for Musical Expression

6. NIME04 Rencon • NIME(New Interfaces for Musical Expression) • 「音楽／芸術表現のための新インタフェース」国際会議 のデモセッションとして開催 • 日程: 2004年6月3日（木）～5日（土） • 開催地：静岡文化芸術大学（浜松）

7. 開催プログラム ブラインド聴き比べコンテスト 3 日(木) 13:00 - 15:00 (演奏と生成システムとの対応を伏せた状態での聴き比べ投票) 4 日(金) 13:00 - 15:00 (演奏と生成システムとの対応を伏せた状態での聴き比べ投票) 15:20 - 16:20 研究発表, , 表彰 • Rumi Hiraga, Roberto Bresin, Keiji Hirata, Haruhiro Katayose: Rencon 2004: Turing Test for Musical Expression • Haruhiro Katayose, Keita Okudaira: Using an Expressive Performance Template in a Music Conducting Interface • Hideki Kawahara, Hideki Banno, Masanori Morise: Acappella synthesis demonstrations using RWC music database 5 日(土) 13:00 - 15:00 オープン聴き比べコンテスト (演奏と生成システムとの対応がわかる状態での聴き比べ) ブラインド聴き比べコンテスト 聴き比べ結果の発表 統計的分析

8. コンテスト実施要綱 • 規定部門: ショパン作曲の小品聴き比べ • 提出形式: SMF • 聴き比べ音源: Nemesys GIGA Piano • 評価項目: 演奏の人間らしさ，演奏の好み （それぞれ 5 段階評価） • 自由部門: ジャンル，楽曲，楽器等に規定のない聴き比べ • 提出形式: 任意 • 聴き比べ音源: 任意 • 評価項目: 演奏の好み （5 段階評価） • 今回は，特に歌声生成を集めた • 逆チューリングテスト( ): 演奏の機械らしさの聴き比べ • 提出形式: SMF • 聴き比べ音源: Nemesys GIGA Piano • 評価項目: 演奏の機械らしさ，演奏の好み （それぞれ 5 段階評価） Gnirut

9. コンテスト実施 • 総エントリ数： 18エントリ（演奏時間 30分弱） • → 2時間のセッションで4回の聴き比べ • ブラウザを利用 した聴き比べシステム • NIME04 参加者の多くが参加 • 少人数ずつではあるが，3日間を通して途切れることがほとんどなかった • 熱心な投票者が多い • 有効投票数 51 票

10. 規定部門エントリ 同じ楽曲，同じ音源での聴き比べ（学習データなどは異なる） • The Director Musices Program：　Roberto Bresin (KTH) • Prelude Op.28 No.7 • Ha-Hi-Hun：　平賀瑠美（文教大）, 平田圭二（NTT CS Lab） • Etude Op.10, Nr.3　“Chanson de L‘Adieu” • （人間の演奏）：　はるか（ピアノ教師） • Etude Op.10, Nr.3　“Chanson de L‘Adieu” • COPER：　野池賢二（PRESTO/JST）, 豊田健一（関学）, 片寄晴弘（PRESTO/JST, 関学） • Etude Op.10, Nr.3　“Chanson de L‘Adieu” • Kagurame Phase-II：　鈴木泰山（株式会社デュオシステムズ） • Etude Op.10, Nr.3　“Chanson de L‘Adieu” • （人間の演奏）：　はるか（ピアノ教師） • Valse Op.64, Nr.1 • WALTS（後のPopE）：　橋田光代（PRESTO/JST, 和歌山大）, 片寄晴弘（PRESTO/JST, 関学） • Impromptu, Op.66 “Fantasie-Impromptu” • （表情なし，　テンプレート適用，　テンプレート適用+2小節目第4拍目手動調節）

11. 自由部門 • SuperConductorTM： • 黒澤 隆 (フロンティアＫインターナショナル株式会社), Manfred Clynes, • J. S. Bach, Brandenburg Concerto No.5, D Major, 3rd Movement • RUBATO：　Guerino Mazzola, Joachim Stange-Elbe (University of Zurich) • J. S. Bach, The Art of Fugue, Contrapunctus III • WONDER HORN：　青野裕司 (NTT サイバースペース研究所) • 森山直太朗, さくら（独唱） • HMM-based singing voice synthesis system：　酒向慎司 (東京大学大学院) • しあわせなら手をたたこう • STRAIGHT：　河原 英紀, 坂野秀樹, 森勢将雅 (和歌山大) • 武満 徹, Small Sky • （参考出品） Vocaloid：　YAMAHA, Zero-G, （データ作成： 池淵 隆（大阪芸大）） • John Bettis / Richard Carpenter, ``Yesterday Once More'‘ 歌声生成の聴き比べ

12. 逆チューリング部門（Gnirut） 同じ楽曲，同じ音源での聴き比べ • The Director Musices Program：　Roberto Bresin (KTH) • J. S. Bach, The Well-Tempered Clavier, Prelude I, BWV 846 • （人間の演奏）:　はるか（ピアノ教師） • J. S. Bach, The Well-Tempered Clavier, Prelude I, BWV 846 • （人間の演奏）：　はるか（ピアノ教師） • J. S. Bach, Invention I, C Major

13. 規定部門「演奏の人間らしさ」投票結果 同じ楽曲，同じ音源 有意水準 5% で標本平均に有意な差がある境界 3グループに分かれる

14. 規定部門「演奏の好み」投票結果 有意水準 5% での境界 人間らしさの結果と逆

15. 自由部門「演奏の好み」投票結果 歌声生成

16. 逆チューリング部門「演奏の機械らしさ」投票結果逆チューリング部門「演奏の機械らしさ」投票結果 同じ楽曲，同じ音源

17. 逆チューリング部門「演奏の好み」投票結果 同じ楽曲，同じ音源

18. 全部門「演奏の好み」投票結果 すぐ上との間には有意差がないので，二つ上との有意差を調べた

19. 研究発表セッションの様子 • Rumi Hiraga, Roberto Bresin, Keiji Hirata, Haruhiro Katayose: • Rencon 2004: Turing Test for Musical Expression • Haruhiro Katayose, Keita Okudaira: • Using an Expressive Performance Template in a Music Conducting Interface • Hideki Kawahara, Hideki Banno, Masanori Morise: • Acappella synthesis demonstrations using RWC music database

20. Rencon Award • 規定部門 • WALTS（テンプレート適用）： 橋田光代（PRESTO/JST, 和歌山大）, 片寄晴弘（PRESTO/JST, 関学） Impromptu, Op.66 “Fantasie-Impromptu” • 自由部門 • SuperConductorTM： 黒澤 隆 (フロンティアＫインターナショナル株式会社), Manfred Clynes, J. S. Bach, Brandenburg Concerto No.5, D Major, 3rd Movement • 逆チューリング部門 • The Director Musices Program： Roberto Bresin (KTH) J. S. Bach, The Well-Tempered Clavier, Prelude I, BWV 846

21. 聴き比べコンテスト実施上の検討項目 • 聴き比べ用音源の仕様公開 • ペダリング不自然さの解消 • 聴き比べ時の音源のコントロールデータなどの仕様を，できるだけ詳細に公開する • エントリ希望者に音源を貸与する • エントリ者が聴き比べ時の音響データを実際に確認できる「試し聴きシステム」を提供する • 投票者の負担への対処 • 投票者自身へのフィードバックが必要 • チューリングテスト方式の場合は，答え合わせができるようにする • 自分の投票による結果の変化をその場で見せる • かつての聴取実験に照らし，被験者の聞き方タイプの分析結果をフィードバックする， • インターネットを利用したRencon 実施 • 共通学習データセット，評価データの準備 • MusicXML(4R)形式でのデータセットの準備が進行中

22. 評価方式の考慮 • 公平な評価，評価結果の信頼性の向上，生成に関しての恣意性の排除 • 「人手の介入度合い」の考慮が必要 • フィギュアスケートの採点のような，技術点評価の導入

23. エントリ楽曲の著作権 • 現状 • エントリ者側で解決してもらう • Rencon 配布CDには収録しない • 今後，考慮していくべきこと • RWC コーパスの活用 • エントリ楽曲の著作権についてのチェック

24. まとめ • 第４回 Rencon「NIME04 Rencon」を開催した • エントリに人間の演奏を含め，チューリングテスト方式を実施した • 自由部門を設置し，歌声生成の聴き比べを行った • 投票結果について，簡単な統計的分析を行った • 2005年は，ICMC にて開催できるよう準備が進行中 • Rencon Web サイト： • http://shouchan.ei.tuat.ac.jp/~rencon/