170 likes | 312 Views
An Introduction to. Computer Music. 游擱嘉. 你曾經覺得現在的歌星唱歌實在太難聽了,希望能把他們的聲音關掉,自己錄一張一模一樣的專輯寄回去唱片公司跟歌星嗆聲 ?. Topics to be Discussed. 樂音分離系統 (Separation of Musical Signals) 自動記譜軟體 (Auto-Transcription) Wav to midi. Separation of Musical Signals. Separation of Musical Signals( 樂音分離 ):
E N D
An Introduction to Computer Music 游擱嘉
你曾經覺得現在的歌星唱歌實在太難聽了,希望能把他們的聲音關掉,自己錄一張一模一樣的專輯寄回去唱片公司跟歌星嗆聲?你曾經覺得現在的歌星唱歌實在太難聽了,希望能把他們的聲音關掉,自己錄一張一模一樣的專輯寄回去唱片公司跟歌星嗆聲?
Topics to be Discussed • 樂音分離系統(Separation of Musical Signals) • 自動記譜軟體(Auto-Transcription) • Wav to midi
Separation of Musical Signals • Separation of Musical Signals(樂音分離): • 如何在混合在一起的樂音中, 分辨並分離出不同的聲音?
Separation of Musical Signals • 除Fourier Transform外, 沒有可以information loss的信號處理演算法. • 於是越處理只會使得資訊越來越少, 沒辦法recover原來的資料. • 到目前為止還沒有萬全的解決辦法.
Separation of Musical Signals • Why do we need to separate musical signals? • For better understanding • For better sound effects • For better transcription results
Separation of Musical Signals • One of the Approaches • Identifying different musical instruments 讓電腦有能力聽出音色的差異 • Trajectory Classification Why? Why Not?
Separation of Musical Signals • Some Results: (Tuomas Virtanen, Anssi Klapuri, Signal Processing Laboratory, Tampere University of Technology, Finland)
Topics to be Discussed • 樂音分離系統(Separation of Musical Signals) • 自動記譜軟體(Auto-Transcription) • Wav to midi
Basic Terms in Computer Music Wave: Music-Content: • 數位音樂訊號的儲存格式可分為兩類:
An Overview of Computer Music 電腦音樂研究,主要目的要使波型型式的聲音資訊(wav)或樂譜型式的音樂資訊(MIDI)能夠進行轉換及資訊處理. Courtesy of Wu-Hsi Li
Auto-Transcription Systems • Auto-Transcription System(自動採譜系統) • 希望能把雜亂的聲音資訊, 記錄成樂譜的格式 • Music-Content的data有利於進一步的處理 • 儲存: 檔案的大小可以大大的縮小 • 搜尋: 可以用Music-Content來搜尋樂曲, 不再藉助文字. Example: 超級點歌王(清蔚科技)
Auto-Transcription Systems • 基本的想法 • Wav檔記錄的是聲音訊號的大小. • 而Midi檔記錄的是響度, 音調(音高), 音色. • i.e. 看畫展 • 實作的方法需要跨領域跨領域的知識 • 信號處理, 樂理, 音樂心理學(psycho-acoustic), 聲學
Auto-Transcription Systems • 問題: 如何辨識音調(音高) • 樂音: 從頻譜上來看會多個peak value, 並不是單一頻率的信號. • 樂音的音高不單純是指基頻頻率的高低, 而是指一種頻譜型式的分佈. • 單純用信號處理的方式沒有辦法解決這個問題.
Gasp! You can’t be serious! Auto-Transcription Systems • One Solution: A Phonotopic Map Model for Memorization and Recognition of Musical Sounds (Wu-Hsi Li) 模擬大腦中神經元受刺激的形式, 每個神經元記錄了一種一種頻譜的形式(樂音), 經輸入音樂訓練後, 細胞會漸漸分化, 最後對特定聲音才會起反應.
A Phonotopic Map Model for Memorization and Recognition of Musical Sounds Courtesy of Wu-Hsi, Li, NTUEE 只要曾經輸入到模型的聲音,都可能被圖中某特定位置的細胞所記憶。之後當該聲音再度輸入時,該細胞會被此聲音所激發。將圖中細胞記憶內容分佈分別標示上顏色,可以發現圖中的細胞自然地呈現依音高規律的排列。
Next! More on 3-D Sounds! Is the speech over yet?