1 / 30

Music Animator

Music Animator. Matlab 과 Unity 를 활용한. 목차. 구현 목표 및 기능 데이터 분석 추가 사항 및 변경 내용구성 개선 및 활용 방안 시연 Q&A. ▪구현 목표 및 기능. Music Animator. 구현 목표 및 기능. 현재의 플레이어는 음악 재생 시 단순한 시각화 효과를 제공하고 있음 . 구현 목표 및 기능. 음악 재생 시 주파수에 따라 다양한 시각화 기능을 제공하여 사용자에게 심미성을 제공하도록 하고자 함 . ▪데이터 분석. 데이터 분석.

yvon
Download Presentation

Music Animator

An Image/Link below is provided (as is) to download presentation Download Policy: Content on the Website is provided to you AS IS for your information and personal use and may not be sold / licensed / shared on other websites without getting consent from its author. Content is provided to you AS IS for your information and personal use only. Download presentation by click this link. While downloading, if for some reason you are not able to download a presentation, the publisher may have deleted the file from their server. During download, if you can't get a presentation, the file might be deleted by the publisher.

E N D

Presentation Transcript


  1. Music Animator Matlab과 Unity를 활용한

  2. 목차 • 구현 목표 및 기능 • 데이터 분석 • 추가 사항 및 변경 • 내용구성 • 개선 및 활용 방안 • 시연 • Q&A

  3. ▪구현 목표 및기능 Music Animator

  4. 구현 목표 및기능 현재의 플레이어는 음악 재생 시 단순한 시각화 효과를 제공하고 있음.

  5. 구현 목표 및기능 음악 재생 시 주파수에 따라 다양한 시각화 기능을 제공하여 사용자에게 심미성을 제공하도록 하고자 함.

  6. ▪데이터 분석

  7. 데이터 분석 사용하려는 파일 형식 - wav파일 데이터의 구조 – 2ch-스테레오 구조(Matrix) 퓨리에변환을 이용한 wav데이터의 선형변환

  8. 퓨리에 변환

  9. 데이터 처리 방법 Matrix, 수학계산을 위한 도구로써 Matlab이용. Visualization을 위해 unity3D 이용.

  10. ▪추가 사항 및 변경 Music Animator

  11. 추가 사항 및 변경 Unity3D를 이용하여 visual효과를 주파수에 따른 동물, 식물이 나온다.

  12. ▪내용 구성 Music Animator

  13. wav음원 분석 • wav파일을 매트랩의stft를 이용하여서 시간에 따른 퓨리에 분석을 한다.

  14. 음원의 변환 과정 contour stem

  15. Matlab의 Hz 함수(1) Output(주파수정보, 시간) Wav파일의 정보를 저장한 후. Vocal부분을 평균내서 stereo  mono 변환 100만 단위로 stft한다.

  16. Matlab의 Hz 함수(2) Output(주파수정보, 시간) Wav파일의 정보를 저장한 후. Vocal부분을 평균 내어 stereo  mono 변환 100만 단위로 stft한다.

  17. Filter Adaptfilt.lms를 이요하면 사람의 목소리 부분을 특히 강조할 수 있다.

  18. Filter사용의 문제점 • Adaptive filter lms : 목소리 부분이 강조되긴 하지만, 사용시 약 15분 정도 걸려서 사용하지 않았다. • 다른 방법 :mr의파형을 반대로 입력하여 간섭 현상을 일으키는 것이 있는데, 사용법을 찾지 못하였다.  어차피 사람의 목소리가 나오는 부분은 주파수가 더 강조될 것이므로, 원 데이터를 활용하기로 했다.

  19. 음정(scale) 7음계 기준에 따라서 19부분으로 나누어서 각 부분마다 이미지를 할당한다.

  20. 주파수에 따른 이미지

  21. C#과 연동하기 • Matlab을 export 하면 DDL파일이 나온다. • C# library를 활용하여서 데이터를 배열 형태로 읽어온다.

  22. C# 주요 변수 목록 • Matlab함수를 사용하기 위해 쓰는 c1 • 가져온 값을 저장할 mw1, • m1= scale정보 • m2= time정보

  23. 생성자

  24. Animation 부분 //지구 불러오기

  25. ▪개선 및 활용 방안 Music Animator

  26. 개선이 필요한 부분 • 다양한 그림, 움직이면 더 좋겠다. • 원하는 음악을 바로 이미지화. • 필터 사용 부분. • 음의 세기도 반영되면 좋겠다.

  27. 활용 가능할 것 같은 곳 • 어린이용 노래방기기 (뿡뿡이, 뽀로로, 로보카폴리…) • …

  28. ▪시연 Music Animator

  29. 동영상 시연

  30. Q&A

More Related