Download
1 / 30
300 likes | 596 Views
Music Animator. Matlab 과 Unity 를 활용한. 목차. 구현 목표 및 기능 데이터 분석 추가 사항 및 변경 내용구성 개선 및 활용 방안 시연 Q&A. ▪구현 목표 및 기능. Music Animator. 구현 목표 및 기능. 현재의 플레이어는 음악 재생 시 단순한 시각화 효과를 제공하고 있음 . 구현 목표 및 기능. 음악 재생 시 주파수에 따라 다양한 시각화 기능을 제공하여 사용자에게 심미성을 제공하도록 하고자 함 . ▪데이터 분석. 데이터 분석.
E N D
Music Animator Matlab과 Unity를 활용한
목차 • 구현 목표 및 기능 • 데이터 분석 • 추가 사항 및 변경 • 내용구성 • 개선 및 활용 방안 • 시연 • Q&A
▪구현 목표 및기능 Music Animator
구현 목표 및기능 현재의 플레이어는 음악 재생 시 단순한 시각화 효과를 제공하고 있음.
구현 목표 및기능 음악 재생 시 주파수에 따라 다양한 시각화 기능을 제공하여 사용자에게 심미성을 제공하도록 하고자 함.
데이터 분석 사용하려는 파일 형식 - wav파일 데이터의 구조 – 2ch-스테레오 구조(Matrix) 퓨리에변환을 이용한 wav데이터의 선형변환
데이터 처리 방법 Matrix, 수학계산을 위한 도구로써 Matlab이용. Visualization을 위해 unity3D 이용.
▪추가 사항 및 변경 Music Animator
추가 사항 및 변경 Unity3D를 이용하여 visual효과를 주파수에 따른 동물, 식물이 나온다.
▪내용 구성 Music Animator
wav음원 분석 • wav파일을 매트랩의stft를 이용하여서 시간에 따른 퓨리에 분석을 한다.
음원의 변환 과정 contour stem
Matlab의 Hz 함수(1) Output(주파수정보, 시간) Wav파일의 정보를 저장한 후. Vocal부분을 평균내서 stereo mono 변환 100만 단위로 stft한다.
Matlab의 Hz 함수(2) Output(주파수정보, 시간) Wav파일의 정보를 저장한 후. Vocal부분을 평균 내어 stereo mono 변환 100만 단위로 stft한다.
Filter Adaptfilt.lms를 이요하면 사람의 목소리 부분을 특히 강조할 수 있다.
Filter사용의 문제점 • Adaptive filter lms : 목소리 부분이 강조되긴 하지만, 사용시 약 15분 정도 걸려서 사용하지 않았다. • 다른 방법 :mr의파형을 반대로 입력하여 간섭 현상을 일으키는 것이 있는데, 사용법을 찾지 못하였다. 어차피 사람의 목소리가 나오는 부분은 주파수가 더 강조될 것이므로, 원 데이터를 활용하기로 했다.
음정(scale) 7음계 기준에 따라서 19부분으로 나누어서 각 부분마다 이미지를 할당한다.
C#과 연동하기 • Matlab을 export 하면 DDL파일이 나온다. • C# library를 활용하여서 데이터를 배열 형태로 읽어온다.
C# 주요 변수 목록 • Matlab함수를 사용하기 위해 쓰는 c1 • 가져온 값을 저장할 mw1, • m1= scale정보 • m2= time정보
Animation 부분 //지구 불러오기
▪개선 및 활용 방안 Music Animator
개선이 필요한 부분 • 다양한 그림, 움직이면 더 좋겠다. • 원하는 음악을 바로 이미지화. • 필터 사용 부분. • 음의 세기도 반영되면 좋겠다.
활용 가능할 것 같은 곳 • 어린이용 노래방기기 (뿡뿡이, 뽀로로, 로보카폴리…) • …
▪시연 Music Animator
