이주헌 학생(석박통합과정)이 오스트리아 그라츠(Austria Graz)에서 열린 INTERSPEECH 2019에서 “Adversarially Trained End-to-end Korean Singing Voice Synthesis System”이라는 주제로 Best Student Paper Award를 수상하였다. INTERSPEECH는 음성연구 분야에서 가장 규모가 큰 학회이며 올해 학회에서는 전세계에서 2천명이 넘는 연구자들이 참석하여 940여편의 논문을 발표했다.

발표한 연구는 본 연구실의 이주헌, 최형석, 전창빈, 구정현 학생이 참여하였으며, 가사와 악보 정보로부터 자연스러운 가창 음성을 생성해내는 연구이다. 연구팀은 가사와 음정 정보를 각각 독립적으로 분리하여 학습하는 네트워크를 제안하여 보다 높은 품질의 가창을 효과적인 데이터 활용을 통해 생성하는데 성공하였다. 본 연구는 최근 각광 받고 있는 adversarial training 방법을 사용하여 보다 자연스러운 음질을 갖는 음성을 생성하였다. 연구팀은 후속 연구로서 여러 명의 가수의 목소리를 생성해내는 네트워크를 제안하였으며, 실제 가수의 음원을 복제해내는 방법 또한 제시하였다. 발표의 마무리에서는 프레디 머큐리가 부른 강남스타일 음원을 재생하여 연구자들의 관심을 끌기도 하였다.

이주헌 학생은 “대학원에 입학한 뒤 가장 관심이 갔던 연구 분야인 가창 합성팀에 합류한지 1년이 지났는데 그동안의 연구 성과가 충분히 의미있고, 활용가능성이 높다고 인정받게 되어 기쁘다”며 소감을 전했다.

Interspeech 2019

• Adversarially Trained End-to-end Korean Singing Voice Synthesis System (이주헌, 최형석, 전창빈, 구정현, 이교구)