서울대 AI 연구원, 드라마 “또! 오해영” 보면서 질문에 사람처럼 대답하는 인공지능 대회 개최, 2월에 미국 인공지능학회(AAAI)에서 결과 논문 발표    

서울대학교 AI 연구원에서 한국 드라마를 보고 인간처럼 반응하는 인공지능을 개발하는 세계 경진대회를 개최하고, 대회 자료를 공개한 논문을 오는 2월 2021 미국 인공지능 대회(AAAI Conference on Artificial Intelligence)에서 발표한다. 

AI 연구원에서 과학기술정보통신부의 후원으로 진행하는 인공지능 연구과제인 ‘비디오 튜링 테스트(VTT: Video Turing Test)’ 팀에서 대회를 주관하였다. 연구팀은 2020년 4월부터 8월까지 “비디오 스토리 이해를 위한 드라마 Q&A (DramaQA for Video Story Understanding)”를 주제로 인공지능 대회를 개최하였다. 

2020 ECCV (유럽컴퓨터비전학회)를 통해 개최된 대회에서 50여명의 인공지능 연구자들이 참여해 경쟁하였고 한국팀과 중국팀이 우승과 준우승을 차지하였다. 

연구팀은 대회를 위해 한국드라마 “또! 오해영”에서 23,928개의 비디오 클립을 생성하고 해당 비디오에 대한 17,983개의 질문을 만들었다. 참가팀들은 비디오와 질문으로 구성된 데이터셋을 모두 다운로드 받은 후, 정답이 주어진 질문은 학습용 데이터셋으로 활용해 인공지능에게 학습시킨 후, 정답이 없는 문제에 도전하는 방식으로 대회에 참가하였다. 

연구팀은 인공지능에게 던지는 질문을 4가지 난이도로 구분하였다. 1단계는 비디오에서 보이는 단순한 정보를 묻는 질문(“해영2의 머리 스타일이 어때?"), 2단계는 비디오의 상황을 이해하는지에 대한 질문(“종석은 해영1에게 무엇을 건내 주었는가?"), 3단계는 상황의 변화를 이해하는지 묻는 질문(“해영이 결혼하지 않는다고 하자 덕이는 어떻게 반응했는가?"), 4단계는 긴 클립을 보고 인과관계를 이해하는지를 묻는 질문(“덕이는 왜 음식을 많이 만들었을까?")으로 구성하였다. 대회 결과 가장 우수한 팀은 정답률 74%를 기록하였다.  

연구팀이 소속된 ‘비디오 튜링 테스트’ 프로젝트는 “생각하는 기계”를 만들고자 했던 앨런 튜링이 고안한 ‘튜링 테스트’를 비디오를 통해 수행하는 연구로, 비디오를 본 인공지능이 인간과 구별되지 않는 답변을 하면 성공한 것으로 본다. 

VTT는 비디오 빅데이터를 이용하여 인간 수준의 비디오 이해 인공지능 기술을 개발하는 것을 목표로, 인공지능이 비디오 스토리를 이해했는지 질의응답을 통해 확인하는 기술, 이벤트, 상황 지식 체계 학습 및 인식/관계 추론 기술, 개발한 비디오 이해 인공지능 기술의 지능을 사람의 인지발달 과정에 기반하여 평가하기 위한 평가 방법 개발에 대한 연구를 수행하고 있다.

현재 서울대 비디오 튜링 테스트 프로젝트에는 인공지능 학습 전문가인 장병탁 교수, AI가 작동할 수 있는 플랫폼을 개발하는 전병곤 교수, 컴퓨터 시각 전문가인 김건희 교수, 데이터 마이닝 전문가인 강유 교수 등 분야별 AI 전문가들이 대거 참여하고 있으며, ‘베이비마인드’, ‘NPRC’와 함께 서울대의 3대 장기∙융복합 인공지능 프로젝트이다. (비디오 튜링 테스트 과제 해설 동영상)

비디오 튜링 테스트 과제책임자인 장병탁 교수는 “드라마 비디오를 보고 이야기하는 것이 인간에게는 너무 쉬운 일이지만, 인공지능이 수행하려면 인간수준의 종합 지능이 필요하기 때문에 인공지능이 인간수준으로 기능하는지를 테스트하는 효과적인 척도가 된다.”고 설명했다. “기본적으로 안면이식과 대화를 듣고 이해하는 청각지능이 있어야 하고, 고급 수준의 자연어 처리능력과 맥락을 이해하는 논리적 추론이 필요하기 때문”이라고 강조했다. 

2021년 2월 2일부터 8일간 열리는 AAAI에서는 장병탁 교수팀의 드라마QA 논문 외에도 김건희 교수(컴퓨터공학부), 최진영 교수(전기정보공학부), 곽노준 교수(융합과학기술대학원 지능정보융합학과), 이재욱 교수(산업공학과), 장병탁 교수(컴퓨터공학부), 정교민 교수(전기정보공학부), 조명희 교수(자연과학대학 통계학과) 연구팀 등 서울대에서 총 10편의 논문을 발표한다.  

1979년 설립된 AAAI(‘트리플AI’)는 인공지능 분야에서 오랜 권위를 인정받고 있으며, 2021년 2월 2일부터 8일간 제35회 AAAI가 개최되며 전 세계 3천여명의 인공지능 전문가들이 참가할 예정이다. 국내에서는 서울대 외에 카이스트, 네이버 크로바, 카카오 브레인 등이 논문을 발표한다.

• 드라마 QA 논문: DramaQA: Character-Centered Video Story Understanding with Hierarchical QA)

(그림) "또! 오해영” 비디오 클립 시청 후 제시되는 4레벨의 질문 중 ‘추론’ 단계인 3레벨로 제시된 질문과 답변