이주영

인공지능에 관련된 다양한 task에 대한 강연을 들을 수 있어 너무 유익한 시간이었습니다. 자연어 관련 강연뿐만 아니라 privacy 관련된 모델의 stability의 중요성과 homomorphic encryption에 대한 강연도 인상적이었습니다. 비전 관련해 기억에 남는 내용은 Adobe Research의 박태성 연구원님 강연에서 latent space간의 차이를 이용해 눈 내린 풍경의 특징을 더 추가하거나 뺄 수 있다는 포인트가 인상적이었고, 김건희 교수님 강연을 통해서 비디오라는 인풋에 담긴 다양한 정보들 (image frames, motion vectors, residuals)을 잘 이용해서 최적화 된 모델을 설계할 수 있다는 점이 기억에 남습니다. 모델 최적화도 중요하다고 생각하는데, Facebook Research의 권혁준 연구원님의 강연과 3부에서 진행 된 엣지 클라우딩과 hw를 고려한 모델 디자인 관련 강연도 조금 어렵지만 모델/서버/HW 상에서의 각각의 최적화 연구에 대해 접할 수 있어 좋았습니다. 대학원 진학을 고민 중에 있는데, 이번 AI 여름학교를 통해서 AI 연구에 대한 다양한 분야에 대해 접할 수 있고, 현재 각 연구실에서 어떠한 과제를 중점으로 연구를 하고 있는지도 알 수 있어 많은 도움이 되었습니다. 

고려대학교 장영준 (블로그: https://studyenthusiast-26.tistory.com/172)

UT Austin에서 재직 중이신 최은솔 교수님이 세미나를 먼저 청취할 수 있었습니다. 교수님께서 주로 연구하시는 분야는 Question & Answering라고 소개해 주셨고 진행하시는 연구 및 전체적인 QA task의 overview에 대하여 설명을 해주셨습니다. 그 중에서도 공유해주신 XORQA 연구는 Open domain question answering task를 수행하는 것으로 이해 하였습니다. 본 task를 수행하는데 있어서 Question answering을 하는데 어떤한 질문들은 대답할 수 없는가에 대한 설명을 해주셨고 이를 어떻게 해결했는지 공유해주신 점 인상 깊었습니다. 위의 figure와 같이 input으로 일본어와 wikipedia같은 오픈 도메인 포럼을 입력 받으면 정보를 위키피디아에서 retrieve하고 일본어를 retriever단에서 번역을 진행하여 영어로 출력하는 것으로 이해하였습니다. 물론 일본, 영어 위키 모두 참조하여 진행하는 것 같습니다. 더 자세한 내용은 논문을 읽고 정리를 진행하려고 합니다. 미네소타대학교 강동엽 교수님께서 나누어진 내용 중에 넵병을 예를 들어서 설명을 진행하여 주신 것이 상당히 흥미로우면서도 신선하였습니다. 사람 중심의 NLP 시스템과 상대방에 따라서 어떻게 말을 다르게 하는지에 대한 내용을 의미합니다. 이러한 것은 style이라고 정의할 수 있는데 굉장히 어려운 task인 것으로 생각이 듭니다. 이러한 연구를 진행하는데 있어서 xSLUE 데이터셋을 구축하셨는데 앞으로 실제 industry 및 academia에서도 유의미한 연구가 될 수 있을 것으로 예상됩니다. 

개인적으로 강유 교수님께서 진행하신 Stock Prediction with AI를 청취하며 기존과 접근 방법이 조금 다른 것을 느낄 수 있었습니다. 그 중에서도 time , data axis attention을 적용하여 예측을 진행하였다는 점 인상적이였습니다.

이번 년도 작년과 다름없이 무료로 양질과 열정이 담긴 연구 세미나를 개최 해주셔서 감사합니다. 2020년보다 더 많이 공부한 상태에서 청취하였지만 금년에도 다른 테마의 강의 및 Q&A 진행방식을 통하여 다른 분들의 답변 및 질문에서도 많은 insight를 얻을 수 있어서 매우 유익하였습니다.

3일 동안 세미나를 들으면서 제가 몰랐던 부분, 쉽게 지나쳤던 부분들에 대해서도 한 번 다시 되돌아보면서 연구가 무엇인지에 대해서도 기본을 충실히 다시 되새김질할 수 있었던 시간 이였습니다. 

서울대 뇌과학 협동과정 임형석 

저는 컴퓨터 비전 분야에 관심이 있어서 현재 그와 비슷한 분야에서 연구를 진행하고 있고, 그 중에서도 특히 이미지나 point cloud를 사용하여 현재 위치를 파악할 수 있는 단서를 찾아내거나 찾는 visual localization and place recognition task를 연구하고 있습니다. 요즘 다양한 센서들이 많이 개발되고 있고, 가격이 저렴해짐에 따라 상용화가 많이 되어가고 있어서 이미지로부터 뽑아낸 정보와 센서들로부터 얻어낸 data를 결합하여 풀어낼 수 있는 모델을 연구하고 있습니다. Visual localization task는 image retrieval based approach나 regression 등과 같이 이미지만으로 camera coordinate을 얻을 수 있지만, 요즘 기술이 발전하면서 센서들이 점점 정교해지고 저렴해지고 있어 그 정보를 함께 이용할 수 있는 multi-modal approach를 개발하는데 관심을 가지고 있습니다. 이 과정에서 필요한 새로운 데이터를 모으고, 다양한 방식으로 모은 data를 하나의 모델에 적용할 수 있도록 통합하는 과정에서 다양한 분야의 연구들을 공부할 필요성을 느끼고, 여러 분야를 공부하고 있는 중입니다. 특히 generative model 분야와 object detection, image retrieval과 같은 paper를 많이 읽었고, 실제로 그와 관련된 연구에도 참여하여 paper를 쓴 경험이 있습니다. 그래서 계속 이 분야들에 관심을 가지고 있었는데, 오늘 서울대학교 전기정보공학부의 김영민 교수님께서 강의해주신 <Geometry in the Deep Learning Era> 강의를 굉장히 흥미롭게 들을 수 있었습니다. 2D image와 3D point cloud data의 차이점에 대해서 간략하게 설명해주시면서, supervised-learning의 현재 상황과 앞으로 컴퓨터 비전이 나아가야할 방향성에 대해서 visual localization task와 관련하여 소개를 해주셨는데 새로운 관점에서 문제를 바라볼 수 있었던 좋은 계기가 된 것 같습니다. 딥러닝에서 데이터셋은 굉장히 큰 역할을 하고, 특히 supervised-learning은 데이터셋이 제대로 잘 준비만 되어 있다면 product 생산단계까지 왔을 정도로 큰 발전을 이룬 상태입니다. 그러나 모든 데이터에 다 labeling을 달 수 없고, 하나의 정답만이 존재하는 것이 아닌 문제들도 많기 때문에 supervised learning은 한계를 가지고 있습니다. 김영민 교수님 연구실에서는 이 문제를 지적하면서 data에 특별한 labeling 없이 사용할 수 있는 3D computer graphics와 연관지을 수 있는 기술을 소개해주셨습니다. 사실 이전에는 computer vision과 computer graphics 기술을 특별히 연관지을 생각을 하지 못했고, 그 둘이 어떻게 다르게 작용하고 있는지 명확하게 설명하기 어려웠는데 김영민 교수님께서 computer vision은 이미지를 보고 3d structure를 예측하는 등의 일을 하고, computer graphics는 이미 setup 된 카메라와 물체에서 2D로 볼 수 있게 정교하게 모델링하는 것을 말한다고 명확하게 정의해주시면서 이 둘을 잘 활용하면 좋은 연구가 될 것이고 과연 딥러닝을 어디까지 쓸 수 있을까에 대한 고민과 함께 새로운 visual localization approach를 소개해주셨습니다. <PICCOLO: Point Cloud-Centric Omnidirectional Localization>라는 모델은 3D point cloud로 이루어진 structure에서 2D 이미지를 받았을 때 그 이미지의 카메라 좌표를 찾는 모델입니다. Visual localization task는 이미지들을 이용해서 그 사이의 matching 되는 local key point들로 3D reference map을 만들어 놓고, 새로운 query가 들어왔을 때 reference images 중에서 가까운 candidates를 찾은 후에 가장 잘 matching 되는 local key point들로 PnP Solver + RANSAC을 통해서 camera coordinate을 찾는데, 3D reference map을 만드는 과정이 Structure from Motion model을 이용해야 해서 굉장히 복잡하고 local feature를 아무리 잘 뽑아도 성능에 영향을 미칠 수 있는 문제점이 있습니다. 그래서 저도 3D lidar data를 이 reference map으로 사용할 수는 없을까 굉장히 많은 고민을 했는데, 김영민 교수님께서는 이 문제를 굳이 딥 뉴럴 네트워크를 이용하지 않고서 이 문제를 간단하게 해결하는 방법을 제시해주셨습니다. 2D image는 panoramic image를 사용해서 일반 이미지에 비해서 global feature를 잡기가 손 쉽고, 이 image와의 matching은 3D structure 안의 특정 점에서 3D computer graphics rendering과 같이 camera 관점에서 바라본 panoramic view 와의 간단한 color matching으로 camera coordinate을 찾아냈습니다. 이렇게 한다면 local feature와 global feature를 찾아내고, 3D reference map을 만들고 2D keypoint를 3D reference map과의 매칭을 통해 3D point 정보를 추가로 알아내어 PnP Solver와 RANSAC을 적용하는 어려운 step들을 간단하게 축약할 수 있고, 만들어진 3D reference map 보다 더 정교하고 lidar sensor로 간단하게 만들 수 있는 3D point cloud map을 그대로 사용할 수 있다는 장점도 있습니다. 이 비효율적인 과정들을 어떻게 축약할 수 있을까 고민을 해봤지 딥러닝 대신 다른 기술을 사용할 수 있을까 고민은 해보지 못했는데 이 부분에 대해서 김영민 교수님 연구실에서는 새로운 insight를 제공해주셔서 굉장히 유익한 강의였습니다. 그 외에도 3D lidar sensor로 만들어진 데이터의 sparsity와 connectivity를 이용해서 3D shape을 어떻게 구성할 수 있을까에 대한 문제에 대해 설명을 해주셨는데, 처음 접하는 사람들도 잘 이해할 수 있도록 명확하게 설명해주셔서 강의에 빠져들어 들었던 것 같습니다. 김영민 교수님의 수업을 들어보지는 못했지만 이런 내용의 강의가 있다면 참여해서 들어보고 싶다는 생각을 했고, 저의 연구 과정에 있어서 굉장히 큰 영감을 주셔서 감사했습니다.

그 외에도 전병곤 교수님께서는 요즘 큰 이슈가 되고 있는 GPT-3에 대한 설명을 해주셨고 강유 교수님께서는 다양한 변수가 작용하는 상황에서 AI를 이용해 주가 예측을 하는 방법에 대한 소개를 해주셨습니다. 많은 학생들이 관심을 가지고 있는 분야인 만큼 다양한 질문들이 많이 나와 강의를 듣는 내내 지루함 없이 집중해서 들을 수 있었던 것 같습니다. 특히 그 시간 뒤에는 서울대학교 신진 박사연구원들의 연구를 소개받는 시간이 나왔는데, 앞선 사람이 뒷 사람을 소개해주면서 서로의 연구에 대해 질문을 해주는 장면에서 너무나 이상적인 연구원들의 모습을 볼 수 있어서 인상깊었습니다. 요즘에 인공지능이라는 키워드가 굉장히 효과적으로 작용하고 있고, 그래서 많은 분야에서 많은 사람들이 관심을 가지며 정말 많은 논문들이 끊임없이 쏟아져 나오고 있는데, 제대로 홍보되지 못한 논문들은 좋은 연구임에도 불구하고 많은 사람들이 접하지 못하게 되는 경우가 많아 아쉬움을 많이 받았었습니다. 오늘 본인의 연구들을 소개해주신 유재민님, 이상선님, 김병창님, 그리고 이경재님의 연구도 그 중 하나라고 생각하고, 이번 기회를 통해 처음으로 알게 된 논문들이 대부분이었습니다. 그러나 이번 AI 여름학교라는 자리를 통해 세계적으로 유명한 석학들의 강의와 함께  서울대학교 신진 박사 학위연구자들의 연구들을 홍보함과 동시에 저와 같은 AI 연구자들이 공유받을 수 있어서 굉장히 유익한 자리였다고 생각합니다. 특히 박사 학위 연구자들의 발표는, 그분들이 박사 학위를 받기 위해 쓴 논문들을 통해 연구의 발전 과정을 함께 알 수 있어서 제가 앞으로 박사 과정 생활을 준비하는데 큰 도움을 받을 수 있었습니다. 연구를 하면서 이 연구가 얼마나 효과적으로 작용하는지도 중요하지만, 이 연구가 나오게 된 motivation과 그래서 어떻게 이 모델이 나오게 되었는지의 과정이 얼마나 다른 연구자들에게 영향을 줄 수 있는지 깨닫게 되었는데 본 프로그램을 통해서 다른 연구자들이 어떻게 이 연구를 선택하게 되었고 어떤 과정으로 모델을 완성했는지 그 과정을 들을 수 있었던 것 같아 많은 것을 배울 수 있었습니다. 지난 3일간 AI 여름학교에서 진행하는 강의를 통해서 다양한 분야를 접해볼 수 있었고, 서울대학교가 얼마나 AI에 관심을 가지고 연구에 임하고 있는지 서울대학교 학생뿐만 아니라 본 행사를 접할 수 있는 관련 직종의 사람들에게 전달할 수 있었던 것 같아 매우 자랑스러웠던 것 같습니다. 이런 좋은 자리를 가질 수 있게 노력해주신 서울대 컴퓨터공학부와 서울대학교 AI연구원, 그리고 컴퓨터연구소께 감사의 말씀을 드리고 싶고, 이런 행사가 앞으로도 자주 열려서 AI 연구자들이 본인의 연구를 자유롭게 홍보하고 세계적인 석학들과 의견을 주고 받을 수 있었으면 좋겠습니다. 좋은 프로그램을 만들어주셔서 감사합니다.