Theoretical AI Research Group

As the modern, fast-paced machine learning theory tends to rely on a broad range of mathematical tools, there is a need for a communication nexus supporting leading, collaborative theoretical machine learning research of SNU's theory-oriented members. To this end, the SNU Theoretical AI research Group (STAG) supports regular and intimate interaction among its members who bring a broad theoretical background and coordinates with the graduate school of artificial intelligence. The key goals of STAG include probing new theoretical AI research directions, pursuing synergistic collaborative research, and teaching and advising students of the graduate school of artificial intelligence. We expect the activities of STAG to strengthen the theoretical machine learning research of SNU.

• 머신러닝은 다양한 수학적 도구를 활용하는 기술입니다. AI이론연구그룹(STAG)에서는 수학자들이 중심이 되어 인공지능 전문가들과 긴밀하게 교류하며 수학을 바탕으로 머신러닝을 연구합니다.

• 1 본 사업의 구성원들은 다음 9개의 AI 기반이 되는 이론 분야에서 선도적 연구를 수행해 왔다.

  Bayesian statistics (이재용), Stochastic process (서인석, 박형빈), Topological data analysis(국웅, Otto van Koert), Deep Learning (송현오), Natural language processing(정교민), Reinforcement learning and control(심형보, 양인순), Quantum information theory (이훈희), Optimization (류경석, 이재욱), Security and privacy (천정희, 현동훈)

• 2 STAG의 활동을 통해 AI의 기반, 기술, 개선을 목표로 다음의 연구주제를 탐색한다.
  AI Foundation

  • 종속성이 있는 고차원 변수 데이터에 적용 가능한 베이즈 모형의 개발과 적용
  • 제약과 가능한 통계적 추론의 범위에 대한 이해
  • Stochastic Gradient Descent를 변형한 비대칭적 알고리즘을 통한 최적화 성능 개선 및 머신러닝 효율 개선
  • 시장 데이터를 사용하는 측면에서 금융 상품의 hedging 기술을 개발. 머신러닝 방법을 통해 효율적으로 개선시키는 알고리즘 및 Markowitz 포트폴리오 관리 이론의 구현
  • Topological data analysis를 활용한 feature discovery

  AI Technology

  • 실제 물리적 시스템에 적용 가능한 강화학습 기술 개발 및 이론적 체계 구축: 탐색 능력, 학습 속도 및 안전성 향상
  • ML 모델의 경량화 (pruning), 양자화 (quantization), 구조탐색 (neural architecture search) 등을 위한 조합최적화 알고리즘 및 black-box zeroth-order optimization 연구

  AI Enhancement

  • 최적화 관점에서 머신러닝 훈련의 이해 및 가속화
  • 빠르게 현실화되고 있는 양자컴퓨터를 활용하여 일반적인 데이터의 기계학습의 효율성을 향상
  • 안전한 AI기술 개발: Stability Analysis 기반을 둔 안전한 AI모델의 이론적 프레임워크 개발 및 이를 구현하는 알고리즘 개발
  • 설명가능한 AI 기술 분야 교수님들과 협력하여 구현된 기계학습 및 AI 알고리즘의 안정성 분석
• 3 STAG는 다양한 분야의 구성원들의 협력을 지향하며 다음의 공동연구를 희망한다.
  • (Bayesian + Deep Learning) 고차원 베이즈 모형의 계산 방법의 개발과 구현
  • (Bayesian + Deep Learning) 사회경제적으로 중요한 데이터에 대한 베이즈 모형 적용과 추론
  • (Deep learning + TDA) TDA와 pruning을 활용해 네트워크 훈련이 network topology에 미치는 영향을 위상수학 관점에서 분석
  • (Stochastic + Optimization) 비대칭적 알고리즘을 활용한 머신러닝의 효율 개선
  • (Stochastic + Optimization) 최적화 이론을 연구하는 교수님들과 협업하여 포트폴리오 rebalancing을 위한 빠른 알고리즘을 개발하고 optimal execution의 최적해를 구현
  • (Stochastic + RL) 금융 상품 가격 결정 문제나 포트폴리오 최적화 문제를 확률 제어론과 접목하여 확률미분방정식의 문제로 변환하여 문제를 해결
  • (RL + Optimization) 다양한 탐색 알고리즘들의 연속 상태공간에서의 regret bound 도출 및 regret 관점에서 효율적인 탐색 방법 개발
  • (RL + Optimization) 가속 최적화 알고리즘을 이용한 학습 속도 향상 및 수렴도 분석
  • (RL + Control theory) Lyapunov, Hamilton-Jacobi reachability 방법 등을 이용한 안전성 보장
  • ML context 에서 조합최적화 이론과 black-box zeroth-order optimization 알고리즘을 연구. 기존 분야에 대한 정리와 새로운 이론을 만들기를 희망
  • (S&P + Deep learning) 프라이버시 보존 ML기술 분야 교수님들과 협력하여 안전한 기계학습 및 AI 알고리즘의 보안성 강화
  • (S&P + Optimization) 프라이버시 보존 ML기술 개발: 동형암호로 암호화된 상태에서 ML의 훈련단계를 진행하여 데이터의 프라이버시를 보호하면서 모델을 훈련시키는 기술 개발
  • (S&P + Optimization) Optimization 분야 교수님들과 협력하여 다양한 ML알고리즘을 다항식으로 표현하는 알고리즘 개발해 동형암호를 적용
  • (S&P + Deep learning) ML Practitioner와 협력하여 실제 분야에서 PPML설계 및 구현
  • (Optimization + control) 제어이론과 stochastic differential equation을 이용해 continuous-time stochastic gradient descent를 (SGD) 분석
• 4 STAG의 활동을 통해 기대할 수 있는 성과는 다음과 같다.
  • 고차원 자료에 사용가능한 베이즈 모형의 개발
  • TDA를 통한 심층신경망의 구조에 대한 근본적인 이해
  • 비대칭적으로 변형되어 성능이 개성된 SGD/Simulated annealing 기법 개발
  • 시장 데이터를 효과적으로 이용하는 머신러닝 기술 개발
  • 기존 조합최적화 및 black-box zeroth-order optimization 과 ML context 의 접목
  • 강화학습의 적용 범위를 확대하고, 물리적 시스템의 지능화 및 자율화에 기여
  • 연속 상태공간 강화학습 방법들의 체계적인 연구를 위한 이론적 방향성 제시
  • 안전한 AI 시스템 개발 및 기술이전
  • 양자컴퓨팅을 활용한 기계학습의 효율성 증진 및 관련된 양자정보학 개발
  • 프라이버시 보존 머신러닝 기술 개발 및 기술이전