<2025 봄 콜로퀴움 4회차: LLM을 포함한 머신러닝 모델의 학습과 추론을 위한 스케줄링 최적화 (서지원 교수)>

ㅇ 강연자 : 서지원 교수(첨단융합학부/공과대학 전기·정보공학부)

ㅇ 강연 일시 : 2025년 5월 22일(목) 16시

ㅇ 강연 장소 : 303동 해동첨단공학관 1층 강의실

ㅇ 강연 소개

    인공지능/머신러닝 기법이 많은 응용분야에 사용되면서 이를 효율적으로 실행하는 머신러닝 시스템 분야의 중요도가 높아지고 있습니다.

    본 강연에서는 서지원 교수 연구실에서 최근 수행한 머신러닝 시스템 분야 연구 중, 분산 신경망 학습과 LLM 추론을 위한 스케줄링 최적화 기법을 소개합니다.

    분산 신경망 학습을 최적화 하기 위해 역전파 계산에서의 의존성을 분석하여 Out-Of-Order BackProp이라는 스케줄링 기법을 제안하였고,

    이를 기반으로 단일 GPU, 데이터 병렬, 파이프라인 병렬 학습을 위한 스케줄링 알고리즘을 설계/구현하여 기존 기법 대비 최대 2배의 속도 향상을 달성하였습니다.

    또한, LLM 추론 최적화를 위해 ExeGPT라는 시스템을 제안하였으며 이 시스템은 응답시간(Latency)과 처리속도(Throughput)를 효과적으로 최적화하여

    지연시간 제약하에 Nvidia의 FasterTransformer 대비 최대 15배의 속도 향상을 제공하였습니다.

ㅇ 강사 소개

    서지원 교수는 서울대학교 첨단융합학부/전기정보공학부/협동과정 인공지능전공 소속으로 머신러닝 시스템 연구실을 이끌고 있습니다.

ㅇ 강연 보러가기: [AI 콜로퀴움] LLM을 포함한 머신러닝 모델의 학습과 추론을 위한 스케줄링 최적화 (서지원 첨단융합학부 / 공과대학 전기정보공학부 교수)