인간두뇌 구현을 위한
차세대 인공지능 시스템 개발 센터

AI를 구현하기 위해서는 엄청난 컴퓨팅 자원과 에너지가 소요됩니다. 서울대의 컴퓨터 시스템 전공 교수들이 역량을 집결하여 차세대 인공지능 수행을 위한 최적의 컴퓨터 시스템 구조 및 개발 방향을 제시합니다.

• 연구목적

  연구의 목적은 기본적으로는 서울대학교 컴퓨터 시스템 분야 교수들의 전문성을 결집하여, 미래형 인공지능 시스템 설계의 가이드라인을 제시하는 것이다. 건물을 짓기 전 설계 가이드라인 문서를 산출하듯이, 인공지능 시스템의 설계 가이드를 만들고자 한다. 가이드라인이 완성되면 서울대학교에서 독자적으로 미래를 선도하는 최적의 인공지능 컴퓨터 시스템 개발의 원동력이 될 것이다.

• 연구내용

  인간두뇌 수준의 인공지능을 구현할 컴퓨터 시스템의 “설계 요구사항＂은 다음과 같으며, 본 센터는 이 요구사항을 만족하는 시스템을 설계할 수 있는 가이드라인을 연구한다.

  1. 초고성능의 대규모 시스템 설계

  • 사람의 두뇌는 109개 이상의 뉴런들의 조합으로 이뤄져 있으며, 뉴런당 103개 이상의 시냅스를 가지고 있어서 총 1012개 이상의 시냅스 연결로 이뤄져 있다. 산술적 계산으로 이런 시스템을 시스템을 구현하려면, 1012개의 계산기가 필요하고, 시냅스당 수 바이트의 저장량만 고려해도 1015 Byte의 절대적인 메모리량이 필요하게 된다. 메모리 부분을 무시하고 인간의 1개 두뇌와 같은 속도의 연산을 위해선, 초당 1018개의 연산 (1 Exa-ops/second) 이 요구되는데, 현재 Nvidia의 데이터센터가 400개의 GPU를 이용하여 초당 50*1015개의 연산을 수행하며 (50 Peta-ops/second) [3], Google의 최신 데이터센터가 1024개의 3세대 TPU 프로세서를 이용하여 초당 1017개의 연산 (100 Peta-ops/second)을 수행하는 수준이다 [4]. 그렇다면 Nvidia의 최신 데이터센터를 이용해 인간두뇌 1개에 상응하는 연산을 지원하려면 총 500개의 랙을 세워야 하며, 이 시스템은 8000개의 GPU를 사용하며 12mW의 파워를 소모할 것이며, 시스템 구축 비용은 2억 달러를 넘게 된다. 그러므로 인간두뇌 수준의 컴퓨터 시스템을 개발하려면 최소 Exa-scale 수준의 차세대 컴퓨터 시스템을 구축해야 할 것이며, 해당 시스템의 성능 대비 가격/공간/전력 사용량을 최소화화기 위한 첨단 exa-scale 데이터센터 설계 역량이 필요할 것이다.

  2. 초저전력 시스템 설계

  • 위에서 예시한 시스템은 이미 초당 12mW의 파워를 소모하게 되는데 인간의 두뇌가 20-30W를 소모하는 것을 고려하면, 인간 두뇌 수준의 효율성을 확보하려면 당대 최고의 인공지능 전력 효율을 40-60만배까지 증가시켜야 한다. 이 에너지 효율은 인간두뇌 수준의 지능을 갖춘 모바일 시스템이 달성해야 할 절대적인 목표이기도 하다. 즉, 그러므로 차세대 인공지능 시스템은 이런 절대적인 파워효율의 문제를 해결하기 위한 첨단 컴퓨터 시스템 설계 및 운영기술이 종합적으로 적용되야 할 것이다.

  3. 새로운 연산기의 필요성

  • 현재 인더스트리와 연구기관들은 CPU [5], GPU [6], FPGA [7], ASIC [1, 8, 9]과 이들의 혼합 등 다양한 형태의 인공지능 연산기를 제시하고 있다. 이들은 프로그래밍, 구현 유연성, 성능과 전력, 공간 효율 등에서 독자적인 장단점을 가지고 있고, 어느 선택도 exa-scale 연산 목표와 전력 효율, 그리고 다양한 형태의 인공지능 모델을 수행할 수 있는 유연성을 확보하지 못하고 있다. 그러므로 인간두뇌 모델에 최적화된 새로운 연산기에 대한 설계 필요할 것으로 예측된다.

  4. 새로운 메모리 및 스토리지 기기의 필요성

  • 위의 예시에서 언급했듯이 1개 인간두뇌의 시냅스, 입력/출력 관련 정보를 저장하기 위해선 수십 Peta 바이트 수준의 저장 공간이 요구된다. 그러나 이런 대규모 데이터를 어떤 스토리지 기기에 저장하고, 어떻게 수천 개의 GPU 등의 연산장치에 실시간 전달하는가에 대한 문제를 해결해야 할 것이다. 그리고 이 문제는 복수의 인간두뇌를 동시에 구현한다면 그 문제는 두뇌 수에 비례해 증가할 것이다 ([10, 11]).

  5. 새로운 네트워크 기기에 대한 필요성

  • 위의 예시에서 언급했듯이 1개 인간두뇌를 구현하려면 1만개에 가까운 연산기, 수천 개의 서버 노드, 수백 대의 랙이 밀접하게 연결되어야 한다. 이를 위해선 수백, 수천 개의 연산기, 노드, 랙을 연결하는 첨단 Intra-node 인터커넥션 및 Inter-node/rack 연결기술이 필수적으로 요구된다 ([12, 13, 14, 15]).

  6. 새로운 시스템 소프트웨어 스택에 대한 필요성

  • 이런 대규모 시스템은 이런 시스템을 고려하여 설계된 전용 시스템 소프트웨어가 없다면 목표 성능 및 전력효율을 전혀 달성할 수 없게 된다. 예를 들어 시스템 소프트웨어 스택은 프로그램 지원 및 컴파일링, 시스템 구성 및 자원 할당, 디바이스 제어, 데이터 이동, 성능 간섭 최소화, 보안 등의 문제를 종합적으로 해결해야 한다 ([16, 17, 18, 19]).