김경록 울산과학기술원(UNIST) 전기전자공학과 교수: 초절전 3진법 반도체가 열어갈 미래

약력

2020~현재: UNIST 교수

2019~현재: ㈜터넬 CEO

2014년~2020년: UNIST 부교수

2010년~2014년: UNIST 조교수

2006년~2010년: 삼성전자 반도체 연구센터 선임 엔지니어

2004년~2006년: 스탠퍼드 대학교 박사후 연구원

2004년: 서울대학교 전기공학 및 컴퓨터 공학 박사

2001년: 서울대학교 전기공학 및 컴퓨터 공학 석사

1999년: 서울대학교 전기공학부 학사 

AI반도체 시대의 서막

(출처: Designed by Freepik)

최근 인공지능(AI) 반도체에 대한 열기가 매우 뜨겁다. 4차산업혁명의 핵심 두 축인 AI(소프트웨어)와 반도체(하드웨어)가 합쳐졌으니 얼마나 핫(hot)한 이슈인가. 시장에 대한 열기도 뜨겁지만, 실제 AI반도체가 방출하는 열에너지 또한 상상을 초월한다. 요즘 많은 사람들이 사용하는 AI 서비스인 챗GPT 운영비용이 하루 10억 원에 이를 정도로 어마어마한 전력을 사용하고 있다. 

이에 전력 소모를 최소화할 수 있는 AI 전용 반도체를 설계하고 최적화하는 것은 당연한 수순이다. 그런데, 이 시급한 당면과제의 해결이 요원해 보인다. AI반도체의 기능적 핵심은 가중치의 벡터행렬곱(VMM) 연산을 통한 학습과 추론이다. 문제는 거대언어모델(LLM) 학습과 추론을 위해 기하급수적으로 증가한 데이터의 양이다.

늘어난 데이터 용량은 현재 고대역폭메모리(HBM)를 통해 온칩(ON-CHIP) 프로세서에 빠르게 제공되고 있지만, 온칩 메모리 병목현상으로 인한 발열 문제가 심각하다. 엔비디아의 고성능 그래픽처리장치(GPU) 기반 수천 개 코어의 병렬 처리방식이 현재 반독점 조사를 받을 만큼 거의 유일한 대응책이지만, 막대한 에너지를 소모하고 있다. 이미 열린 AI반도체 시장의 요구에 해결책이 아닌, 현존하는 1세대 기술로 대응하기에 급급한 형국이다.

혁신적인 초저전력, 초절전 반도체가 필요

물론, 저전력 AI반도체 설계에 대한 노력의 결과물도 시장에 출현하고 있다. 바로 2세대 기술인 신경망처리장치(NPU)가 그것인데, AI 알고리즘 및 모델에 최적화되어 맞춤 설계된 일종의 주문형반도체(ASIC)이다. 저전력을 위한 최적화 기술인 가중치 quantization1), 신경망 pruning2), 0-skipping3) 등을 통해 메모리 사용량을 줄이고 저전력으로 AI 연산을 수행한다는 점에서 2세대로 분류된다. 하지만, 모델 크기가 외부메모리 용량에 제한되는, 말 그대로 프로세서이기에 발열의 주원인인 메모리 병목현상의 해결에는 여전히 한계를 가지고 있다.

이러한 메모리 병목현상 문제를 원천적으로 해결하기 위해, 메모리 안에서 연산 처리가 가능한 프로세싱-인-메모리(PIM)가 다음 3세대의 궁극적인 초저전력 AI반도체로 주목받고 있다. PIM을 구현하기 위해 다양한 메모리 아키텍처가 시도되고 있지만, 프로세서에 가장 가까운 온칩 메모리인 SRAM이 원리적으로나 현실적인 파운드리 양산 기술 면에서 유리하다. 

문제는 SRAM 셀 하나에 6개 이상의 트랜지스터가 집적되어 단위 면적당 저장밀도가 낮을 뿐 아니라 소모 전력 또한 크다는 점이다. 3세대 PIM이 현실화되기 위해서는 2세대의 소프트웨어 기반 저전력 회로 최적화 기술에 더해 하드웨어에서도 초절전을 구현할 수 있는 혁신적인 반도체소자 기술이 필요한 이유가 여기에 있다. 

초절전 3진법 AI반도체가 열어갈 미래

(출처: Designed by Freepik)

현재의 반도체는 2진법, 즉 0과 1을 저장하고 처리한다. 두 개의 트랜지스터가 ‘ON’과 ‘OFF’ 상태를 상보적으로 동작하여 디지털{0, 1}을 구현하기에 상보형반도체(CMOS)라 불린다. 앞서 언급한 SRAM은 이 CMOS의 입출력을 서로 연결하여 래치 형태로 정보를 저장한다.

본 연구진은 CMOS와 동일한 면적에서 ‘OFF’상태의 누설전류만으로 3개의 상태를 구현하는 초절전 3진(Ternary)-CMOS 기술을 상용 파운드리 웨이퍼에서 성공적으로 시연하여 2019년 네이처 일렉트로닉스 지에 발표하였다. 이 T-CMOS 기술을 기반으로 ㈜터넬을 창업하였고, 최근 기존 SRAM과 동일 성능 기준, 소모 전력(Power)과 면적(Area) 효율 모두 개선된 T-SRAM ‘TritCellTM’을 세계 최초로 개발하였다. 지난 반세기동안 정형화된 온칩 SRAM의 저장밀도를 증가시키면서도 소모 전력과 면적을 획기적으로 감소시킬 수 있는 유일한 기술이다.*

특히, 기존 CMOS의 열에 민감한 열확산 전류와는 달리, T-CMOS는 열에 둔감한 터널링 누설전류이기에 열적으로 안정되어 신뢰성 또한 높다. 따라서, 발열 이슈가 큰 10nm 이하로 CMOS 기술 노드가 미세화됨에 따라 신뢰성 개선 효과가 더욱 가속화될 것으로 전망된다. 이렇게 전통적인 ‘저장형’ 메모리 T-SRAM뿐만 아니라 TritCellTM 기반 ‘연산형’ 메모리 T-CIM 개발 또한 성공하여, 오는 11월 회로 분야 유명 학회인 IEEE Asian Solid-State Circuit Conference에서 발표할 예정이다.

AI 연산의 기본 수 체계는 3진 가중치 벡터{-1, 0, 1}이다. 그리고, 기존 2진법 시스템과 호환할 수 있는 초절전 3진법 반도체 기술이 준비되어 있다. 이 초절전 하드웨어 플랫폼을 통해 가까운 미래에 3세대 PIM 기술의 완성과 함께, 궁극적인 초저전력 온디바이스 AI 구현이 기대된다. 이를 위해, 터널링 누설전류 기반 초절전 3진법 반도체와 같은 새로운 반도체를 트랜지스터 레벨부터 이해하고 이를 구동할 수 있는 회로설계 능력과 함께, 기존 시스템과 호환할 수 있는 디지털-아날로그 혼성시스템 운영 소프트웨어에 이르기까지, 통합형 AI반도체 설계 인재들에게는 무한한 기회가 열려 있다.

1)가중치 quantization: 실수인 가중치를 정수로 양자화하여 모델을 경량화 

2)신경망 pruning: 연산에 불필요한 신경망 연결을 제거하여 연산 효율 개선

3)0-skipping: 행렬 곱셈에서 0을 제외하여 0이 아닌 값만을 연산에 활용

*혁신적인 초절전 3진법 반도체 소자 기술을 기반으로 ‘변화 없는’ 중간상태를 더욱 빠르게 읽고 쓸 수 있는 주변 회로, 그리고 기존 2진 시스템에 플러그인(PLUG-IN)이 가능한 고속 2진~3진 컨버터 I/O 시스템블록까지 통합 구현했기에 가능한 성과다.