엔비디아 무너뜨릴 삼성의 비밀병기... ‘마하1’에 담긴 발상의 전환
엔비디아 무너뜨릴 삼성의 비밀병기... ‘마하1’에 담긴 발상의 전환
[WEEKLY BIZ] [김정호의 반도체 특강] 엔비디아가 ‘도로폭’ 늘렸다면, 삼성은 ‘차량 크기’ 줄인 격
김정호 KAIST 전기·전자공학과 교수
입력 2024.05.02. 18:33
업데이트 2024.05.06. 20:34
69
WEEKLY BIZ 뉴스레터 구독하기 ☞ https://page.stibee.com/subscriptions/146096
마하 AI칩 상상도/그래픽=김의균, DALL E
삼성전자는 인공지능(AI) 반도체 시장에서 ‘마하’의 속도로 엔비디아를 따라잡을 수 있을까. 음속(音速)은 초속 343m, 시속 1235㎞에 이른다. 이를 기준으로 속도가 몇 배인가를 나타내는 단위가 ‘마하’다. 그런데 소리의 속도만큼 빠르다는 뜻의 ‘마하1′이란 단어는 지난달 삼성전자의 야심작이자 비밀병기의 이름으로도 깜짝 등장했다.
경계현 삼성전자 DS부문(반도체) 대표이사 사장은 지난달 20일 정기주주총회 이후 진행된 주주와의 대화에서 마하1으로 명명한 AI 가속기를 언급했다. AI 가속기란 AI를 구현하고 실행하는 데 특화한 하드웨어를 뜻한다. 마하1은 삼성전자가 처음 자체 개발해 내년 초 출시할 계획인 AI 반도체 칩에 붙인 이름. 마하1이라고 명명한 것을 보면 삼성전자도 AI 속도 경쟁에 뛰어들었다는 의미가 담겼고, 시장에 충격을 주겠다는 의지도 있어 보인다.
그렇다면 마하1은 어떻게 엔비디아의 아성을 무너뜨리고 질주하려고 하는가. 지금의 AI 가속기에선 데이터 ‘병목 현상’이 작업 처리를 더디게 한다. 처리해야 할 데이터는 나날이 늘어가는데, 정보가 메모리와 AI칩 사이를 원활하게 오가지 못하고 있다. 이에 엔비디아의 고성능 GPU H100에서는 마치 도로의 폭을 늘리듯 HBM(High Bandwidth Memory·고대역폭 메모리)을 써서 데이터 병목 현상을 줄이려 한다. HBM은 D램(정보를 쓰고 지울 수 있는 전자 기기용 메모리 반도체) 여러 개를 수직으로 연결해 한 번에 대량의 데이터를 처리하는 초고성능·초고용량 메모리다. 그런데 이 방법은 비싸고, 공급이 부족하고, 전력 소모가 크다.
마하1에선 완전히 다른 방법을 쓴다. 데이터라는 차량이 확확 지나다니게 도로의 폭을 넓히는 대신 도로를 지나다니는 ‘트럭’ 크기의 데이터를 ‘경차’ 크기의 데이터로 홀쭉하게 압축한다. 발상을 바꾼 셈이다. 마하 1은 ‘NPU(Neural Processing Unit·신경망처리장치)’ 기반의 AI 가속기다. NPU와 메모리 사이에서도 병목 현상은 나타날 수 있다. 이를 피하려 마하1은 우선 NPU와 메모리 사이 교환해야 하는 데이터 크기 자체를 줄인다. 데이터 자체를 압축하는 것이다. 같은 정보를 표현하더라도 메모리 분량을 줄이는 ‘신호처리(Signal Processing)’ 기법을 썼다. 둘째로 ‘양자화(Quantization)’ 기법도 쓴다. 인공지능망 내의 파라미터(매개변수)를 표현할 때 소수점 16자리까지 계산하던 것을 4자리까지만 계산할 수도 있게 해 데이터 군살을 확 뺀다. 그러면 데이터 양이 줄 수 있다. 셋째로 AI 모델의 파라미터 크기 자체를 줄인다. 굳이 이 연산에 필요하지 않겠다고 싶은 것들은 정보 꾸러미에서 솎아내는 데이터 가지치기(Pruning) 기법이다.
마하1이 이렇게 데이터를 성공적으로 압축해내면 굳이 넓은 도로망 역할을 해주는 HBM을 쓸 필요가 없어진다. 그 대신 LPDDR(Low Power Double Data Rate·저전력 메모리)을 쓴다. 주로 핸드폰에 들어가는 저전력 메모리 반도체다. LPDDR은 용도에 따라 계산 속도를 조절해 전력 사용량을 최소화한다. 그 결과, 마하1은 엔비디아 H100에 비해 전력 효율을 8배 이상 높일 수 있다. 가격도 500만원 이하로 예상된다. 그 대신 마하1은 초거대 AI 모델의 ‘학습’보다는 거대언어모델(LLM)과 같은 특정 모델의 ‘추론(생성)’에 특화된다.
삼성전자의 또 다른 전략은 든든한 우군 네이버와의 협력이다. 네이버는 ‘하이퍼클로바X’ 등 AI 기술의 기초가 되는 ‘파운데이션 모델’을 갖고 있다. AI 가속기 구조를 공동 설계할 능력도 갖고 있다. ‘하이퍼클로바X’에 최적화된 AI 가속기용 소프트웨어도 개발할 수 있다. 동시에 AI 수퍼컴퓨터와 데이터센터를 운영하는 전 세계 몇 안 되는 기업이다. 그래서 마하1이 개발되면 바로 사용할 수 있는 수요 기업이기도 하다.
삼성전자는 추후 마하 2·3·4·5 등으로 이름 붙이며 연이어 AI 가속기를 개발할 것이다. 학습용 범용 가속기도 개발할 것이다. 삼성전자는 자체적인 NPU 설계 기술이 있고, 공정 파운드리에서부터 HBM, 패키징 기술까지 있기 때문에 이를 결합하면 세계적으로 경쟁력 있는 AI 선두 기업이 될 수 있다. 이 같은 미래를 꿈꾸며 마하1은 삼성전자가 처음 AI 반도체 시장에 진출하는 상징적 제품이다. 깃발이다. AI시대를 이끌어가는 삼성전자를 기대해본다.
김정호 KAIST 전기·전자공학과 교수
WEEKLY BIZ 뉴스레터 구독하기 ☞ https://page.stibee.com/subscriptions/146096