"HBM 필요없다"···삼성전자, AI반도체 이끌 '마하1'의 비밀

AI반도체 이끌 비밀병기···"8배의 파워 효율 목표"

메모리 칩은 LPDDR 사용···가격·소비전력 장점 ↑

"연산처리 늘리고 메모리 줄이는 식으로 설계될 것"

경계현 삼성전자 DS부문 대표이사 사장. 사진=인스타그램 캡쳐

"추론 전용인 마하(Mach)-1에 대한 고객들의 관심 또한 증가하고 있다"

최근 경계현 삼성전자 DS(디바이스 솔루션)부문 사장은 자신의 SNS에 4일간의 미국 출장 소회를 밝히며 이같이 말했다. 마하1은 엔비디아 GPU(그래픽저장장치) 의존도를 탈피하기 위해 삼성전자가 개발 중인 대규모언어모델(LLM)용 칩을 뜻한다.

경 사장이 마하1을 처음으로 언급한 건 지난달 열린 정기 주주총회에서다. 당시 그는 "현존하는 AI 시스템은 메모리 병목으로 성능 저하와 파워(연산 능력) 문제를 안고 있다"며 "메모리 처리량을 8분의 1로 줄이고 8배의 파워 효율을 갖게 하는 것을 목표로 현재 개발 중인 마하1 AI 인퍼런스(추론) 칩은 혁신의 시작이 될 것"이라고 말했다.

엔비디아 GPU가 AI 시대의 로직칩(논리적 연산을 수행하는 반도체)을 지배하는 이유는 연산처리방식 때문이다. 그동안 데이터센터에 주로 활용됐던 CPU(중앙처리장치)의 연산처리는 명령어를 순서대로 처리하는 '직렬'이지만 GPU는 여러 명령어를 동시에 처리하는 '병렬' 방식을 활용한다. AI는 복잡한 계산보다 반복적인 학습을 통해 대량의 데이터를 한 번에 처리해야 하기에 GPU 수요가 늘어날 수밖에 없었던 것이다.

하지만 GPU는 고사양 그래픽 게임용 칩이었지 AI를 위한 반도체가 아니었기에 가격과 전력 면에서 비효율적이라는 지적이 잇따랐다. 지난달 엔비디아가 새로운 아키텍처(프로세서 작동방식) '블랙웰'을 적용해 선보인 AI 칩 'B200'의 가격만 해도 3~4만달러(약 4000~5400만원)에 달한다. AI 인프라 구축을 위해선 수십만개의 GPU가 사용되는 만큼 고객사들은 천문학적인 금액을 지출해야 하는 셈이다.

다만 경 사장의 공언대로 마하1이 기존 AI 시스템 성능을 앞선다면 고객사들은 AI 인프라를 구축할 때 저렴한 가격, 낮은 소비전력이라는 두 마리 토끼를 잡을 수 있게 된다.

현재까지 알려진 엔비디아 GPU와 마하1의 가장 큰 차이는 메모리 반도체를 다르게 사용한다는 점이다. AI에 쓰이는 GPU는 연산에 필요한 데이터를 조달하는 메모리가 옆에 붙어 있는데 GPU는 HBM(고대역폭 메모리)을 활용하는 반면 마하1은 LPDDR(저전력 D램)을 사용한다. HBM(고대역폭 메모리)도 범용 D램 가격 대비 6~7배 높은 것으로 알려졌다.

업계 관계자는 "LPDDR은 가격도 저렴하고 전력 소모도 적은 특징을 갖고 있다"며 "만약에 동일한 성능을 구현할 수 있다면 마하1은 전력 소모를 획기적으로 줄일 수 있고 단가를 낮출 수 있는 경쟁력 갖추게 돼 값비싼 HBM을 굳이 사용할 필요가 없을 것"이라고 말했다.

아직 GPU, CPU 등 마하1의 로직칩이 무엇인지는 알려지지 않았다. 다만 업계에선 AI 딥러닝 알고리즘 연산에 최적화된 프로세서인 NPU(신경망처리장치)를 활용했을 가능성을 제기하고 있다. 앞서 지난해 10월 반도체대전(SEDEX) 기조 연사로 나선 박용인 삼성전자 시스템LSI사업부장 사장은 "AI에 최적화된 건 GPU보다 NPU"라고 평가한 바 있다.

다만 삼성전자 관계자는 "마하1은 메모리 병목 현상을 해결하기 위한 또 다른 형태의 반도체 솔루션"이라며 "AI 추론칩으로 명명하는 것이 바람직하다"고 말했다.

이종환 상명대 시스템반도체공학과 교수는 "앞으로 AI반도체는 메모리와 비메모리를 하나로 만들게 될 것"이라며 "마하1은 프로세서의 연산처리 비중을 높이고 메모리를 줄이는 식의 AI 반도체 설계로 나아가기 위한 첫 단계가 될 것"이라고 말했다.