GPU 넘어 NPU까지···삼성SDS, AI 인프라 선택지 넓힌다

사진=삼성SDS 제공

인공지능(AI) 산업의 무게중심이 모델을 만드는 '학습(Training)'에서 실제 서비스에 활용하는 '추론(Inference)'으로 이동하면서 신경망처리장치(NPU)의 중요성이 커지고 있다. 삼성SDS는 이러한 AI 인프라 수요 변화에 맞춰 국산 NPU를 클라우드에서 구독형으로 이용할 수 있는 서비스를 선보이며 AI 인프라 선택지 확대에 나섰다.

삼성SDS는 퓨리오사AI의 2세대 NPU '레니게이드(RGND)'를 기반으로 한 NPUaaS(NPU as a Service)를 삼성 클라우드 플랫폼(SCP)에 탑재해 출시했다고 20일 밝혔다.

NPU는 AI 추론을 저전력·고효율로 수행하도록 설계된 AI 전용 프로세서다. 범용 연산을 담당하는 중앙처리장치(CPU), 대규모 병렬 연산을 기반으로 AI 모델 학습과 추론에 활용되는 그래픽처리장치(GPU)와 달리 AI 연산에 특화돼 있다.

AI 시장에서는 생성형 AI 서비스 확산과 함께 AI 반도체 수요의 중심이 학습에서 추론으로 점차 이동할 것으로 보고 있다. 과거에는 대규모언어모델(LLM)을 개발하고 학습시키는 데 막대한 연산 자원이 필요했다면, 앞으로는 학습된 AI 모델을 실제 서비스에 적용해 대규모 이용자의 요청을 빠르고 효율적으로 처리하는 추론 인프라의 중요성이 더욱 커질 전망이다.

특히 AI 서비스 규모가 커질수록 전력과 운영 비용이 핵심 부담으로 작용하는 만큼 추론에 특화된 NPU가 대안으로 주목받고 있다. NPU는 특정 AI 추론 작업을 상대적으로 적은 전력으로 처리할 수 있어 전력 및 운영 비용 절감에 유리하다. 전용 하드웨어를 활용해 연산 효율을 높이고 동일한 전력으로 더 많은 요청을 처리할 수 있어 서비스 응답 속도와 지연시간(Latency) 개선에도 효과적이다.

퓨리오사AI의 2세대 NPU 레니게이드는 AI 추론에 특화된 국산 NPU다. 이미 학습된 AI 모델을 실제 서비스에 적용해 답변 생성, 문서 분석, 이미지 판별 등을 처리하는 추론 단계에서 높은 전력 효율성과 비용 효율성을 제공하는 것이 특징이다.

삼성SDS의 NPUaaS 고객은 NPU 서버를 직접 구매하거나 자체 데이터센터에 구축하지 않고도 SCP를 통해 구독형으로 이용할 수 있다. 기업의 수요와 데이터 규모에 따라 NPU를 1장, 2장, 4장, 8장 등 원하는 단위로 선택할 수 있어 스타트업부터 대기업까지 AI 서비스 규모에 맞춰 활용할 수 있다.

고성능 스토리지와 컴퓨트, 고속 네트워크 등 SCP의 다양한 상품과도 연계할 수 있다. 삼성SDS는 NPUaaS를 SCP의 소버린 클라우드 환경으로 제공해 엄격한 보안 규제를 적용받는 공공 고객의 활용도 지원할 예정이다.

삼성SDS는 이번 NPUaaS 출시를 통해 기존 GPUaaS에 더해 NPU 기반 연산 자원까지 서비스 영역을 넓혔다. 이를 통해 고객의 AI 인프라 선택권을 확대하는 한편 국산 NPU 기반 AI 인프라 확산과 소버린 AI 구축에도 속도를 낸다는 계획이다.

이호준 삼성SDS 클라우드서비스사업부장(부사장)은 "이번 NPUaaS 출시는 단순히 새로운 클라우드 상품을 선보이는 것을 넘어 고객이 고성능 AI 기술을 더 유연하고 가성비 높게 사용할 수 있다는 데 의의가 있다"며 "앞으로도 고객 니즈 해결을 위해 SCP 기반 상품을 다양화하고 클라우드 AI 기술 생태계를 지속적으로 선도해 나갈 것"이라고 말했다.