H100보다 메모리 용량 3배↑
LLM 병목 현상 획기적 개선해
기업용 AI 추론 성능 극대화
삼성SDS가 국내 최초로 자사 클라우드 플랫폼인 ‘삼성 클라우드 플랫폼’(SCP)을 통해 엔비디아의 최신 그래픽처리장치(GPU) ‘B300’(블랙웰 울트라) 기반 GPU 구독형 서비스(GPUaaS)를 출시했다고 23일 밝혔다. 이번 서비스는 기업들이 인공지능(AI) 모델 개발을 넘어 실제 서비스에 적용하는 AI 추론 단계로 진입함에 따라 급증하는 고성능 컴퓨팅 수요에 대응하기 위한 전략의 일환이다.
새롭게 도입된 B300 GPU는 12단 HBM3E(고대역폭메모리)를 탑재해 GPU당 288GB의 메모리 용량과 초당 8TB의 대역폭을 제공한다. 이는 기존 주력 모델인 H100과 비교했을 때 용량은 3.6배,대역폭은 2.4배 향상된 수치로,복잡한 연산이 필요한 AI 추론 영역에서 압도적인 성능을 자랑한다. 특히 거대언어모델(LLM) 실행 시 연산 처리 속도에 비해 느린 메모리의 데이터 전송 속도로 인해 발생하던 고질적인 데이터 병목 현상을 획기적으로 개선했다는 평가를 받는다.
이를 통해 ‘SCP B300 GPUaaS’를 도입하는 고객은 AI 에이전트,이미지,영상,코드 생성 및 분석 등 고성능이 요구되는 AI 서비스의 지연시간을 최소화할 수 있다. 또한 필요한 만큼 사용하고 비용을 지불하는 구독형 모델을 통해 초기 투자 리스크를 줄이면서도 최신 GPU 아키테처를 즉시 업무에 도입할 수 있는 것이 강점이라고 삼성SDS는 설명했다.
여기에 삼성SDS의 보안 역량이 결합된 클라우드 환경에서 민감한 기업 데이터를 안전하게 처리할 수 있다는 점도 주요 특징이다.
특히 삼성SDS는 B300 GPUaaS 출시 외에도 올 3분기 중 사용한 토큰량만큼만 비용을 지불하는 ‘서버리스 추론 서비스’와 개발자가 코드와 데이터를 입력하면 자동으로 AI를 분산학습시키는 ‘AI 학습 서비스’를 추가로 선보일 계획이다.
앞서 삼성SDS는 지난 2021년 A100,2023년 H100 기반 서비스를 선제적으로 내놓으며 국내 GPUaaS 시장을 주도해 온 바 있다.
이호준 삼성SDS 클라우드서비스사업부장(부사장)은 “SCP가 보유한 자원 최적화·에너지 절감 등 GPU 효율화 역량을 바탕으로 대기업,중견·중소,공공 등 AI를 업무에 적용하려는 고객에게 국내 최초 B300 GPU 서비스를 제공해 AX(인공지능 전환)를 적극 지원하겠다”고 말했다.