엔비디아와 협력 강화 나선 클라우드 기업들…‘블랙웰 GPU’ 품는다

권용만 기자

권용만 기자



입력 2024.03.23 08:00

다른 공유 찾기기사스크랩하기글씨크기인쇄하기

AWS, ‘블랙웰’ 기반 인스턴스와 슈퍼컴 ‘프로젝트 세이바’ 발표
구글·마이크로소프트, 생성형 AI 환경 확장 위해 파트너십 강화
오라클, 엔비디아와 ‘소버린 AI’ 솔루션 위한 협력 확대

아마존 웹 서비스(AWS), 구글 클라우드, 마이크로소프트, 오라클 등 주요 클라우드 기업들이 생성형 인공지능(AI) 시대를 위해 엔비디아와 협력을 강화한다. 이들 클라우드 기업들은 엔비디아의 ‘블랙웰(Blackwell)’ 그래픽처리장치(GPU) 인프라를 활용한 다양한 서비스를 고객에 제공한다는 계획이다.
엔비디아가 18일(현지시각) 역대 최대 규모로 진행한 AI콘퍼런스 'GTC 2024'에서 선보인 블랙웰은 생성형 AI 시대에 최적화한 차세대 GPU다. 이 제품은 이전 세대 대비 최대 25배 적은 비용과 에너지로 조 단위의 대규모 언어 모델(LLM)에서 실시간 생성형 AI를 구축하고 실행할 수 있도록 지원한다.



대규모 생성형 AI 환경 위한 엔비디아 블랙웰 기반 DGX 슈퍼팟 / 엔비디아

AWS, ‘블랙웰’ 기반 인스턴스와 슈퍼컴퓨터 ‘프로젝트 세이바’ 발표

AWS는 5세대 엔비디아 NV링크로 상호 연결된 72개의 블랙웰 GPU와 36개의 그레이스 CPU로 구성된 ‘GB200 NVL72’ 기반 엔비디아 블랙웰 플랫폼을 제공할 예정이다. 고객은 고급 가상화와 하이퍼스케일 클러스터링의 지원을 받으면 수천 개의 GB200 슈퍼칩까지도 확장 가능하다.
또한 AWS는 EC2(Elastic Compute Cloud) 울트라클러스터에 배치된 새로운 B100 GPU를 탑재한 EC2 인스턴스를 제공할 계획이다. 엔비디아 DGX 클라우드에서도 GB200을 사용할 수 있다. AWS상에서의 블랙웰 기반 DGX 클라우드 인스턴스는 1조 개 이상의 파라미터를 처리할 수 있는 최첨단 생성형 AI와 LLM의 개발을 가속화할 것으로 기대된다.
아마존 EC2의 GB200을 통해 AWS는 고객이 AWS 니트로 엔클레이브와  AWS KMS(키 관리 서비스)를 사용해 EC2 인스턴스와 함께 신뢰할 수 있는 실행 환경을 구축하도록 지원한다. 니트로 엔클레이브를 통해 고객은 자신의 통제 하에 있는 키 재료(key material)를 사용해 KMS로 훈련 데이터와 가중치를 암호화할 수 있다. AWS 내부 운영자조차도 키에 액세스하거나 훈련 데이터 또는 모델 가중치를 복호화할 수 없도록 보장해 고객이 자신의 데이터를 통제할 수 있게 한다.
한편, AWS 리인벤트 2023에서 발표된 프로젝트 세이바는 세계에서 가장 빠른 AI 슈퍼컴퓨터를 구축하기 위해 엔비디아와 AWS가 협력하는 프로젝트이다. AWS에서 독점적으로 호스팅되는 이 슈퍼컴퓨터는 엔비디아의 자체 연구 개발에 사용된다. 엔비디아 GB200 NVL72시스템을 기반으로 구축된 세이바는 이전 세대 GPU 기반이었던 초기 계획에 비해 6배나 향상된 성능을 제공한다.  
2만736개의 B200 GPU를 사용하는 이 시스템은 새로운 엔비디아 GB200 NVL72시스템을 기반으로 구축되며, 엔비디아 GB200 NVL72시스템은 5세대 NV링크 기술로 2만736개의 B200 GPU와 1만368개의 엔비디아 그레이스 CPU를 연결한다. 이 슈퍼컴퓨터는 4세대 EFA 네트워킹을 통해 확장되고, 슈퍼칩당 최대 800Gbps의 저지연, 고대역폭 네트워킹 처리량을 제공해 414엑사플롭(EFlops)의 대규모 AI를 처리할 수 있다.

구글 클라우드·마이크로소프트, 생성형 AI 환경 확장 '엔비디아와 파트너십 강화'

구글은 새로운 엔비디아 그레이스 블랙웰 AI 컴퓨팅 플랫폼을 도입하고, 구글 클라우드에 엔비디아 DGX 클라우드 서비스를 적용한다고 발표했다. 아울러 엔비디아 H100 기반 DGX 클라우드 플랫폼은 이제 구글 클라우드에서 정식으로 사용할 수 있다.
또한 구글은 구글 쿠버네티스 엔진에 NIM 추론 마이크로서비스가 통합된다고 밝혔다. NIM은 기업에서 생성형 AI 배포 속도를 높이고, 원활하고 확장 가능한 AI 추론을 지원한다. 이와 함께, 양사는 엔비디아 GPU와 엔비디아 H100 그리고 L4 텐서 코어 GPU 기반의 버텍스 AI 인스턴스에서 고성능의 머신러닝 프레임워크인 JAX를 지원한다고 발표했다.

마이크로소프트는 엔비디아 ‘그레이스 블랙웰 GB200’과 ‘퀀텀-X800 인피니밴드’ 네트워킹 구성을 애저에 도입할 계획이라고 밝혔다. 또한 마이크로소프트는 엔비디아 H100 NVL 플랫폼에 기반한 애저 NC H100 v5 VM(virtual machine)의 정식 출시를 발표했다.
NC 시리즈 VM은 미드레인지 훈련과 추론을 위해 설계됐고, 고객들에게 1개에서 2개의 엔비디아 H100 94GB PCIe 텐서 코어 GPU로 구성된 두 등급의 VM을 제공한다. 또한 엔비디아 멀티 인스턴스 GPU(MIG) 기술을 지원해, 각 GPU를 최대 7개 인스턴스로 분할할 수 있어 다양한 AI 워크로드를 위한 유연성을 제공한다.
이와 함께, 마이크로소프트는 의료와 생명 과학 분야를 위해 애저의 강력한 성능을 엔비디아 DGX 클라우드와 엔비디아 클라라 마이크로서비스 제품군과 함께 활용할 수 있게 제공한다고 밝혔다. 또한 마이크로소프트는 엔비디아의 ‘옴니버스 클라우드’ API를 올해 말 애저에서 제공할 예정이며, 엔비디아 GPU와 엔비디아 트리톤 추론 서버(Triton Inference Server)는 마이크로소프트 365용 코파일럿에서 AI 추론 예측을 지원한다고 소개했다. NIM 추론 마이크로서비스도 애저 AI에 도입돼, AI 배포 가속화를 지원할 예정이다.

오라클, 엔비디아와 ‘소버린 AI’ 솔루션 위한 협력 확대

엔비디아와 오라클은 고객들에 소버린 AI 솔루션을 제공하기 위해 협력을 확대한다고 발표했다. 오라클의 분산형 클라우드, AI 인프라와 생성형 AI 서비스는 엔비디아의 가속 컴퓨팅과 생성형 AI 소프트웨어와 결합해 정부와 기업이 국가 또는 조직의 안전한 시설 안에서 클라우드 서비스를 실행할 수 있는 ‘AI 팩토리’를 구축할 수 있도록 지원한다.
오라클 엔터프라이즈 AI는 OCI(오라클 클라우드 인프라스트럭처) 전용 리전, 오라클 알로이, 오라클 EU 소버린 클라우드, 오라클 정부 클라우드에 배포 가능하다. 26개국 66개 클라우드 리전에서 고객들은 100개 이상의 클라우드와 AI 서비스에 액세스할 수 있다. 양사의 통합 솔루션은 퍼블릭 클라우드 또는 특정 위치의 고객 데이터센터에 유연한 운영 제어를 통해 배포할 수 있다.
또한 오라클은 최신 엔비디아 그레이스 블랙웰 컴퓨팅 플랫폼을 OCI 슈퍼클러스터와 OCI 컴퓨트에 활용할 계획이다. OCI 컴퓨트에는 엔비디아 GB200 그레이스 블랙웰 슈퍼칩과 엔비디아 블랙웰 B200 텐서 코어 GPU가 모두 탑재될 예정이다. 또한 검색 증강 생성(RAG) 추론 배포를 위한 엔비디아 네모 리트리버를 포함한 엔비디아 NIM과 쿠다-X 마이크로서비스도 활용된다.
‘엔비디아 DGX 클라우드 온 OCI’에도 엔비디아 그레이스 블랙웰이 추가돼, 고객들에 ‘GB200 NVL72’ 기반 인스턴스를 제공한다. 전체 DGX 클라우드 클러스터 구축에는 2만개 이상의 GB200 가속기와 엔비디아 CX8 인피니밴드 네트워킹이 포함돼 확장성과 성능이 뛰어난 클라우드 인프라를 제공한다는 계획이다.
권용만 기자 yongman.kwon@chosunbiz.com

기자의 다른기사

저작권자 © IT조선 무단전재 및 재배포 금지

관련기사

SK하이닉스, 엔비디아 'GTC'서 최신 AI 메모리 솔루션 선봬

엔비디아, 비주얼 콘텐츠 제공업체 위한 ‘3D 생성형 AI’ 출시

SK하이닉스, 엔비디아 GTC에서 AI PC용 최고 성능 SSD 신제품 공개

델, 엔비디아 기반 생성형 AI 지원 포트폴리오 강화

레노버, 맞춤형 ‘하이브리드 AI’ 솔루션 공개…“최신 GPU 탑재”

엔비디아, 생성형 AI 최적화 ‘블랙웰’ GPU 발표…“이전 대비 성능 5배 향상”

뉴스이슈