전략 자산으로 떠오른 GPU, 해법은 NPU에서 찾아야

IT동아 · 2024.10.25 17:22:35

[IT동아 남시현 기자] 현지 시간으로 10월 24일, 백악관이 「인공지능 분야에서 미국의 리더십을 강화하고, 국가 안보 목표를 달성하기 위해 인공지능을 활용하고, 인공지능의 안전성과 보안성, 신뢰성을 강화하기 위한 각서 」를 발표했다. 각서의 주제는 ▲ 인공지능의 활용 ▲ 국가 안보를 위한 정보 ▲ 안정성 및 보안 강화 ▲신뢰성이며, 미국 정부 전체에서 활용하는 AI 모델과 기반 기술에 대한 활용 원칙, 그리고 미국의 국가 안보에 위험을 초래하는 적대적 AI 사용에 대한 대응을 담고 있다.

백악관이 지난 10월 24일(현지 시각) ‘인공지능 분야에서 미국의 리더십을 강화하고, 국가 안보 목표를 달성하기 위해 인공지능을 활용하며, 인공지능의 안전성 및 보안성, 신뢰성을 강화하기 위한 각서’를 발표했다 / 출처=백악관

성명은 ‘기술적 변화의 예측은 불가능하나, 최근 AI의 발전은 약화될 조짐이 거의 없다. 여기에는 지속적인 알고리즘 개선, 더 효율적으로 발전하는 컴퓨팅 하드웨어, 산업계의 연구개발 및 투자 증가, 학습 데이터 셋 확장이 포함된다. 현재 상황에서 AI는 더 강력하고 범용적으로 발전할 것이고, 앞으로는 과거에 필요했던 것 이상의 자원, 인프라, 역량, 작업이 필요해질 것’이라는 내용을 담고 있다. 업계에서는 미 정부가 공식적으로 인공지능을 국가 안보의 중대 사항으로 인정했다고 본다.

“지난 50년 간 발전보다 다음 10년의 기술이 더 빠를 것”

미국은 지금도 AI 생태계를 주도하는데, 완전히 미국 중심의 패권주의를 추구하겠다는 의지를 내비쳤다. 앞으로는 연방 정부 차원에서 AI 관련법 제도 정비와 기술적 표준화, 유관 기관의 협력 및 지원, 인적 자원 확보 및 보호 등을 진행하게 된다. 또한 최첨단 기술을 보호하고, 인프라의 해외 유출을 방지해야 한다며, 사실상 GPU 등 최신 AI 반도체를 관리하겠다는 내용도 담았다.

제이크 설리번 미 국가안보보좌관이 24일 워싱턴DC 국방대학에서 각서 내용을 소개했다 / 출처=포브스

지금까지 미국이 AI 산업을 주도한 배경은 구글, 메타, 마이크로소프트 등의 빅테크 기업들 덕분이었다. 하지만 이 기업들이 모두 AI 기술을 개발할 수 있었던 배경에는 엔비디아의 공이 절대적이다. 업계에서는 ‘구글, 메타가 광산을 개척하는 사업을 한다면, 엔비디아는 삽과 곡괭이를 팔고 있다’고 말한다. 삽과 곡괭이가 없다면 광산을 개척할 수도, 밭을 개간할 수도 없으니 이를 가능하게 돕는 엔비디아의 역할이 그만큼 크다는 말이 된다.

엔비디아 AI 반도체 점유율 98%, 시장 상황은?

시장조사기관 테크인사이츠가 집계한 2023년 글로벌 데이터센터용 GPU 출하량은 385만 개다. 2022년 267만 개에서 약 44% 증가했다. 이중 엔비디아가 출하한 데이터센터용 GPU는 376만 개로 시장 수요의 전체에 가깝다. AMD는 1월 초 인스팅트 MI300 시리즈를 내놨고, 인텔은 이제 막 가우디 가속기를 내놓은 시점이지만 두 기업의 판매량을 합쳐도 9만 개에 불과하다. 시장 규모는 2029년까지 3550억 달러(약 490조 원)까지 성장할 전망인데, 이변이 없다면 엔비디아의 점유율은 계속 높게 유지될 것이다.

젠슨 황 엔비디아 최고경영자가 현지시간으로 10월 24일 뭄바이에서 열린 엔비디아 AI 서밋에서 발표 중이다 / 출처=엔비디아

엔비디아가 AI 반도체 점유율을 독점하는 이유는 이 시장 자체를 엔비디아가 만들었기 때문이다. 엔비디아는 2006년 게이밍 그래픽 생성 등에 쓰이던 부동소수점 연산 처리 성능을 범용 계산 용도로 쓰는 GPGPU(General-Purpose computing on Graphics Processing Units) 개념을 제안했고, 20여 년 간 GPGPU를 고연산 작업에 활용할 수 있도록 쿠다 플랫폼 및 API 생태계를 만들어왔다.

이후 시간이 지나 인공지능과 컴퓨터 기술이 발전했고, AI 모델을 대중적으로 쓸 수 있게 되며 엔비디아의 영향력은 더욱 커졌다. 엔비디아는 사전 훈련된 딥러닝 프레임워크가 엔비디아 GPU에서 구동될 수 있도록 돕는 텐서RT 소프트웨어 개발 도구, 쿠다 기반으로 딥러닝 네트워크를 구동하는 cuDNN 등의 생태계 등을 구성해 시장에 제공했고, 시장에서는 엔비디아 GPU로 AI를 개발하는 것이 표준으로 자리 잡았다.

GPU, AI 개발에서 어떤 역할 하나?

현재 AI 개발 환경에서 GPU가 쓰이지 않는 분야는 거의 없다. 인공지능 모델은 대규모 데이터셋을 가공해 특정 기능을 하도록 만든 것이다. 이 과정을 ‘학습(Training)’이라 하며, 연산 처리에 GPU의 부동소수점 처리 성능이 동원된다. 이미지를 인식하거나 자연어를 처리하고, 목소리 등을 분석하는 AI 모델이 모두 GPU 하드웨어로 만들어진다. 연산 처리가 가능하다면 어떤 하드웨어든 가능하지만, 지금으로는 엔비디아 GPU가 가장 효과적이다.

엔비디아 NVIDIA GB200 NVL72 기반 서버, 36개의 엔비디아 그레이스 CPU와 72개의 블랙웰 GPU가 NV링크로 연결된다 / 출처=엔비디아

게다가 엔비디아 GPU는 NV링크라는 GPU 연결 기술을 토대로 수십에서 수만 대의 GPU를 가속 컴퓨팅으로 연결할 수 있다. 이를 통해 기상, 유통, 생물학, 화학, 천문학 등 대규모 데이터를 분석하고 시각화하는 작업에도 활용한다. 3D 모델링이나 물리 시뮬레이션 등을 활용해 영상 제작, 게임, 건축 등의 분야에서도 쓰인다.

한편 엔비디아 GPU의 품귀 현상으로 인해 갈수록 제품의 단가는 올라가고, 수급은 어려워지고 있다. 특히나 간단한 AI 모델 구축에도 GPU를 활용해야 하는데, 제품 단가나 높은 전력 소비량이 발목을 잡고 있다. 이 때문에 엔비디아 GPU를 대체하기 위해 AMD 인스팅트 MI 300 시리즈나 인텔 가우디 3 AI 가속기 같은 GPU나 퓨리오사AI, 세레브라스, 시마.ai 등의 NPU가 대체제로 떠오르는 것이다.

NPU, GPU로 진행하는 AI 추론의 대체제

이 내용까지가 2024년 10월까지의 일이고, 앞으로는 미국 정부가 나서서 AI 하드웨어를 관리하기 시작한다. AI 가속기 수급에 어려움을 겪는 국가는 노선을 전면 수정해야 할 수 있고, AI 동맹국가 역시 자생력을 확보해야 하는 상황이 됐다. 곡괭이를 안 팔면 광산도 개척할 수 없다.

퓨리오사AI의 2세대 NPU 레니게이드(RNGD)의 시스템 온 칩(SoC) / 출처=퓨리오사AI

앞으로도 AI 훈련이나 대규모 데이터 처리에 GPU 이외의 대안은 마땅치 않지만, AI 전용 반도체인 NPU가 성능을 높이면서 대안으로 산업적 대체제로 쓰이기 시작했다. GPU의 경우 부동 소수점 연산에 최적화돼 있고, 텍스처 및 그래픽 렌더링에 강하다. 그래서 AI 가속기로 활용하면 전력 효율이 크게 떨어진다. 반면 NPU는 신경망 연산에 최적화된 설계고, 정수 연산이나 저정밀 부동 소수점 연산 처리에 특화됐다. AI 가속기로의 피크 성능(최대치)은 다소 떨어지지만, 전력 효율은 훨씬 뛰어나다.

메모리 측면에서도 GPU는 대량의 데이터를 다루기 위해 캐시 구조가 복잡하고, 빠른 대역폭이 더 중요하므로 고성능 메모리를 높은 용량으로 써야 한다. 반면 NPU는 데이터 접근 패턴을 예측할 수 있고, 필요한 데이터만 가져올 수 있어서 상대적으로 용량이 적어도 효율이 좋다.

퓨리오사 AI, 2세대부터 GPU 넘보기 시작

NPU가 GPU의 대체제로 떠오르면서 국산 NPU 기업들의 행보도 중요해졌다. 퓨리오사AI가 지난 21년 공개한 1세대 칩 워보이(WARBOY)는 64TOPS(초당 64조 회 연산)의 성능을 제공했고, 비전인식이나 음성 분석, 엣지 컴퓨팅 등 저성능 GPU의 추론 작업을 일부 대체하는 용도로 사용됐다.

퓨리오사AI RNGD와 엔비디아 H100, L40S GPU간의 주요 성능 비교 / 출처=퓨리오사AI

올해 출시된 2세대 반도체 ‘레니게이드(RNGD) NPU부터는 수준이 한층 올랐다. RNGD는 총 48GB의 HBM3 메모리와 400억 개의 트랜지스터가 내장된 5nm 시스템 온 칩(SoC)로 구성됐다. SoC는 메모리 내 데이터를 재사용하는 텐서 축약 프로세서(TCP) 기술이 적용돼 전력 효율을 최적화했고, 작업 속도도 더 끌어올렸다. 열 설계 전력도 150W 수준으로 낮아 데이터 서버의 냉각 소비전력을 줄이는 데 일조한다.

사우디아라비아 리야드에서 열린 글로벌 AI 서밋(GAIN)에서 아마드 알코웨이터 아람코 기술혁신 담당 수석 부사장이 연설 중이다 / 출처=아람코

AI 업계에서는 발 빠르게 도입하는 추세다. 퓨리오사AI는 지난 21일, RNGD 소프트웨어 스택을 활용해 메타 Llama 3.1 70B 등 중간 규모의 LLM 모델 구동을 시연했고, 인공지능 산업 클러스터 기관(AICA)와 국가정보통신산업진흥원(NIPA)의 데이터센터에도 제품을 설치했다. 또한 사우디 아람코와 양해각서를 체결하고 슈퍼컴퓨팅 및 AI 분야의 협업을 모색한다. GPU의 높은 단가와 낮은 전력 소모 환경에 대한 한계를 NPU에서 찾기 시작한 것이다.

AI 반도체 경쟁 격화··· 시장 가능성 지원해야

최근 퓨리오사AI는 2세대 RNGD 기반 서버를 고객사에 제공하기 시작했다 / 출처=퓨리오사AI

백악관의 발표에는 ‘AI 개발의 현재 추세는 계산 리소스에 크게 의존한다. AI에서 선두를 유지하려면 미국은 세계에서 가장 정교한 AI 반도체를 계속 개발하고, 가장 진보된 AI 전용 계산 인프라를 구축해야 한다’라는 내용이 있다. 따라서 미국은 앞으로 고성능 AI 반도체 개발을 우선순위로 둘 것이고, 후발 주자인 우리나라 기업과 정부도 미국의 반도체 우선 주의를 꾸준히 염두에 두고 시장을 형성해야 한다.

특히나 2022년 발효된 미국 반도체 및 과학법을 통해, 우리는 미국이 자국의 이익을 위해 주요 동맹국도 압박한다는 점을 확인했다. 앞으로 엔비디아를 비롯한 미국산 AI 반도체의 활용 가치가 커질수록, 수급이 어렵거나 제품 등급에 차등을 두는 일 등이 벌어질 가능성이 크다. 이런 경우에 대비해서라도 퓨리오사AI를 비롯한 NPU 기업의 성장 가능성을 지원하고, 더 나아가 NPU 산업이 AI 시장의 새로운 가능성으로 자리 잡도록 생태계가 구축되어야 할 것이다.

글 / IT동아 남시현 (sh@itdonga.com)

사용자 중심의 IT 저널 - IT동아 (it.donga.com)

번호	제목	글쓴이	작성일	조회	추천
설문	논란을 반복해서 진정성이 의심되는 스타는?	운영자	25/05/12	-	-
5256	국제운전면허증, 비대면 발급할 땐 이렇게! [이럴땐 이렇게!]	IT동아	12:44	67	0
5255	한주호 노키아코리아 유선사업총괄 “AI 시대 데이터 폭증, 지능형 유선 네트워크가 뒷받침”	IT동아	12:09	21	0
5254	[투자를IT다] 2025년 5월 1주차 IT기업 주요 소식과 시장 전망	IT동아	05.09	145	0
5253	[생성AI길라잡이] AI 산업의 가이드라인? ‘AI기본법’ 이모저모	IT동아	05.09	145	0
5252	[농업이IT(잇)다] 온쿡컴퍼니 “송쭈집 주꾸미 브랜드로 K-푸드 르네상스 이루고 싶어”	IT동아	05.09	147	0
5251	[리뷰] 게임∙창작 모두 손쉬운 만능 노트북, 에이수스 ROG 제피러스 G16(GU605CW) [10]	IT동아	05.09	7497	0
5250	[리뷰] 최대 128GB 통합 메모리로 성능 상한 높인 '애플 맥 스튜디오' [7]	IT동아	05.09	8154	7
5249	커피캡슐·폐의약품 수거…40년 만에 활용처 확대해 탈바꿈 ‘에코 우체통’ [12]	IT동아	05.09	7622	4
5248	비영리법인·거래소, 가상자산 매도 시 주의할 점은?	IT동아	05.09	105	0
5247	[생활 속 IT] 네이버 지도, 거리뷰 3D로 생생하게 길찾기	IT동아	05.09	792	0
5246	[시승기] 디자인 가다듬고 배터리 용량 확대해 돌아온 ‘제네시스 GV60 부분변경’	IT동아	05.08	165	0
5245	데이터 기반 투자 전략 수립 지원, 업비트 데이터랩·코인 분류	IT동아	05.08	121	0
5244	“투자자문 입회비 반환 드립니다” 솔깃한 전화ㆍ메시지 속지 마세요	IT동아	05.08	560	0
5243	[IT하는법] 안경 없어도 시야 확보하는 '접근성 돋보기'	IT동아	05.08	162	0
5242	[주간스타트업동향] 로플랫, 2025 교차방문 트렌드 리포트 공개 外	IT동아	05.07	204	0
5241	가상자산 이용자 20%가 피해 경험 “이용자 보호 규제 강화 필요” [6]	IT동아	05.07	6142	0
5240	인공지능 장비 시장, 반도체에 붙은 불 ‘저장장치’로 옮겨가나? [1]	IT동아	05.06	277	0
5239	[신차공개] 2025년형 폴스타 2 출시·폭스바겐 ID.5 고객 인도 개시 [1]	IT동아	05.06	1849	0
5238	[주간투자동향] 씨드앤, 65억 원 규모 시리즈A 투자 유치 外	IT동아	05.05	170	0
5237	해외 출국 전, SKT 유심 교체하려면 [3]	IT동아	05.05	7733	0
5236	CD에 담긴 음악, 폰으로 들으려면 이렇게![이럴땐 이렇게!]	IT동아	05.05	219	0
5235	[칼럼] 생성형 AI의 다음을 준비한다면, 지금 ‘양자 컴퓨팅’에 주목하라	IT동아	05.02	224	0
5234	[생성AI길라잡이] 생성AI 기반 의료기기 임상시험 첫 승인	IT동아	05.02	9395	1
5233	[농업이IT(잇)다] 블레스드프로젝트 “농업부산물 업사이클링 뷰티 제품으로 순환 가치 제안하는 기업될 것”	IT동아	05.02	204	0
5232	SKT, “14일까지 유심 물량 부족 불가피”…유심보호서비스 자동가입 지원	IT동아	05.02	216	0
5231	[IT애정남] 단톡방 이름을 바꿨는데, 왜 나만 바뀌죠?	IT동아	05.02	202	0
5230	[기고] AI와 미래 산업기술 - 2. AI 전문가, 미래를 디자인하라	IT동아	05.02	188	0
5229	조영태 서울대 인구정책연구센터장 “인구 데이터, 기업의 성패 좌우”	IT동아	05.01	205	0
5228	이용관 블루포인트파트너스 대표 “인구테크, 사회를 더 나은 방향으로”	IT동아	05.01	191	0
5227	청년창업 인프라의 ‘기준’을 만드는 강동구 청년해냄센터	IT동아	04.30	209	0
5226	SKT 해킹사고, 유심 교체 당장 어렵다면? [1]	IT동아	04.30	500	0
5225	재규어랜드로버 “통합 플랫폼 운영 및 보증 기간 확대로 소비자 신뢰 회복할 것” [1]	IT동아	04.30	359	0
5224	[주간스타트업동향] 코딧, '2025 대통령 선거 정책 모니터링 플랫폼' 출시 外 [1]	IT동아	04.30	814	0
5223	[르포] 내 취향을 아는 AI 스토어 ‘나노’, 고객 맞춤 메뉴 제공한다	IT동아	04.30	263	0
5222	[ETF/퇴직연금 Q&A] 퇴직연금, 은행에서도 ETF에 투자할 수 있다	IT동아	04.30	181	0
5221	[퀀텀 스타트업] 1. 큐비트 나침반으로 양자 시대를 개척하라	IT동아	04.30	171	0
5220	SBA, 규제해소라운지 개소 ‘규제·애로 해소 위한 열린 소통 공간’	IT동아	04.30	178	0
5219	[시승기] 55인치 디스플레이 탑재 및 편의 개선으로 탈바꿈...‘더 뉴 에스컬레이드’	IT동아	04.29	200	0
5218	[리뷰] '헬스장 갈 시간 없다'는 핑계는 그만! 인공지능 홈트레이닝 설루션 '트랙미'	IT동아	04.29	459	0
5217	서울과기대 메이커스페이스 센터, 연속성 있는 '제조 창업 지원' 나선다	IT동아	04.29	189	0
5216	온라인 플랫폼, AI로 서비스 혁신이 ‘대세’	IT동아	04.29	710	2
5215	가상자산 거래소, SKT 이용 고객에게 ‘계정 보안 강화’ 당부	IT동아	04.29	184	0
5214	[자동차와 法] 전기차 화재 줄일 기술 살펴보니	IT동아	04.29	164	0
5213	‘인공지능 시대 변화상에 주목’ 마이크로소프트 2025 업무동향지표 발표	IT동아	04.28	192	0
5212	다이슨, 에어랩 코안다 2x 출시...“전작보다 2배 강한 모터…이제 스트레이트도 가능”	IT동아	04.28	2474	1
5211	[뉴스줌인] ‘개살구’였던 HBM, ‘게임 체인저’ 되다	IT동아	04.28	260	0
5210	[KESIA 프리팁스] AI 항만 탄소 배출 모니터링·예측 플랫폼 개발 ‘데이터플레어’	IT동아	04.28	177	0
5209	[기술영업人] LLM 검증과 데이터 구축 분야로 떠오른 '셀렉트스타'의 도전법	IT동아	04.28	175	0
5208	‘해킹사고’ SKT, 유심 무료 교체 결정…“이심으로 바꿔도 될까요?” [3]	IT동아	04.28	1261	1
5207	스마트폰 배터리 수명 확인하려면 이렇게! [이럴땐 이렇게!]	IT동아	04.28	231	0
뉴스	지드래곤 누나 권다미, 동생 콘서트장 방문 인증 “자랑스러운 동생♥”	디시트렌드	10:00

최근 방문

즐겨찾기

즐겨찾기 갤러리

갤러리 이슈박스, 최근방문 갤러리

연관 갤러리

개념글 리스트

차단하기

[IT동아 갤러리]

갤러리 본문 영역

“지난 50년 간 발전보다 다음 10년의 기술이 더 빠를 것”

엔비디아 AI 반도체 점유율 98%, 시장 상황은?

GPU, AI 개발에서 어떤 역할 하나?

NPU, GPU로 진행하는 AI 추론의 대체제

퓨리오사 AI, 2세대부터 GPU 넘보기 시작

AI 반도체 경쟁 격화··· 시장 가능성 지원해야

▶ 딥엑스 김녹원 대표, "버터 벤치마크로 1세대 칩 안정성 증명··· 내년엔 2세대 샘플링"▶ AMD의 목적은 '경쟁 아닌 자립'··· 인스팅트 MI325X의 출시 의의는?▶ RTX 40 시리즈 단종 초읽기, 앞으로의 그래픽 카드 선택지는?

추천 비추천

댓글 영역

① NFT 발행

② NFT 구매

하단 갤러리 리스트 영역

왼쪽 컨텐츠 영역

갤러리 리스트 영역

페이지 이동

오른쪽 컨텐츠 영역

알림 설정

알림

디시콘 리스트

디시콘

디시콘 검색결과(0)

인기 디시콘