[리뷰] 국산 반도체의 진면모를 파헤치다, 퓨리오사AI 워보이 NPU

IT동아 · 2023.06.02 13:26:45

[IT동아 남시현 기자] 인공지능 개발에서 그래픽 처리 장치(Graphic Processing Unit, 이하 GPU)가 사용되는 이유는 크게 두 가지다. 인공지능 모델을 개발하기 위해서는 대량의 수학 계산이 필요한데, GPU를 활용해서 처리할 수 있다. 하지만 GPU는 다양한 개발 환경에 적용할 순 있으나, 구조 자체가 인공지능 개발에 효율적인 방식은 아니라서 결과물 대비 전력 소비가 많고 단가도 비싸다. 테슬라 최고경영자 일론 머스크는 “현시점에서 GPU가 마약보다 구하기 훨씬 어렵다”라고 말할 정도로 품귀 현상도 겪고 있다.

이로 인해 반도체 업계는 인공지능 개발에 최적화된 형태의 반도체, 신경망 처리 장치 (Neural Prosessing Unit, 이하 NPU) 개발에 힘을 싣고 있다. 국내에서는 퓨리오사AI와 리벨리온, 사피온 등이 시제품 혹은 상용 제품을 내놓은 상황인데, 가장 주목도가 높은 제품이 지난해 퓨리오사AI가 출시한 NPU ‘워보이’다.

퓨리오사AI가 만든 1세대 NPU, 워보이(WARBOY). 출처=IT동아

워보이는 이미지 및 비디오 분석, 지능형 교통관리, 초고해상도, 광학 문자인식 및 자율주행 도메인을 위한 인공지능 전용 반도체로, 삼성 파운드리의 14나노 핀펫 공정을 기반으로 제조됐다. 워보이는 최근 과학기술정보통신부가 주관한 AI바우처 등 사업에서 과반 이상의 기업이 선택하는 등 실제 상용화 과정에서도 두각을 나타내고 있다. 퓨리오사AI의 도움을 받아 국산 인공지능 반도체 ‘워보이’의 성능과 현장의 목소리를 들어보았다.

퓨리오사AI ‘워보이’란 어떤 제품인가?

워보이는 최대 64 TOPS(Tera Operations Per Second)의 데이터 처리 속도를 제공하는 NPU다. TOPS는 초당 1조 번의 연산을 처리한다는 의미로, 부동소수점 연산에 대한 단위는 FLOPS, 정수처리를 위한 단위는 TOPS를 사용한다. 대조군인 엔비디아 A2와 INT8(8비트 정수 처리) 속도가 36 TOPS, 정확도를 떨어뜨리는 희소성(sparsity) 처리 시 72 TOPS인 점을 감안하면 심화학습(딥러닝) 처리 속도는 워보이가 앞선다.

워보이는 FHHL(위쪽), HHHL(아래쪽) 두 가지 폼팩터로 제작된다. 출처=IT동아

제품 폼팩터는 FHHL(Full-height half-length), HHHL(Half-height half-length) 두 종류로 제공되고, 호스트 인터페이스는 PCIe Gen 4 8레인이다. 열설계전력(TDP)은 구성에 따라 40W에서 60W 사이며, 동작 온도는 0~50도, 방열 구성은 패시브 및 액티브 쿨링 모두 지원한다. 메모리는 32MB가 온칩 메모리(SRAM)로 구성되며, 4266Mbps 동작 속도의 LPDDR4X 메모리가 16GB에서 최대 32GB 구성으로 탑재된다. 최대 메모리 대역폭은 초당 66GB다.

워보이가 8개 장착된 시스템. 출처=IT동아

시스템 규모는 일반적인 AI 추론(Inference) 업체를 기준으로 서버 한 대당 워보이 2대, 4대, 8대의 구성을 사용하며, 필요에 따라 최대 20대로 시스템을 구성한 경우도 있다. 특히 동영상 화질 개선 애플리케이션 등의 시스템은 고화질 콘텐츠에 대한 노이즈 저감(Denoising) 성능을 확보하기 위해 서버 한대당 12개의 워보이를 장착한다.

MLPerf로 살펴보는 워보이 NPU의 성능

워보이의 성능은 이미 ML커먼즈(MLCommons)의 인공지능 벤치마크, MLPerf를 통해 증명됐다. MLPerf는 전 세계 스타트업, 선도기업, 학계 및 비영리 단체 등 50개 이상의 창립 멤버와 계열사가 설립한 ‘ML커먼즈(MLCommons)’에서 진행하는 인공지능 성능 시험으로, 현재 전 세계 인공지능 반도체의 성능 지표로 사용된다. 퓨리오사AI는 ML커먼즈의 창립 멤버이며, 2019년 아시아권 스타트업으로는 처음으로 MLPerf에 등재되기도 했다.

MLPerf는 학습(Training)과 추론(Inference) 테스트로 구성되며, 크게 이미지 분류, 물체 감지(경량), 물체감지(중량), 생체 의학 이미지 분할, 자동 음성 인식(ASR), 자연어 처리(NLP), 추천, 강화학습에 대해 다룬다. 퓨리오사AI의 워보이는 지난해 5월 MLPerf v2.0의 추론-엣지, 닫힘(Inference-Edge, Close) 분야에 대한 테스트를 진행했으며, 이미지 인식과 물체 감지 경량 및 중량 세 개에 대한 테스트를 진행했다.

위쪽부터 엔비디아 A2 1개, A2 2개, 퓨리오사AI 워보이로 구성된 비교표. 노란색이 워보이 결과다. 출처=IT동아

워보이 시스템은 슈퍼마이크로 SYS-420GP-TNR에 인텔 제온 플래티넘 8368Q를 탑재했으며, 비교군으로 엔비디아 A2 한 대에 슈퍼마이크로 SYS-220HE-FTNR, 인텔 제온 골드 6338N을 탑재한 제품이 있다. 이미지 분류 항목에서 워보이의 단일 스트림 레이턴시는 0.71ms, 다중 스트림 반응 시간은 3.97ms로 나타난다. 이때 엔비디아 A2는 각각 0.7ms, 3.41ms로 조금 더 빠르며, 오프라인 시 초당 이미지 처리 수는 2천735.6장이었다. 워보이는 반응 시간은 느렸지만 처리량 자체는 2천758.44장으로 조금 더 빨랐다.

워보이는 물체감지 (경량) 항목에서 A2 두 대에 가까운 성능을 보여준다. 출처=IT동아

물체 감지(경량) 항목에서는 워보이의 단일 스트림 레이턴시가 0.36ms, 다중 스트림 레이턴시가 2.05ms로 나타났고, 엔비디아 A2가 각각 0.46ms, 2.26ms로 확인됐다. 하지만 실질 처리량은 엔비디아 A2가 4천408.99개일 때 워보이가 8천762.15개로 두 배 가까운 처리량을 보인다. 실제로 동일 시스템에 A2 두 대를 엮은 시스템의 처리량이 9천362.19개니 이미지 처리 효율은 기대 이상이다.

물체감지 (중량) 항목에서도 워보이는 단일 스트림 13.43ms, 다중 스트림 107.87ms으로 초당 79.92개의 데이터를 처리했는데, 이는 단일 16.01ms, 다중 125.02ms로 초당 66.92개를 처리한 엔비디아 A2에 상당히 앞선 수치다.

소프트웨어 개발 키트(SDK) 배포, 실전에서도 활약 중

플랫폼별 구축 도구 세트인 소프트웨어 개발 키트(SDK)의 배포도 워보이의 강점이다. 퓨리오사AI는 NPU 동작에 필요한 기본적인 예제코드를 깃허브(Github)를 통해 배포하고 있으며, 워보이 NPU 소개 및 활용에 필요한 소프트웨어 및 가이드, 명령 도구, 컴파일러, 모델 양자화 등의 내용을 담은 ‘FuriosaAI NPU 및 SDK 0.9.0 문서’도 누구나 열람할 수 있도록 제공하고 있다.

퓨리오사AI가 깃허브를 통해 배포하고 있는 SDK 도구. 출처=깃허브

퓨리오사AI 관계자는 “퓨리오사AI는 워보이로 인공지능 서비스를 개발하는 기업들이 필요한 정보를 직접 확인할 수 있게 깃허브에 관련 내용 및 SDK 문서를 공유하고 있다”라면서, “SDK를 제공하고 업데이트하는 이유는 소프트웨어 역량 확보가 인공지능 반도체의 경쟁력을 좌우하는 큰 기준점이라고 생각하기 때문이며, 전 세계 시장 눈높이에 맞는 풀스택 엔지니어링을 수행할 수 있는 근본 개념 설계 역량을 바탕으로 알고리즘, 소프트웨어, 그리고 하드웨어 개발을 수직 통합하는 역량을 갖추고자 노력해 왔기 때문이다”라고 말했다. 또한 “대다수 NPU 제조사들이 우리만큼 자료를 제공하지 못하는데, 이 부분에서 많은 수요 기업들이 자사 기술력을 신뢰하는 듯하다”라고 덧붙였다.

하드웨어 및 소프트웨어를 모두 갖춘 덕분에 이미 상용 서비스에도 도입이 돼있다. 카카오엔터프라이즈는 이팝소프트의 ‘말해보카’ 영어사전 앱에서 광학문자인식(OCR) 기능에 워보이를 활용하고 있다. 영어 문장이 포함된 사진을 촬영하면 앱이 해당 문장을 텍스트화하는데, 이 과정에서 워보이 NPU가 문자를 인식한다. 현재 카카오 i 클라우드는 퓨리오사AI 워보이 NPU 12대가 4개의 베어메탈 서버에 장착돼 있고, 올해 안에 워보이 NPU 카드 16장, 베어메탈 서버 10대를 추가할 계획이다.

써로마인드는 인공지능 추론 및 클라우드 기반 AI 서비스에 워보이를 활용할 예정이다. 출처=써로마인드

AI 스튜디오, 비전 솔루션 등을 개발하는 써로마인드(SURROMIND)는 다중 분류(Multi-class Classification)의 추론 및 클라우드 기반의 음원 추천 시스템에 워보이를 활용할 예정이다. 써로마인드 정헌수 연구원은 “워보이는 우리가 요구하는 결과에 부합하는 하드웨어 성능을 갖추고 있으며, SDK 등 기술 문서도 개발자에게 익숙한 포맷으로 잘 정리해 놨다”라면서, “워보이의 빠른 응답 속도 및 성능 덕분에 맞춤형 음원 목록을 더욱 빠르게 추론해서 반환할 것으로 기대하며, 사업 규모가 커짐에 따라 늘고 있는 추론 요청도 해소할 수 있으리라 본다” 라고 활용처를 밝혔다.

근거 있는 자신감, 선택은 시작됐다

퓨리오사AI 워보이는 빠른 제품 양산을 앞세워 국산 NPU 시장에서 두각을 나타내고 있다. 출처=IT동아

시장에서 워보이에 주목하고 있는 이유는 결국 우수한 와트당 성능, 그리고 수급의 안정성과 관련돼 있다. 오늘날 컴퓨터 서버는 대량의 전력을 소모하며 이를 유지하기 위한 자원이 꾸준히 투입돼야 한다. 하지만 RE100 등의 탄소 중립은 물론 EU 공급망 실사처럼 실질적인 소비전력 감축과 그 대안이 요구되는 상황이다. 기업 입장에서 더 나은 성능을 확보하고, 시장의 요구에 발맞추기 위해서라도 장기적으로 GPU를 NPU로 바꿔야 하는 상황이다. 특히 지금처럼 GPU 수요가 폭발해 품귀 현상을 겪는 상황에서는 NPU가 매력적인 대체재로 떠오르는 상황이다.

퓨리오사AI 워보이를 채택한 딥핑소스(Deeping Source) 김태훈 대표의 경우 “워보이를 선택한 가장 큰 이유는 소프트웨어 개발 편의성 때문이다. 엔비디아를 제외하면 툴킷이 직관적이거나 쉬운 기업이 거의 없는데, 퓨리오사AI의 워보이는 바로 당일에 작동 결과를 알 수 있을 정도였다”라고 선택의 이유를 말하며, 래블업(Lablup Inc) 신정규 대표는 “고해상도 이미지 전처리 및 이미지 콘텐츠 인식 등에 관련된 모든 분야, 감시 체계 및 자율주행 데이터 처리 분야에서 워보이의 가능성을 보고 있다. 향후 시각 인식 영역을 넘어 다양한 영역에서 퓨리오사 AI의 NPU가 전개될 것으로 보고 워보이와 통합 작업을 진행하고 있다”라고 말한다.

국내의 여러 NPU 제조사들의 선의의 경쟁을 펼치고 있지만, 유독 퓨리오사AI의 워보이가 앞서나가는 배경엔 이런 현장의 목소리가 있다.

글 / IT동아 남시현 (sh@itdonga.com)

사용자 중심의 IT 저널 - IT동아 (it.donga.com)

번호	제목	글쓴이	작성일	조회	추천
설문	sns에 가장 미쳐사는 것 같은 스타는?	운영자	23/09/18	-	-
3002	창립 50주년 마크레빈슨 '하이파이 오디오 시장 개척한 브랜드'	IT동아	09.22	21	0
3001	AI법, “고위험 영역 조정하고 저작권침해 면책해줘야”	IT동아	09.22	9	0
3000	유용한 생성형 AI, 어떤 것들이 있나?	IT동아	09.22	13	0
2999	[르포] '반 세기 걸친 혁신의 역사 한 눈에···' 인텔 본사 박물관 가보니	IT동아	09.22	11	0
2998	[스케일업] 반프 [2] 패스파인더넷 “대표는 내부 구성원에게 솔직해야 합니다”	IT동아	09.22	9	0
2997	[농업이 IT(잇)다] 제로나인메트리얼 “삶의 질 높일 LED·PBM 선도화”	IT동아	09.22	486	0
2996	[스타트업人] 디지포레 이현진 책임 “메타버스 속 콘텐츠를 개발하고 있습니다”	IT동아	09.21	53	0
2995	탄소중립의 핵심 ‘탄소포집’, 무르익는 글로벌 시장[K비즈니스 가이드]	IT동아	09.21	13	0
2994	스페이스앤빈, 전자파와 방사선을 막아내는 ‘스쿠텀’ [스타트업in과기대]	IT동아	09.21	366	3
2993	"퓨리오사AI의 개발 철학, 핵심은 하드웨어·소프트웨어의 유기적 결합입니다" [1]	IT동아	09.21	374	0
2992	케어포유 "반려동물이 편히 쉴 수 있는 공간, 케어펫 뮤트" [동국대학교 캠퍼스타운]	IT동아	09.21	15	0
2991	[IT하는법] 어르신들도 안심? 전화 통화와 대중교통 안내를 원터치로!	IT동아	09.20	329	0
2990	[스타트업리뷰] 초지향 스피커 시대 열 제이디솔루션 ‘브릭’	IT동아	09.20	18	0
2989	[IT신상공개] 필름 카메라 FM2 감성 잇는 미러리스 '니콘 ZF' [9]	IT동아	09.20	883	3
2988	인텔, 2024년 20A 넘어 18A까지 도전··· '반도체 주도권 미국으로' [5]	IT동아	09.20	1530	3
2987	웍스앤피플 “K팝 댄스 업계의 ‘배민’ 꿈꾼다” [동국대학교 캠퍼스타운]	IT동아	09.19	34	0
2986	ESG 간편시작, 칼렛바이오 스텝포넷제로 EL606 택배봉투[스타트업리뷰]	IT동아	09.19	22	0
2985	AMD·엔비디아도 밀고있는 반도체 기술, '칩렛'이란? [4]	IT동아	09.19	1173	10
2984	[IT애정남] 간편하게 동영상 자르고 붙이는 방법 알려주세요 [1]	IT동아	09.19	425	1
2983	서울과기대 창업지원단 “제조 창업 도전자에게 우리의 경험과 노하우를 전달합니다”	IT동아	09.18	40	0
2982	[스케일업] 위닝아이 [2] 서울대기술지주 “글로벌 진출, 혼자 아닌 협업으로 풀어라“	IT동아	09.18	29	0
2981	[IT신상공개] 35mm 센서·L 마운트 무장한 ‘블랙매직 시네마 카메라 6K’ [1]	IT동아	09.18	369	0
2980	[주간투자동향] 이그니스, 348억 원 규모의 시리즈B 투자 유치	IT동아	09.18	56	0
2979	개정된 개인정보보호법… 어떤 내용이 담겼나?	IT동아	09.15	52	0
2978	팀프레시 새벽시장 “음식점을 위한, 싸고 편리한 식자재 주문 서비스입니다”	IT동아	09.15	48	0
2977	[농업이 IT(잇)다] 주식회사빙고 “주문형 신선식품 냉동 창고를 집 앞에”	IT동아	09.15	39	0
2976	[자동차 디자人] 브랜드 미래를 그리다…BMW i 디자인 총괄 ‘카이 랭어’	IT동아	09.15	40	0
2975	[스타트업-ing] 티온랩테라퓨틱스 “지속성·표적성 약물 전달체로 환자 삶의 질 높인다” [1]	IT동아	09.15	1337	0
2974	초등컴퓨팅교사협회 “게임도 교실에서 하면 교육이 됩니다”	IT동아	09.14	62	0
2973	[리뷰] 크리에이터 위한 고성능 노트북, 에이수스 젠북 프로 14 OLED	IT동아	09.14	108	0
2972	어도비 파이어플라이 정식 공개··· 크레딧 도입하고 서비스 확장 노려 [4]	IT동아	09.14	838	0
2971	[스타트업人] 건설 근로자 위한 웍스메이트 '기능인등급제 서비스 기획자' 이야기	IT동아	09.14	42	0
2970	[뉴스줌인] 차세대 인터페이스 '썬더볼트5' 발표, 뭐가 달라졌을까?	IT동아	09.13	48	0
2969	세계 5위 창업도시 도약을 위한 자리 ‘트라이 에브리싱 2023’	IT동아	09.13	88	0
2968	[IT신상공개] 1억 화소·8K 영상 중형 카메라 ‘후지필름 GFX100 II’ [5]	IT동아	09.13	1953	5
2967	[스케일업] 옐토 [4] 최동석 작가 “이모티콘 캐릭터, 메시지 담아 도전 거듭”	IT동아	09.13	39	0
2966	애플, 아이폰 15·15 프로 시리즈 공개··· '티타늄, C타입 통할까?' [2]	IT동아	09.13	306	4
2965	이디씨 “드론 활용한 산불확산방지 솔루션, ESG까지 더했다” [스타트업in과기대]	IT동아	09.12	42	0
2964	[IT신상공개] 생동감 넘치는 조명 효과, JBL 펄스 5	IT동아	09.12	45	0
2963	[스케일업] 1인치 [1] “단골가게는, 손님과 사장님을 연결하는 플랫폼입니다”	IT동아	09.12	49	1
2962	[리뷰] 지능형 조명의 감성적 예시, 다이슨 솔라사이클 모프	IT동아	09.12	126	0
2961	[농업+IT=스마트팜] 8. 연재를 마치며	IT동아	09.12	41	0
2960	[메타버스에 올라타자] 6. 메타버스 기반의 협업	IT동아	09.12	42	0
2959	캠터 “캠핑 비용 부담 줄이는 캠핑용품 대여 플랫폼” [동국대학교 캠퍼스타운] [7]	IT동아	09.12	1179	0
2958	[IT애정남] 같은 듯 다른 소니 A7M4 ·A7C2, 어떤 게 낫나요?	IT동아	09.11	57	1
2957	PC 화면 글자가 너무 작다면 이렇게![이럴땐 이렇게!] [18]	IT동아	09.11	3140	5
2956	[IT신상공개] 프리미엄 즉석 카메라 시대 열 ‘폴라로이드 I-2’	IT동아	09.11	51	0
2955	F&B 마케팅의 현재와 미래 논한 ‘AMC 2023’ 성료	IT동아	09.08	393	0
2954	세계적인 디지털 아티스트 작품 한 자리에 ‘더 게이트웨이: 코리아’	IT동아	09.08	166	0
2953	[스케일업] 챕터서울 [4] 킬사코리아 “해외 법인, 매출·시장 분석·현지화 고려”	IT동아	09.08	44	0

최근 방문

즐겨찾기

즐겨찾기 갤러리

갤러리 이슈박스, 최근방문 갤러리

연관 갤러리

개념글 리스트

차단하기

[IT동아 갤러리]

갤러리 본문 영역

퓨리오사AI ‘워보이’란 어떤 제품인가?

MLPerf로 살펴보는 워보이 NPU의 성능

소프트웨어 개발 키트(SDK) 배포, 실전에서도 활약 중

근거 있는 자신감, 선택은 시작됐다

추천 비추천

댓글 영역

① NFT 발행

② NFT 구매

하단 갤러리 리스트 영역

왼쪽 컨텐츠 영역

갤러리 리스트 영역

페이지 이동

오른쪽 컨텐츠 영역

알림 설정

알림

디시콘 리스트

디시콘

디시콘 검색결과(0)

인기 디시콘

지갑 연결