8세대 TPU 내놓으며 96만 대 GPU 주문한 구글··· 배경엔 '인프라 이원화' 전략

IT동아 · 2026.04.30 16:06:01

[IT동아 남시현 기자] 구글이 지난 4월 22일에서 24일(현지시각) 개최한 ‘구글 클라우드 넥스트 2026’은 구글의 미래 인프라스트럭처 전략을 확인할 수 있는 중요한 자리였다. 해당 행사에서 구글은 기업 환경을 위한 제미나이 엔터프라이즈 플랫폼, 에이전틱 데이터 클라우드, 에이전틱 디펜스 등 산업 환경에 초점을 맞춘 AI 설루션을 주로 선보였다. 최근 생성형 AI 기조가 결론까지 직접 수행하는 에이전틱 AI로 진화하고 있음을 확인할 수 있었다. 그런데 업계의 시선은 새로운 제미나이 AI 에이전트보다도 구글의 8세대 TPU, 그리고 96만 개의 엔비디아 루빈 GPU를 주문한 점에 쏠렸다.

학습과 추론으로 이원화된 구글 8세대 TPU, 어떻게 바뀌었나?

구글이 구글 클라우드 넥스트 2026에서 8세대 TPU를 공개했다 / 출처=구글

구글은 2016년 5월부터 인프라 비용 절감과 인프라스트럭쳐 영향력 확보를 위해 시스톨릭 어레이 기반의 자체 반도체 ‘TPU’를 개발해 왔다. 이번 구글 클라우드 넥스트에서는 8세대 버전이 출시되었으며 특히 AI 모델 구축 용도인 TPU8t, AI 모델 운용 용도의 TPU8i로 이원화된다. 앞서 구글은 제미나이 3 개발에 TPUv7만을 활용한 데다가 기대 성능이 굉장히 높아 전 세계적인 주목을 받았다. 그런데 이번에 개발된 8세대 칩은 추론과 학습을 별도로 분리한 게 특징이다.

두 칩은 활용 환경에 따라 메모리와 용량, 통신 규격 등이 각각 조정된 게 특징이다 / 출처=구글 블로그

TPU 8t는 학습(Training) 전용 칩이다. 최대 9600개의 칩과 2 페타바이트의 고대역폭 메모리로 확장할 수 있으며, 칩 간 대역폭이 19.2테라바이트로 전작 대비 두 배나 높아졌다. 또한 10배 빠른 저장장치 접근 속도와 TPU에 직접 데이터를 가져오는 기능을 통해 활용도를 높였다. 또한 4비트 부동소수점(FP4) 형식을 도입해 행렬 연산 유닛(MXU)의 데이터 처리량을 거의 두 배까지 늘렸다.

TPU 8i는 추론(Inference) 전용 칩이다. 단일 장치에 288GB의 고대역폭 메모리와 384MB의 SRAM을 탑재해 한 번에 올릴 수 있는 모델의 크기와 속도가 모두 향상됐다. 프로세서도 자체 개발한 악시온(Axion) CPU로 전환했다. 19.2테라바이트의 메모리 대역폭 덕분에 전문가 혼합(MoE) 모델활용도가 매우 높아졌다. 또한 보드플라이라는 새로운 계층적 네트워크 구조를 채택해 칩간 통신 거리를 의미하는 네트워크 직경을 50% 이상 축소했다.

TPU 8t는 가용성 및 서비스 용이성을 97% 이상으로 높여 대규모 모델 개발 시 효율성을 높이는데 최적화된 칩이고, TPU 8i는 고성능 AI 모델을 대규모로 운용하고 병목 없이 수행하는데 초점을 맞춘 사양이다.

전 세대인 TPU v7은 칩 하나가 추론, 학습을 모두 수행하는 구조였다. v8은 이 부분을 용도에 맞게 나누면서 활용 성능을 높였다 / 출처=구글

전작인 TPU v7, 코드명 아이언우드는 클라우드 서비스 제공자가 직접 개발한 반도체가 상용 목적으로 널리 쓰일 수 있음을 본격적으로 증명한 칩이다. 구성 면에서는 엔비디아 GPU처럼 학습과 추론을 모두 수행하는 게 가능하고, 지금도 제미나이 서비스는 TPU v7을 주력으로 서비스된다. 하지만 구글 같은 하이퍼스케일러 입장에서는 약간의 성능 효율 차이도 큰 비용 효율로 이어지는 만큼 8세대는 동작 방식과 효율에 따라 반도체를 구분한 것이다.

구글 측이 밝힌 TPU v8의 전력 소모대 학습 성능은 전작 대비 약 3배 높아졌으며, 추론 성능은 약 1.8배 높다. 이에 따른 전력 효율 차이는 거의 두 배에 가깝다. 저장장치 접근 성능도 약 10배 높아지면서 대규모 AI 개발 시 작업 효율도 자연스레 높아졌다.

대규모 TPU 운용과 별도로 엔비디아 GPU 96만 대 구입한 구글

구글의 차세대 A5X 베어메탈 인스턴스에 엔비디아 루빈 GPU 96만 대가 활용된다 / 출처=엔비디아

사실 인프라 업계에서 놀란 부분은 8세대 TPU가 추론과 학습 용도로 나뉘어서 출시된다는 점보다도, 이 제품을 출시하면서도 무려 96만 대의 엔비디아 루빈 GPU를 구매한다는 데서 나왔다. 구글은 클라우드 넥스트를 통해 엔비디아와 협업해 A5X 베어메탈 인스턴스를 새롭게 선보였다. A5X 베어메탈 인스턴스는 단일 데이터센터에서 약 8만 개의 GPU, 여러 데이터센터에 걸쳐 총 96만 대의 GPU를 장착한다.

또한 구글의 ‘비르고’ 네트워킹과 엔비디아 커넥트X-9 슈퍼닉(SuperNIC)을 결합해 처리량을 10배 높이고, 제미나이 모델의 추론 비용도 더 낮출 예정이다. 비르고 네트워크는 구글의 AI 데이터센터를 연결하는 최신 네트워크 연결 방식이다. 단일 패브릭으로 최대 47페타비트의 양방향 대역폭을 제공해 총 13만 4000개의 TPU 8t 칩을 연결하고, 지연 시간은 최대 40% 단축한다. 그리고 이 기술을 구글의 차세대 연결 방식인 커넥트X-9을 채택해 데이터센터에서 엔비디아의 기술을 활용하겠다는 것이다.

오픈AI가 텍사스 주 아빌린에 건설 중인 스타게이트 프로젝트 데이터센터 현장, 이런 규모의 데이터센터가 미국 이외에 네 곳 이상에서 진행되는데 이 전체 규모를 두배 이상 초과한다 / 출처=오픈AI

구글이 주문한 GPU 96만 대는 마이크로소프트와 오픈AI가 진행 중인 스타게이트 프로젝트의 초기 규모인 40만 대의 두 배 이상이고, 젠슨 황이 지난해 우리나라를 방문해 제공하기로 한 GPU 26만 대의 네 배에 가까운 값이다. 즉 업계에서도 특정 세대의 GPU를 100만 대 가까이 구매하는 것이 이례적이라는 평가다. 그렇다 보니 ‘구글이 TPU를 대규모로 제작하면서도 GPU를 구매하는 건 결국 TPU에 자신감이 없어서가 아닐까?’라는 의구심이 제기될 수밖에 없다.

이에 대해 아민 바흐다트 구글 AI 및 인프라 담당 수석 부사장 겸 최고기술책임자는 블로그를 통해 “ 구글이 엔비디아와 협력해 최신 GPU를 제공하는 것은 고객마다 워크로드, 요구사항, 사용 사례가 다르기 때문에 모든 사례에 동일한 설루션을 제공할 수 없기 때문이다”라면서 “올해 말 차세대 베라 루빈 플랫폼이 출시되면 구글이 가장 먼저 인스턴스를 제공할 예정”이라고 밝혔다. 그러면서 GPU와 TPU 이외에도 새로 자체제작한 엑시온 CPU, 인텔, AMD의 CPU도 각각 활용한다는 점을 밝히며 생태계에서 필요한 다양한 요구사항을 위해 엔비디아 제품을 구매한다는 뜻을 명확히 했다.

엔비디아의 독무대인 데이터센터 시장, 효율성이 균열을 만들다

엔비디아 루빈 GPU 반도체 칩 / 출처=엔비디아

구글의 대규모 TPU, GPU 서비스는 앞으로 엔비디아의 위상이 과거와 같지 않으리라는 점을 시사한다. 엔비디아는 2022년 출시된 호퍼 아키텍처, 2025년 출시된 블랙웰 아키텍처를 바탕으로 데이터센터 시장에서 90% 가까운 시장 점유율을 확보한 상태다. 다만 GPU의 구조적인 한계로 인해 전력 소모대 성능비는 떨어졌고, AI로 인한 GPU 수요 폭증으로 총 소유비용은 급격히 높아졌다. 이때문에 구글, AWS, 마이크로소프트, 메타까지 자체 반도체를 설계해 엔비디아의 영향력을 줄이려 한다.

그리고 업계에서도 TPU에 새로운 가능성을 보고 있다. 앤트로픽은 TPU 100만 대에 해당하는 3.5기가와트 급의 컴퓨팅 용량을 예약했고, 메타 역시 조 단위의 계약을 통해 TPU v8 활용을 확정 지은 상황이다. 마이크로소프트 계열인 오픈AI 조차 지난해 구글 TPU를 시험 중이라고 밝힌 점도 대안 반도체의 가능성을 엿볼 수 있는 대목이다. 물론 엔비디아 역시 루빈 아키텍처를 예정대로 빠르게 출시했고 2028년 중 파인만 아키텍처를 통해 영향력을 꾸준히 이어나갈 전망이다.

구글의 TPU·GPU 이원화, 생존력을 높이기 위한 고도의 전략

구글 TPU 8t와 8i의 반도체 칩, 8i쪽 메모리 용량이 더 크다보니 실물 반도체 메모리도 조금 더 큰 편이다 / 출처=구글

결론적으로 구글이 GPU를 구매하는 것은 TPU에 자신감이 없어서가 아니라 시장 점유율을 이어나가기 위한 전략이다. 이미 구글 클라우드 고객 중 상당수는 엔비디아 소프트웨어 생태계에 편입된 개발자들이고, TPU는 어디까지나 대안이다. 또한 실시간 추론이나 범용 연구에는 GPU를 통한 가속컴퓨팅이 효과적일 수밖에 없다는 건 구글도 인정하는 바다.

물론 언제든지 자체 반도체로 전환할 수 있다는 카드를 쥐고 있음으로써 엔비디아와의 가격 협상에서 우위를 점할 수 있고, 데이터센터 운영이나 소프트웨어 측면에서도 엔비디아 기술의 종속성을 낮추는 효과가 있다.

구글은 엔비디아를 통해 시장 점유율을 방어하는 동시에 TPU를 통해 컴퓨팅 주권도 확보하고 있다. 엔비디아가 독점해온 AI 반도체 시장은 이제 구글처럼 범용 GPU와 특화 주문형 반도체(ASIC)가 공존하는 방향이 되고 있고, 시장의 승자를 가리기보다는 연결된 생태계 기업 전반이 공동으로 생존하는 방향으로 나아갈 전망이다.

IT동아 남시현 기자 (sh@itdonga.com)

사용자 중심의 IT 저널 - IT동아 (it.donga.com)

번호	제목	글쓴이	작성일	조회	추천
설문	바른 이미지 때문에 작은 논란도 크게 부각될 것 같은 스타는?	운영자	26/04/27	-	-
공지	디시콘 개선 안내	운영자	26/04/29	-	-
7010	서울창조경제혁신센터, 동아닷컴+아이티동아의 '스타트업 글로벌 홍보 증진 프로그램' 합류	IT동아	04.30	9	0
7009	[르포] GM 창원공장서 만든 트랙스 크로스오버, 가포신항 거쳐 세계로	IT동아	04.30	19	0
7008	[뉴스줌인] 생성형 AI에 변곡점 맞은 어도비? 돌파구는 '오케스트레이션' [5]	IT동아	04.30	872	0
7007	"텀블러 세척 더 쉬워졌다" 스타벅스·LG전자 마이컵, 직접 써보니	IT동아	04.30	26	0
	8세대 TPU 내놓으며 96만 대 GPU 주문한 구글··· 배경엔 '인프라 이원화' 전략	IT동아	04.30	1227	3
7005	신호철 슈프리마 전무 “출입통제 넘어 영상보안 융합…‘AI 통합 보안’ 승부수”	IT동아	04.30	34	0
7004	[인터뷰] 이경수 세라젬 대표 “가정용 의료기기 넘어 AI 웰니스 홈 구현한다”	IT동아	04.30	17	0
7003	'1.58비트의 마법'··· 에너자이, 초정밀도 양자화로 글로벌 엣지 AI 시장서 선전	IT동아	04.30	433	2
7002	AI 에이전트 시대, 외면 받던 CPU가 다시 주목받는 이유	IT동아	04.29	53	0
7001	NHN 두레이, AI 에이전트 기능 도입 “두 번째 성장 이야기 쓴다”	IT동아	04.29	20	0
7000	ISPASS 2026 기조연설 나선 정명수 파네시아 대표 “AI 데이터센터 메모리 병목 해결사는 CXL”	IT동아	04.29	26	0
6999	'하사비스·이세돌 재회' 구글, 알파고 10주년을 한국서 기념하는 이유	IT동아	04.29	67	0
6998	[신차공개] 포르쉐 '신형 카이엔 쿠페 일렉트릭' 공개·기아 ‘The 2027 K8’ 출시	IT동아	04.29	19	0
6997	[주간보안동향] 듀오 42만 명 개인정보 유출…과징금 11억 9700만 원 外	IT동아	04.29	23	0
6996	[주간스타트업동향] 세컨신드롬, 미니창고 다락 누적 회원수 10만명 돌파 外	IT동아	04.29	77	0
6995	[리뷰] 붐 마이크 없이도 선명한 통화 품질, 자브라 이볼브3 75	IT동아	04.29	29	0
6994	美 정부의 무분별한 클라우드·민간인 사찰··· 유럽연합의 '디지털 독립' 단초 됐다	IT동아	04.29	39	0
6993	스타트업 해외 가교…SBA 美 CES 이어 日 스시테크 서울관 운영	IT동아	04.29	32	0
6992	부산창조경제혁신센터, '플러그인:도쿄 #9' 프로그램으로 한국 스타트업 일본시장 진출 견인	IT동아	04.29	23	0
6991	“게임 기반 코딩 교육, 전국 교실로 확산”…ATC·넥슨·넥슨재단, ‘2026 헬로메이플 선도연구회’ 출범	IT동아	04.29	31	0
6990	시장 눈높이 맞춘 인텔 코어 시리즈 3 출시··· '저렴한 노트북 선택지 곧 등장'	IT동아	04.28	539	0
6989	“LG유플러스와 소버린 SASE 연내 출시 목표”...포티넷, 액셀러레이트 2026 개최	IT동아	04.28	36	0
6988	[정석희의 기후 에너지 인사이트] 9. 안보의 현실 앞에 멈춘 이상의 시간표	IT동아	04.28	81	1
6987	[위클리AI] 오픈AI, GPT-5.5·이미지 2.0 연속 공개···앤트로픽엔 투자 '봇물'	IT동아	04.28	36	0
6986	"대졸 취업까지 11.6개월.... 청년 아닌 제도 탓", 김철희 서울시 미래청년기획관	IT동아	04.28	144	2
6985	HP "AI 시대 업무 혁신"...AI PC+플랫폼 쌍끌이 전략 공개	IT동아	04.28	107	0
6984	[정훈구의 인터'스페이스'] AI 시대, 더 이상 사무 공간을 '소유'하지 않는다	IT동아	04.28	76	0
6983	김곡미 충남콘텐츠진흥원장 “E스포츠·인공지능·창업 충남 새 동력으로”	IT동아	04.28	27	0
6982	국내 진출 임박 지커...오토차이나서 최신 라인업과 기술 선봬	IT동아	04.28	39	0
6981	[투자를IT다] 2026년 4월 4주차 IT기업 주요 소식과 시장 전망	IT동아	04.27	38	0
6980	콘센트? 케이블? 충전기? 뭐부터 먼저 꽂아야 안전?	IT동아	04.27	34	0
6979	“손 떼도 스스로 달린다”…GM, 티맵과 손잡고 ‘한국형 커넥티드 주행’ 본격화	IT동아	04.27	44	0
6978	퓨리오사AI, 멜라녹스·엔비디아 거친 인프라 전문가 영입··· 글로벌 확장에 속도	IT동아	04.27	80	0
6977	포필러스, 판테라·퍼더로부터 투자 유치 ‘금융·웹3 경계 허물 것’	IT동아	04.27	29	0
6976	[주간투자동향] 디노티시아, 900억 원 규모 시리즈A 투자 유치 外	IT동아	04.27	38	0
6975	AI 날개 단 K-콘텐츠…“창작자 신뢰 구축이 앞서야”	IT동아	04.24	39	0
6974	[IT’s 가성비] 스마트하지 않지만 똑똑한 선택? LG 86인치 TV, 86UR642S0NC	IT동아	04.24	37	0
6973	앤트로픽 클로드 미토스는 보안 업계의 '오펜하이머 순간'이 될까	IT동아	04.24	49	0
6972	한국수자원공사, 실증부터 수출까지 ‘기후테크 성장 사다리’ 구축 박차	IT동아	04.24	47	0
6971	이대희 와이앤아처그룹 의장, “스타트업 발굴부터 투자 회수까지, 하나의 흐름으로 설계”	IT동아	04.24	45	0
6970	성적표 대신 '빅테크 DNA'... AI시대, 교육의 판을 바꾸는 ‘미래형 혁신 교육’	IT동아	04.24	962	6
6969	"내 감정 온도는 86.8도" WIS 2026, 병원 밖 AI 진단 현장서 확인	IT동아	04.24	129	0
6968	[리뷰] 폭등한 게이밍 PC 가격의 대안, 2025 오멘 16 게이밍 노트북 [5]	IT동아	04.24	794	1
6967	CIT, WIS 2026 참가···CES·MWC 이어 ‘혁신상’ 수상	IT동아	04.24	40	0
6966	금융 AX 가속화 외친 웹케시, 전략의 핵심은 "오페리아 플랫폼"	IT동아	04.23	51	0
6965	감기약도 안심 못 한다…‘약물 운전’ 처벌 기준과 오해 살펴보니	IT동아	04.23	46	0
6964	'제니의 리본' 더한 비츠 솔로 4 스페셜 에디션, 실제 체험해보니	IT동아	04.23	120	0
6963	‘2만 원대 5G’…LTE·5G 통합요금제 나온다 [22]	IT동아	04.23	1214	1
6962	"데이터·알고리듬이 AI 가속의 핵심" 엔비디아가 데이터와 알고리듬에 주목하는 이유	IT동아	04.23	38	0
6961	AI 도입, '무작정 쓰기' 넘어 '업무 자동화' 설계하는 고급 인력 양성이 핵심	IT동아	04.23	116	0

최근 방문

즐겨찾기

즐겨찾기 갤러리

이미지 올리기 이용안내

갤러리 이슈박스, 최근방문 갤러리

연관 갤러리

개념글 리스트

차단하기

[IT동아 갤러리]

갤러리 본문 영역

학습과 추론으로 이원화된 구글 8세대 TPU, 어떻게 바뀌었나?

대규모 TPU 운용과 별도로 엔비디아 GPU 96만 대 구입한 구글

엔비디아의 독무대인 데이터센터 시장, 효율성이 균열을 만들다

구글의 TPU·GPU 이원화, 생존력을 높이기 위한 고도의 전략

추천 비추천

댓글 영역

하단 갤러리 리스트 영역

왼쪽 컨텐츠 영역

갤러리 리스트 영역

페이지 이동

오른쪽 컨텐츠 영역

알림 설정

알림

디시콘 리스트

대왕디시콘 사용중

대왕디시콘

즐겨찾기 추가 안내

즐겨찾기 추가 안내

색상 설정

즐겨찾기 편집

폴더명

즐겨찾기 편집

디시콘