[마이크로소프트 논문으로 본 HBM의 현재 그리고 미래]

요즘 뉴스에서 AI 반도체 관련 기사를 보면, 거의 도배가 되다시피 HBM 기사가 주류를 이루고 있다는 느낌이 들고 이에 따라 HBM의 관심도가 급상승하고 있고, 이제는 AI 반도체에서 HBM이 가지는 중요성에 대해서 많이들 알고 계시는 듯 합니다. 오늘은 HBM의 최근 모습과 그리고 가까운 미래에 어떤 부분에 대해 걱정을 해야할 수도 있는지, nvidia는 과연 고민이 없을 지에 대해 논해보고자 합니다. 마침 Microsoft에서 Splitwise (https://arxiv.org/abs/2311.18677)라는 좋은 논문에서 제가 이야기하고 싶은 내용을 잘 전달한 논문이 있어서 이 논문도 함께 보시면 좋을 것 같습니다.

예전 글들과 마찬가지로, 제 개인적인 견해, 경험을 바탕으로 한 이야기이거나 짧은 식견에서 나오는 의견에 그칠수도 있기 때문에 참고 정도만 하시면 어떨까 합니다. AI는 너무나 빠르게 변화하고 있어서 당연하지만 뚜렷한 정답도 없고, 무엇보다 AI 자체가 너무나 어마어마한 큰 시장이기 (자율주행, LLM, 의료AI, 로봇 등등등) 때문에 제가 어떤 이야기를 하더라도 일부 섹터에 한정될 수 밖에 없으며, 굉장히 다양한 의견과 방식이 존재할 것이라는 점 당부 말씀드립니다. 아래 내용은 제가 주로 보고 있는 초거대 AI (특히 LLM)에 많은 경우 제한됨을 다시 한번 말씀드립니다. 물론 최근에는 초거대 모델들이 Transformer를 기반으로 다양한 시장에 동시다발적으로 침투하고 있기는 합니다.

HBM이 필요한 이유에 대해 전에 몇차례 정리를 하였지만, 살짝 reminder 드리자면,

1. Moore의 법칙에 따른 공정기술의 발전으로 칩 내부에 계산기를 많이 넣는것은 시간이 갈수록 그리 어렵지 않습니다. 그러나 이러한 계산기들에게 data를 메모리로부터 전달해야하는 memory controller의 성능은 무어의 법칙과 사실상 무관하고 (오히려 공정이 좋아지면 아날로그 기술은 안좋아지는 추세) 기술발전 속도가 무어의 법칙보다 상대적으로 매우 느립니다.

2. 초고속 아날로그 회로에 기반한 고속 메모리 설계는 단연 엔비디아와 브로드컴이 잘 만들어왔었고, 마침 이 두 회사는 어마어마한 I/O 성능을 필요로 하는 초거대 AI 시대를 맞아 기술적인 차별을 보여왔습니다 (따라잡을 회사가 사실상 전무, 브로드컴은 반면 폭스콘 같은 성격도 있습니다. 다양한 빅테크들이 주문생산을 브로드컴에 맡기고 있지요). 초반 HBM 시장에서는 브로드컴과 엔비디아가 약간 비등한 수준을 보였으나 (예를 들면 TPU 초기 버젼은 nvidia 제품에 뒤쳐지지 않았음) 이제는 차이가 좀 많이 벌어진 듯 합니다. 메모리 컨트롤러를 비롯한 아날로그 기술은 오랜 경험과 노하우가 필요하여 쉽게 격차를 따라잡기 어려운 특성이 있습니다.

3. 모델 크기가 무어의 법칙보다도 훨씬 더 빠른 속도로 커지고 있습니다. openAI를 비롯한 많은 업체들이 만들어낸 scaling law때문에 그러한 모델 크기 경쟁은 더욱 더 가속화되고 있고, 이러한 특징들 때문에 더욱 더 빠른 메모리 속도가 강요되고 있고 (특히나 gen AI에서는 메모리 속도가 전체성능을 좌우하는 경향이 매우 큼) nvidia가 기술적인 해자를 바탕으로 최근 급성장을 이루었습니다.

On-device AI도 물론 굉장히 중요하고 가능성이 큰 시장이지만, nvidia가 이렇게 큰 성장률을 보인 것은 아무래도, 점차 커지는 사이즈의 AI모델기반에서 나오는 AI 서비스 시장성 확인이 현재의 AI 반도체 시장 움직임을 좌우한다고 보아도 큰 무리는 없어보입니다. 모델이 많이 커지게 되면 하나의 칩이 매우 강력해야 합니다. 유통물량이 상당히 클 경우 30톤 트럭 한대를 구매하는게 1톤 트럭 30대보다 훨씬 저렴합니다. 30톤 트럭 한대보다 1톤트럭 30대로 나누어서 분배하는것이 훨씬 더 비싸다는 점은 아마 많은분들이 직관적으로 떠올릴 수 있을 것이라고 보듯이, 반도체에서도 마찬가지입니다. 칩을 여러개로 쪼개면 데이터를 분배하고 모으고 하는 것에 많은 시간과 전력이 소비되기 때문입니다.

Nvidia 제품에서 처음으로 HBM이 도입된 제품은 V100 입니다. 이 제품은 그야말로 선풍적인 인기를 얻었습니다. 왜냐하면 350W라는 작은 파워로 자그마치 1TB/s의 속도로 DRAM을 읽을 수 있기 때문입니다. 1TB/s라는 들어본 적도 없는 어마어마한 메모리 속도는 많은 AI 연구원들에게 충격으로 다가왔습니다. 왜냐하면 반도체 특성상 거의 모든 I/O를 메모리에 투입하여 속도를 올린다고 하더라도 테두리에 남는 공간도 별로 없을 뿐더러 전력량도 물리적으로 감당하지 못할 정도의 어마어마한 양이 될 것으로 보았기 때문입니다. 그런데 nvidia는 과감하게 모든 테두리를 memory controller로 도배한 것은 물론 (다시 말씀드리지만 용어만 GPU일 뿐 graphic 기능을 아예 빼버리고 AI에 필요한 기능만으로 nvidia가 AI 반도체를 만들기 시작한 것은 V100보다도 한참 전인 Tesla 아키텍쳐때 부터였습니다) 특히 놀라웠던 것은 350W라는 전력이었습니다. 왜냐하면 HBM전에 가장 강력하다고 여겨졌던 GDDR이 정말 잘해야 300GB/s 정도의 속도를 보였기 때문인데요, 급작스럽게 몇배를 점프하게 된거죠. 이 덕분에 V100을 쓰기 시작하면서 직접 체감할 정도의 속도 상승을 느끼게 됩니다 (이때는 TPU도 이정도 성능을 보였기 때문에 양대산맥처럼 느껴졌습니다. 그러나 TPU는 다음에 등장하는 A100의 놀라운 성능 상승을 보이지 못하는데….)

그 다음 발표한 A100은 정말 역사적인 nvidia의 베스트셀러이자 아름다운 작품이고 HBM 기술의 완성입니다. 사실 처음 언급한 Splitwise라는 논문에서도 A100이 얼마나 대단한 칩인지 보여줍니다. A100이 나와서 충격을 받았던 것은 V100에 비하면 겨우 50W 전력이 증가되었으면서 메모리 속도는 2배나 향상되었다는 것입니다. 어떻게 보면, V100을 통해 nvidia가 HBM의 상업화 가능성을 확인한 계기였다면 A100에서는 본격적으로 HBM의 가능성을 극한으로 끌어올립니다. 그것이 첫째로는 A100-40G 제품이었고 (2TB/s 달성을 미미한 전력량 상승만으로도 이끌어냄) 그 다음으로 A100-80G를 통해 HBM을 더 쌓아서 메모리 capacity를 크게 증가시킬 수 있다는 것을 보여줍니다 (1년만에 A100 제품의 메모리 용량이 2배!). 게다가 A100에서는 400W, 즉 아직까지는 공기로 냉각할 수 있는 칩을 만들었기 때문에 V100에 비하면 안살 이유가 없을 정도로 사재기 열풍을 일으킵니다.

그런데 문제는 H100 입니다. 전작인 A100에 비해서 전력은 400W에서 700W로 75%나 상승한 반면, 메모리 속도는 겨우 60% 상승 (2TB/s -> 3.2TB/s)했다는 점입니다. 그나마 이러한 빠른 메모리도 초반 H100 제품에는 물량 확보가 되지 않았고 (초반 H100의 메모리 스펙은 한동안 A100과 동일) 꽤 시간이 지나서야 이러한 더 빠른 초고속 메모리 제품이 풀렸습니다 (아마도 수율 확보에 시간이 좀 걸렸을 겁니다) 전에 한번 말씀드린 바와 같이 사실 반도체라는 것은 근본적으로 보면 같은 전력대비 얼마나 더 좋은 성능을 나타내는가 이게 모든 반도체 설계와 공정의 목적이라고 봐도 무방합니다. 3나노에서 2나노로 갈 때도 다른 어떤 지표보다 중요한 것은 같은 전력에서 더 많은 Transistor를 넣을 수 있어야하고 만일 이게 실패할 경우 무어의 법칙 최후의 보루는 무너집니다. I/O의 경우에는 차기 버젼이라고 할 때에는, 같은 전력에서 더 높은 bandwidth를 얻을 때 성공이라고 볼 수 있습니다. 그렇지 않으면 많은 시나리오에서, 새로운 칩을 살 이유가 크게 줄어듭니다. 물론 H100의 경우에는 전력상승 대비 속도가 그렇게까지 인상깊지는 않지만 그래도 일단 절대적인 속도 향상이 매우 크기 때문에 A100대비 필요한 칩의 개수가 줄어서, 칩 간 통신 비용이 줄어드는 장점때문에, 그리고 연산기 숫자는 많이 늘어났다는 점 때문에 인기가 있습니다. 그럼에도 불구하고 A100은 여전히 인기입니다 (사실은.. A100단종되어서(단종당해서..?) H100 사야해요…)

Splitwise라는 마이크로소프트에서도 이 점을 지적합니다. GPT 기반의 LLM 서비스를 보면 크게 summarization (prompt 처리) 그리고 generation (token 생성) 두 단계로 나눌 수 있는데, 아무래도 summariation은 연산기 숫자가 몇개인지, generation은 memory bandwidth가 얼마인지에 따라 성능이 좌우되는 측면이 있습니다. 마소에서는 이 때 전체 주어진 전력량 하에서 가장 높은 성능을 얻기 위해 summarization은 H100에게 맡기고 generation은 A100에게 맡기는 전략을 취합니다. 즉, 벌써 H100이라는 제품의 한계가 드러나는 시나리오가 나오기 시작했다는 뜻입니다. Cost는 전력량에 비례하는 측면이 있으므로 cost로 볼때도 이러한 hybrid 전략이 유효합니다. 물론 이 논문에서 가정하는 configuration이나 모델 사이즈가 항상 정답은 아니기 때문에 각자의 상황에 따라 다른 전략을 취해야할 수 있지만, 전반적으로 저는 이 논문은, 앞으로 나올 제품들이 이렇게 전력량 대비 메모리 성능 향상이 부진하다면, 신제품의 기능은 제한적으로 취하고 예전 제품들을 활용하는 것이 전체적으로 이득이 되는 시나리오는 계속 나올 것 같습니다.

700W를 소비하게 만든 H100을 보면서 저는, nvidia도 고민이 크겠다는 생각을 많이합니다. 일단 memory 속도는 계속 올려야겠는데 이제 전력량을 급상승 시키지 않고는 방법이 없고 (그래서 저는 HBM2E가 고속 메모리 중에서 어쩌면 가장 큰 sweet spot이었을 수도 있었다고 보기도 합니다. 근데 벌써 sweet spot지났으면 이제 어쩔…) 하필 700W는 그 비싼 수냉식 냉각장치를 써서 해당 데이터센터 설비투자를 다시 할 정도의 강요성을 종용할 수 밖에 없고.. 앞으로 어떤 AI 반도체가 만들어질 지 우려스럽게 보지 않을 수 없습니다.

물론 Training의 경우에는 더 좋은 네트워크 시스템, Grace-hopper와 같은 새로운 CPU와의 유기적인 결합들이 확실한 무기로 남아있겠으나 이러한 기술들은 inference시장에서는 크게 필요가 없습니다. 더 많은 칩을 써야 한 모델을 서빙하는 inference 칩은 비용측면에서도 너무나 불합리하고요 (그래서 GPT-4나 Claude3를 보더라도 모델 사이즈 증가에 비해 서비스 비용이 급상승하는 이유도 됩니다) 앞으로 inference 시장은 점점 더 빠른 속도로 커질텐데, 비용을 줄이고 더 큰 모델을 서포트할 수 있는 근간이 되는 HBM 기술이 마땅치 않을까봐 걱정이 됩니다.

제가 예상하기로는, 일단 전력량이 늘지 않으면 메모리 속도가 빨라지지 않는 부분은 어쩔 수 없기 때문에 슈퍼마이크로 같은 회사들과의 협업을 통해서 더 좋은 냉각장치를 개발해서 어찌되었든 더 높은 memory bandwidth를 만들어야할 것이고 (워낙 유지비용이나 capex는 비싸겠지만 그래도 모델 사이즈는 무서울 정도로 빨라지니까 사업 가능한 시나리오는 만들어지긴 합니다. 다시 말씀드리지만 여러 칩을 쓰는건 더더욱 비싸니까요. 울며 겨자먹기로 한칩에서 더 빠른 메모리는 아직까지는 좋습니다) 그보다 더 가능성을 높게 보는 것은 HBM 메모리들을 더 많이 쌓아서 메모리 용량을 확장하는 것이 아닐까 싶습니다. 이 경우에는 수율 문제의 난이도가 급상승하겠지만, 메모리 용량이 커지면 전체 칩의 개수를 줄일 수 있는 굉장히 효율적인 방식이기 때문에 특히나 inference용으로는 더 큰 용량의 HBM 메모리를 끌어올릴 듯 합니다. 그치만 이것도 더 쌓아봐야…. 벌써 한계 근처…

어찌되었든 HBM 발전으로 커 온 nvidia에게 벌써 H100부터 inference 쪽에서 가성비가 떨어지는 시나리오가 확연하게 나온다는 점은 아마 지금 nvidia 내부에서도 꽤나 심각한 고민으로 다가오지 않았을까 싶습니다. 전력량은 계속 늘지만 사실 전력량이 400W에서 700W로 늘면 cost는 75% 증가가 아니라 3배 이상 넘게 되기도 합니다. 공냉식에서 수냉식으로 냉각장치가 바뀌는 것은 물론 reliability측면 (즉, 데이터센터 관리에 드는 비용 등등)에서도 여러가지 눈에 보이지 않는 cost등, 고통이 다양한 CSP들에게 이미 전가되는 상황입니다.

최근의 몇년은 HBM을 기반으로 급성장한 AI를 보았고, 그와 한편으로 벌써 HBM의 한계를 빠르게 실감하는 단계까지도 오고 있습니다. 어마어마한 일이 순식간에 벌어졌는데 미래의 반도체 시장은 계속 HBM에 의지하는 것은 명확한 한계가 있다는 것은 분명합니다. 그야말로 예측 불가능한 시장이기는 한데, 그렇다고 이 상황에 해결책을 가지고 있는 회사는 (네이버/삼성 포함해서) 손가락을 꼽을 몇개의 회사밖에 없다고 보입니다.

지금은 제가 느끼기에는, 굳이 비유하자면, 마치 MPEG이나 H.264같은 코덱도 없이 원래의 원본영상 그대로를 비싼 인터넷 케이블 엄청 깔아가며 넷플릭스 같은 회사가 말도 안되는 비싼 가격 받아가며, 비디오 스트리밍 비지니스를 해나가는 느낌이 살짝 듭니다. 하지만 이런 방식은 비용문제 뿐 아니라 sustainable 하지 않다고 봅니다. 압축 기술이 제대로 지원되어야 AI 반도체 시장도 성장성이 담보된다고 봅니다. 기존의 영상처리나 음성처리때도 압축은 어려웠는데 AI 반도체를 위한 경량화는 난이도가 상당히 높기는 합니다. 그렇지만 영상처리 반도체도 '반도체'와 '영상처리' 박사 2개 가진 정도의 리더십 소수가 오랜 기간 끝내 초반 연구결과에 물꼬를 틀었고, AI 반도체도 누군가 '반도체'와 'AI 서비스' 양쪽에서 전문영역을 갖춘 드문 소수의 인재들이 이 역경을 이겨내리라 봅니다. 아무튼... 경량화의 고도화를 통해서만이 지금같은 HBM에 의존할 수 밖에 없는 inference 시장의 판도를 바꿀 수 있다고 강하게 확신합니다