Nvidia 리더십 팀은 60명. 그들은 젠슨황에게 직접보고하는 직원들. 젠슨황은 일대일 면담을 거의 하지 않는다. 본인이 다루는 정보가 한 두사람만 알게할 정보가 아니라고 믿기 때문. 기여도가 높아서 임원이 된 사람들에게 특권적인 정보를 주는 방식은 옳지 않다고 생각한다.

60명이 한 방에 모여있을 때 리더십 회의가 열림. 2주마다 한 번. ‘모든 사람에게 동등한 정보를 주면 동등한 권한이 부여된다고 믿음. 1:1 면담은 정말 권장하지 않음. 누군가가 “젠슨황이 이걸 하라고 했다” 식으로 말하는 것보다 나쁜 것은 없다. 모두가 알아야지 왜 누가 CEO의 말을 대신 전해야하나.

저는 화장실 청소도 했던 사람이고 지금은 CEO. 모든 사람들은 다 배울 수 있다. 때문에 난 해고하기보다 그 사람을 ‘개선’하는 것을 좋아한다. 

난 0억달러 시장(zero-billion dollar markets, 개발되지 않은, 개척되지 않은 시장)을 좋아한다. 시장 점유자보다는 시장 창조자를 선호한다. 엔비디아의 미션은 인터넷의 GDP를 성장시키는 것. 세계의 GDP가 현재는 약 100조 달러지만, 반드시 100조달러일 필요는 없다. 200조, 1,000조 달러가 될 수도 있다.

0억달러 시장을 개척하려면 ‘직감’이 중요하다. 직감은 아마 앞으로 미래가 어떻게 될 것이다식의 초기 가설로 작용한다. 하지만 그 이후는 논리다. 난 ‘숫자’가 위주인 스프레드 시트보다 ‘단어’를 선호한다. 단어는 우리가 이걸 왜 믿는지, 왜 중요하다고 여기는 지, 왜 어려운지에 대한 논리적 이유가 담겨있기 때문이다. 

• 쿠다에 대해

엔비디아는 가속 컴퓨팅(accelerated computing)이라는 개념을 생각해냄. cpu만으로는 시간이 많이 걸리는 그래픽 작업들을 gpu가 빠르게 처리할 수 있도록 하는 아이디어. 처음엔 통합 드라이버 아키텍처로 시작했다가 gpu를 더 프로그래머블하게 만들기 위해 “CG”라는 프로그래밍 언어를 만듦. CG는 C for Graphics의 약자. 그래픽 프로세서를 위한 C언어 인 셈. 하지만 CG는 프로그래밍 모델에 한계가 있었다. 

엔비디아는 이를 극복하기 위해 CUDA를 개발. CUDA는 GPU를 C, C++ 등 고급 프로그래밍 언어로 프로그래밍할 수 있도록 만들어주는 플랫폼이다. 이를 통해 더 많은 계산들을 GPU에서 진행할 수 있게 되었다. 

처음에 CUDA는 대실패였다. CUDA를 적용한 새로운 GPU 칩들은 가격이 비쌌는데, 이를 활용할 애플리케이션들이 없어서 사람들이 외면한 것. 이때 엔비디아의 주0식이 폭락했었다. 하지만 젠슨황은 이 CUDA가 장기적으로 큰 가치를 창출할 것이라고 믿고 밀어부침. 가속컴퓨팅이 일반 컴퓨터로는 해결하지 못하는 일들을 해결할 것이라고 믿었다.

패트릭(Stripe CEO) : 이사회가 당신을 압박하진 않았나?

젠슨황 : 난 어려운 일을 좋아한다. 어려운 일은 오래 걸리기 때문에, 헌신적이지 않은 사람들은 포기한다. 정말 어려운 일을 하려면, 정말 끈기 있고 헌신적인 사람이 필요하다. 내가 깊이 믿는 것을 스프레드 시트처럼 숫자로 제시하지 않고 논리와 이유를 들어 설득했고 신뢰를 얻어냈다. 엔비디아의 CUDA는 현대 컴퓨팅에서 가장 중요한 발명 중 하나다. 가속 컴퓨팅의 아이디어는 ‘코드의 작은 부분인 커널을 가속화하는데 있다.’

(Cf. 예를 들어 전체 실행시간이 10분 인 코드가 있다고 하자. 이 중 9분 55초가 특정 코드 부분을 실행하는데 소요된다. 이 중요한 부분을 ‘커널’이라고 부른다. 이 커널이 전체 실행시간을 좌우한다. 이 중요하고 작은 코드의 한 부분인 커널을 GPU를 이용해 가속시키는 것이 가속컴퓨팅이다. 이 커널부분을 9분 55초가 아니라 1분으로 만들어버리면 전체 실행시간도 1분 안팎으로 줄어드는 것. 중요한 코드 부분을 가속화함으로써 전체 성능을 크게 높이는 것이다.)

세계가 수행하는 계산량은 매년 2배씩 증가하고 있다. 우리는 가속화해야한다. 모든 것을 가속화시켜야한다. 

세상에는 약 1조달러의 데이터센터가 설치되어 있다. 이 데이터센터들은 범용컴퓨팅에 사용된다. (Cf. 범용컴퓨팅 - 다양한 작업을 수행할 수 있도록 설계된 컴퓨팅 시스템. 주로 cpu / 가속컴퓨팅 - 특정 작업을 더 빠르고 효율적으로 처리하기 위해 설계된 컴퓨팅. 주로 gpu) 범용컴퓨팅은 이제 한계에 다다랐다. 우린 더 이상 그런 방식으로 데이터들을 처리할 수 없다. 세상은 이들을 가속화할 것이다. 우리는 데이터 처리 등 모든 것을 가속화할 것이다. 우리가 그렇게 하면, 모든 데이터 센터, 모든 컴퓨터는 가속화된 서버가 될 것이다. 

현재 약 1조달러 규모의 컴퓨터가 있다. 앞으로 4년동안 이 규모가 ‘성장하지 않더라도’ 이를 모두 교체해야할 것이다. 4년이든, 6년이든 몇년이든. 이 컴퓨터 산업이 연 20%로 성장한다면 앞으로 몇 년 안에 약 2조 달러의 컴퓨터를 가속화컴퓨팅으로 교체해야할 것이다. 이들을 GPU로 만들어야한다는 뜻이다.

이러한 토큰들은 새로운 유형의 데이터 센터에서 생산될 것이다. 우리는 이를 AI 공장이라 부른다. 과거 산업혁명 때 물이 기계로 들어오고 그 물을 불로 데워서 증기를 만들어 그 운동에너지로 전기를 만들었다. 원자를 통해 전자를 만든 것이다. 

이 새로운 산업혁명 때는 전자(전기)가 들어오고 부동 소수점 숫자(토큰)이 나온다. 과거 산업혁명 때 많은 사람들은 ‘전기’가 왜 중요한 지 이해하지 못했지만, 지금은 kWh단위로 판매되고 있다. 이제 우리는 백만개의 토큰을 달러단위로 판매하게 될 것이다.

과거처럼 아직 사람들은 이를 이해하지 못하고 있지만, 앞으로 10년 안에 일상적인 일이 될 것이다. 

AGI가 수학이나 영어이해력, 논리테스트, 의학 및 변호사시험을 통과하는 것이라면 1~2년 내에 훌륭한 결과를 얻어낼 것이다. 그것이 AGI라면 5년 내에 확실히 달성될 것이다. 현재 모델의 오류율이 6개월마다 절반씩 줄어들고 있기 때문. 

미래에는 무수한 모델보다는 소수의 강력한 슈퍼모델이 있을 것이다. 99%와 99.3%의 차이는 살고 죽는, 커다란 차이다. 

산업혁명을 떠올려보자. 우리는 역사상 처음으로 이전에는 생산한 적이 없는 것들을 생산하고 있다. 이 새로운 생산물들은 이전에는 존재하지 않았던 새로운 도구를 필요로 한다. 우리가 새롭게 생산하고 있는 생산물은 ‘토큰’이며 그 새로운 도구는 GPU다. 우리는 이 부동 소수점 숫자(토큰)들을 생산하고 있고 이는 곧 지능이자 ‘인공지능’이다. 이제 세상은 엄청난 양의 토큰을 생산할 것이다.

https://www.youtube.com/watch?v=8Pfa8kPjUio