https://karpathy.github.io/2024/01/21/selfdriving-agi/

Self-driving as a case study for AGI

Self-driving as a case study for AGI

karpathy.github.io

LLM(Large Language Models)의 발전에 힘입어 최근 AGI와 그 타임라인, AGI의 모습에 대해 많은 논의가 이루어지고 있습니다. 그 중 일부는 희망적이고 낙관적이지만, 대부분은 가볍게 말하면 두렵고 절망적입니다. 불행하게도 그 중 많은 부분이 매우 추상적이어서 사람들이 원을 그리며 서로 지나쳐 말하게 만듭니다. 그러므로 나는 항상 좀 더 기초적인 용어로 주제를 탐구하는 데 도움이 될 수 있는 구체적인 비유와 역사적 선례를 찾고 있습니다. 특히 AGI가 어떤 모습일 것이라고 생각하는지 묻는 질문에 저는 개인적으로 자율주행을 꼽고 싶습니다. 이번 포스팅에서는 그 이유를 설명하고자 합니다. AGI에 대한 일반적인 정의 중 하나부터 시작하겠습니다.

AGI: 경제적으로 가치 있는 대부분의 작업에서 인간의 능력을 능가하는 자율 시스템입니다.

이 정의에는 두 가지 특정 요구 사항이 있습니다. 첫째, 이는 완전한 자율성을 갖는 시스템입니다. 즉, 사람의 감독이 거의 또는 전혀 없이 자체적으로 작동합니다. 둘째, 경제적으로 가치 있는 작업의 대부분을 자율적으로 운영합니다. 이 부분을 구체적으로 설명하기 위해 저는 개인적으로 미국 노동통계국 직업지수를 참고하고 싶습니다 . 이 두 가지 속성을 모두 갖춘 시스템을 AGI라고 합니다.

이 게시물에서 제가 제안하고 싶은 것은 최근 운전 자동화 능력의 발전이 자동화 증가의 사회적 역학과 더 나아가 AGI가 일반적으로 어떻게 보이고 느껴질지에 대한 매우 좋은 초기 사례 연구라는 것입니다. 나는 이것이 느슨하게 "그것은 큰 일이다"라고 말하는 이 공간의 몇 가지 특징 때문이라고 생각합니다. 자율 주행은 사회에 매우 접근하기 쉽고 가시적입니다(거리에 운전자가 없는 자동차!). 규모에 따라 경제의 일부로서 현재 대규모 인력(예: Uber/Lyft 운전자를 생각해 보세요)을 고용하고 있으며 운전은 자동화하기 충분히 어려운 문제이지만 우리는 이를 자동화했습니다(경제의 다른 많은 부문보다 앞서). 사회는 이를 인지하고 이에 대응하고 있다. 물론 극적으로 자동화된 다른 산업도 있지만 개인적으로 익숙하지 않거나 위의 속성 중 일부에 미치지 못합니다.

부분 자동화

AI의 "충분히 어려운" 문제인 운전 자동화는 갑자기 등장한 것이 아닙니다. 이는 수많은 '도구 AI' 중간체를 활용해 운전 작업을 자동화하는 점진적인 과정의 결과다. 차량 자율성 측면에서 현재 많은 자동차가 "레벨 2" 운전자 보조 장치(인간과 협력하여 A 지점에서 B 지점으로 이동하는 AI)로 제조됩니다. 완전히 자율적이지는 않지만 많은 낮은 수준의 세부 사항을 처리합니다. 운전의. 때로는 전체 조작을 자동화합니다. 예를 들어 차가 주차될 수도 있습니다. 인간은 주로 이 활동의 ​​감독자 역할을 하지만 원칙적으로 언제든지 인계받아 운전 작업을 수행하거나 높은 수준의 명령(예: 차선 변경 요청)을 내릴 수 있습니다. 일부 경우(예: 차선 따르기 및 빠른 의사 결정) AI는 인간 능력을 능가하지만 드문 경우에는 여전히 인간 능력에 미치지 못할 수 있습니다. 이는 특히 LLM(대형 언어 모델)으로 인해 최근 기능이 잠금 해제되면서 다른 산업에 배포되는 것을 보기 시작한 많은 도구 AI와 유사합니다. 예를 들어, 프로그래머로서 GitHub Copilot을 사용하여 코드 블록을 자동 완성하거나 GPT-4를 사용하여 더 큰 기능을 작성할 때 낮은 수준의 세부 정보를 자동화에 전달하지만 정확히 같은 방식으로 필요할 경우 "개입"에 참여할 수도 있습니다. 즉, Copilot과 GPT-4는 레벨 2 프로그래밍입니다. 업계 전반에 걸쳐 레벨 2 자동화가 많이 있지만, 모두 반드시 LLM을 기반으로 하는 것은 아닙니다. TurboTax부터 Amazon 창고의 로봇, 번역, 작문, 예술, 법률, 마케팅 등의 기타 여러 "도구 AI"에 이르기까지.

완전 자동화

어느 시점에서 이러한 시스템은 신뢰성의 한계점을 넘어 오늘날의 Waymo처럼 보입니다. 그들은 완전한 자율성의 영역으로 들어갑니다. 현재 샌프란시스코에서는 앱을 열고 Uber 대신 Waymo에 전화할 수 있습니다. 무인자동차가 유료 고객인 당신을 목적지까지 데려다 줄 것입니다. 이거 엄청나 네. 운전 방법을 알 필요도 없고, 주의를 기울일 필요도 없으며, 시스템이 A에서 B로 이동하는 동안 뒤로 기대어 낮잠을 잘 수 있습니다. 제가 이야기한 다른 많은 사람들처럼 저는 개인적으로 Waymo를 선호합니다. Uber와 저는 거의 도시 내 교통에만 Uber로 전환했습니다. 훨씬 더 낮은 분산, 재현 가능한 경험을 얻을 수 있고, 운전이 매끄러워지고, 음악을 재생할 수 있으며, 운전자가 당신의 말을 듣고 어떻게 생각하는지에 대해 정신적 자원을 소비하지 않고도 친구들과 채팅할 수 있습니다.

완전 자동화의 혼합 경제

하지만 자율주행 기술이 존재하더라도 여전히 우버를 부르는 사람들이 많습니다. 왜요? 우선, 많은 사람들은 Waymo에 전화할 수 있다는 사실조차 모릅니다. 그러나 그렇게 한다고 하더라도 많은 사람들은 아직 자동화 시스템을 완전히 신뢰하지 않고 사람이 운전하는 것을 선호합니다. 하지만 설사 그렇게 한다고 해도 많은 사람들은 인간 운전자를 선호할 수도 있습니다. 예를 들어 대화와 농담을 즐기고 다른 사람을 알아가는 것을 좋아할 수도 있습니다. 단순한 선호 사항을 넘어서, 오늘날 앱의 대기 시간이 늘어나는 것으로 판단하면 Waymo는 공급이 제한되어 있습니다. 수요를 충족시킬 만큼 자동차가 충분하지 않습니다. 그 중 하나는 Waymo가 위험과 여론을 관리하고 모니터링하는 데 매우 주의를 기울이고 있다는 것일 수 있습니다. 또 다른 부분은 Waymo가 규제 당국으로부터 거리에 배치할 수 있는 자동차 수에 대한 할당량을 가지고 있다고 생각합니다. 또 다른 속도 제한 요인은 Waymos가 손가락 한 번에 모든 Uber를 즉시 교체할 수 없다는 것입니다. 그들은 인프라를 구축하고, 자동차를 만들고, 운영 규모를 확장해야 합니다. 나는 경제의 다른 부문에 있는 모든 종류의 자동화가 동일해 보일 것이라고 가정합니다. 일부 사람/회사는 이를 즉시 사용할 것이지만 많은 사람들은 1) 이에 대해 알지 못할 것이며, 2) 알고 있더라도 신뢰하지 않을 것입니다. 3) 만약 그랬더라도 그들은 여전히 ​​인간을 고용하고 함께 일하는 것을 선호합니다. 그러나 게다가 수요는 공급보다 크며 AGI는 정확히 같은 이유로 개발자의 어느 정도 자제, 어느 정도의 규제, 어느 정도의 규제로 인해 이러한 모든 방식으로 제약을 받게 됩니다. 더 많은 GPU 데이터 센터를 구축해야 하는 등 단순하고 직접적인 리소스 부족입니다.

완전 자동화의 세계화

리소스 제약에 대해 이미 암시했듯이 이 기술의 완전한 세계화는 여전히 비용이 많이 들고 작업 집약적이며 속도 제한이 있습니다. 현재 Waymo는 샌프란시스코와 피닉스에서만 운전할 수 있지만 접근 방식 자체는 상당히 일반적이고 확장 가능하므로 회사는 곧 LA, 오스틴 등으로 확장할 수 있습니다. 제품은 운전과 같은 다른 환경 요인에 의해 여전히 제약을 받을 수도 있습니다. 폭설 속에서. 그리고 드문 경우지만 인간 운영자의 구조가 필요할 수도 있습니다. 역량 확장은 “무료”로 제공되지 않습니다. 예를 들어 Waymo는 새로운 도시에 진입하기 위해 리소스를 소비해야 합니다. 이들은 존재감을 확립하고, 거리 지도를 작성하고, 인식과 기획자/통제자를 일부 고유한 상황이나 해당 지역의 특정 지역 규칙이나 규정에 맞게 조정해야 합니다. 우리의 작업 비유에서 많은 직업은 일부 설정이나 조건에서만 완전한 자율성을 가질 수 있으며 적용 범위를 확장하려면 노력과 노력이 필요합니다. 두 경우 모두 접근 방식 자체는 일반적이고 확장 가능하며 경계는 확장되지만 시간이 지남에 따라 확장될 수 있습니다.

사회는 반응한다

자율주행이 사회에 지속적으로 도입되는 것에 대해 제가 생각하는 또 다른 흥미로운 점은 불과 몇 년 전만 해도 "할 것인가", "하지 않을 것인가"에 대한 수많은 논평과 FUD가 도처에 있었다는 것입니다. 가능하든 아니든 그것은 전부였습니다. 그리고 이제 실제로 자율주행이 가능해졌습니다. 연구용 프로토타입이 아닌 제품으로서 완전 자동화된 운송 수단으로 돈을 교환할 수 있습니다. 현재 운영 범위에서 업계는 완전한 자율성에 도달했습니다. 그럼에도 불구하고 전반적으로 아무도 신경 쓰지 않는 것 같습니다. 나와 이야기를 나누는 대부분의 사람들은 (심지어 기술 분야에서도!) 이런 일이 일어났다는 사실조차 모릅니다. Waymo가 SF 거리를 운전할 때 많은 사람들이 이를 이상하게 보는 것을 보게 될 것입니다. 먼저 그들은 놀라서 쳐다본다. 그런 다음 그들은 자신의 삶을 계속 이어가는 것 같습니다. 다른 산업에 완전한 자율성이 도입되면 세상이 폭풍처럼 몰아치는 것은 아닐 수도 있습니다. 대다수의 사람들은 처음에는 그것을 깨닫지도 못할 수도 있습니다. 그렇게 하면 거부에서 수용에 이르기까지 다양한 방식으로 응시하다가 어깨를 으쓱할 수 있습니다. 어떤 사람들은 그것에 대해 정말 화가 나서 항의의 표시로 Waymos에 콘을 놓는 것과 같은 일을 합니다 . 물론, 우리는 아직 이 측면이 완전히 실현되는 것을 볼 수는 없지만, 그렇게 되면 광범위하게 예측할 수 있을 것으로 기대합니다.

경제적 영향

직업을 살펴보겠습니다. 확실히, 그리고 눈에 띄게 Waymo는 자동차의 운전자를 삭제했습니다. 그러나 이전에는 존재하지 않았고 눈에 잘 띄지 않는 다른 많은 일자리도 창출했습니다. 신경망에 대한 교육 데이터를 수집하는 데 도움을 주는 인간 라벨러, 문제가 발생한 차량에 원격으로 연결하는 지원 에이전트, 사람들은 자동차 함대, 지도 등을 구축하고 유지 관리합니다. 우선 이러한 고도로 계측된 하이테크 자동차를 조립하기 위해 다양한 센서 및 관련 인프라로 구성된 완전히 새로운 산업이 창출됩니다. 보다 일반적으로 일과 마찬가지로 많은 직업이 바뀌고 일부 직업은 사라지지만 많은 새로운 직업도 나타날 것입니다. 삭제가 가장 눈에 띄는 부분이라 할지라도 직접 삭제보다는 작업을 리팩토링하는 것이 훨씬 더 많습니다. 특정 시점과 시간이 지남에 따라 전체 수치가 하향 추세를 보이지 않을 것이라고 주장하기는 어렵지만 상황을 순진하게 보는 사람이 생각하는 것보다 훨씬 느리게 발생합니다.

경쟁 구도

제가 고려하고 싶은 마지막 측면은 경쟁 환경입니다. 몇 년 전에는 자율주행차 회사가 정말 많았습니다. 오늘날 이 문제의 어려움( AI 및 컴퓨팅 분야의 최신 기술을 고려할 때 자동화가 거의 불가능하다고 생각함)을 인식하여 생태계는 크게 통합되었으며 Waymo는 첫 번째 기능 완성에 도달했습니다 . 미래 자율주행 시연. 그러나 Cruise, Zoox, 물론 제가 개인적으로 가장 좋아하는 Tesla를 포함하여 많은 회사가 추격 중입니다. 여기에 나의 구체적인 역사와 이 공간과 관련된 간략한 메모가 있습니다. 제가 보기에 자율주행 산업의 궁극적인 목표는 전 세계적으로 완전한 자율성을 달성하는 것입니다. Waymo는 먼저 자율성을 추구한 후 글로벌로 확장하는 전략을 취한 반면, Tesla는 먼저 글로벌로 진출한 다음 자율성을 확장하는 전략을 취했습니다. 오늘도 저는 두 회사 제품의 행복한 고객이며, 개인적으로는 기술 전반을 먼저 응원합니다. 그러나 한 회사에는 주로 소프트웨어 작업이 많이 남아 있고 다른 회사에는 주로 하드웨어 작업이 많이 남아 있습니다. 나는 어느 쪽이 더 빨리 가는지에 대한 베팅을 가지고 있습니다. 마찬가지로 경제의 다른 많은 부문도 급속한 성장과 확장의 시기를 겪을 수 있지만(~2015년 자율주행 시대를 생각해 보세요), 비유가 성립한다면 나중에 소수로 통합될 뿐입니다. 이에 맞서 싸우는 기업들. 그리고 그 와중에 활발하게 사용되는 도구 AI(현재의 레벨 2 ADAS 기능)와 심지어 일부 개방형 플랫폼(쉼표)도 많이 있을 것입니다.

AGI

이것이 제가 생각하는 AGI의 대략적인 모습입니다. 이제 이것을 경제 전반에 걸쳐 서로 다른 속도로 발생하고 예측하기 어려운 모든 종류의 상호 작용과 2차 효과를 복사하여 붙여넣기만 하면 됩니다 . 완벽하게 유지되리라고는 기대하지 않지만, 염두에 두고 끌어내면 유용한 모델이 되지 않을까 기대합니다. 일종의 밈적 스펙트럼에서 그것은 우리의 통제를 벗어나 사이버 공간으로 빠져나가 치명적인 병원균이나 은하계를 회색 점액으로 바꾸는 나노봇을 제조하는 재귀적으로 자기 개선하는 초지능처럼 보이지 않습니다. 그리고 이는 현재 사회를 변화시키는 주요 자동화 개발을 가속화하고 있는 우리 경제의 일부인 자율주행과 훨씬 더 비슷해 보입니다. 그것은 점진적인 발전을 가지고 있으며 사회를 관찰자이자 참가자로 갖고 있으며 교육받은 인력, 정보, 재료 및 에너지의 규제 및 자원을 포함하여 다양한 방식으로 확장이 속도 제한되어 있습니다. 세상은 폭발하지 않고 적응하고 변화하며 리팩터링됩니다. 특히 자율주행에서는 교통 자동화가 훨씬 더 안전해지고, 도시의 스모그와 혼잡이 훨씬 줄어들 것이며, 주차장과 주차된 차량이 도로 옆에서 사라져 사람들을 위한 더 많은 공간을 확보하게 될 것입니다. 나는 개인적으로 AGI에 상응하는 모든 것이 무엇인지 매우 기대하고 있습니다.