https://www.weforum.org/publications/global-risks-report-2024/in-full/global-risks-2034-over-the-limit/

2.4 AI 담당

– 시장 집중과 국가 안보 인센티브로 인해 AI 개발에 대한 가드레일 범위가 제한될 수 있습니다.

– 첨단 AI의 불리한 결과는 기술 자원과 지적 재산(IP)에 접근하거나 생산할 수 있는 사람과 그렇지 못한 사람 사이에 새로운 격차를 만들 수 있습니다.

– 갈등 결정에 AI를 더 깊이 통합하면 의도하지 않은 확대로 이어질 수 있으며, AI 애플리케이션에 대한 공개 액세스는 악의적인 행위자에게 비대칭적으로 권한을 부여할 수 있습니다.

점점 더 강력해지는 범용 AI 기술의 무분별한 확산은 향후 10년 동안 경제와 사회를 더 좋든 나쁘든 근본적으로 변화시킬 것입니다. 의료, 교육, 기후 변화 등 다양한 분야에서 생산성 이점과 혁신과 함께 고급 AI는 주요 사회적 위험을 안고 있습니다. 또한 양자 컴퓨팅에서 합성 생물학에 이르기까지 다른 기술의 병행 발전과 상호 작용하여 이러한 개척 개발로 인한 부정적인 결과를 증폭시킬 것입니다(박스 2.5 및 2.7). 의미가 심오하기 위해서는 의도적인 오용이 필요하지 않습니다. 물리적 세계에 대한 통제력이 높아지면서 사회 경제적 구조에 대규모 변화가 촉발되는 자체 개선 생성 AI 모델에서 새로운 위험이 발생할 것입니다. [리이]

AI 기술의 불리한 결과 는 상위 10위권에 새롭게 진입한 또 다른 요소로, 장기적으로 인지된 위험 심각도가 크게 악화됩니다(그림 2.11). 기관이 인간 또는 동물 작업을 수행하는 방법을 학습하는 인공 일반 지능(AGI)을 달성할 가능성과 함께 GRPS 응답자가 언급한 주요 우려 사항은 다음과 같습니다. 잘못된 정보 및 허위 정보( 1.3장: 허위 정보 ); 일자리 상실 및 해고( 2.5장: 개발 종료? ); 범죄적 이용 및 사이버 공격( 2.6장: 범죄 물결 ); 편견과 차별; 조직과 국가 모두의 중요한 결정에 사용됩니다. 무기와 전쟁에 AI를 통합하는 것입니다.

지금까지 규제 당국이 혁신 측면에서 실수를 했기 때문에 예방 원칙(불확실성에 직면한 신중함)은 AI 개발에 거의 적용되지 않았습니다. 그러나 첨단 기계 지능의 급속한 발전과 이에 대한 의존은 기술 자체를 이해하고("블랙박스 문제") 규제 안전 장치를 만드는 것("페이싱 문제") 모두에 적응하는 능력을 앞지르고 있습니다. 기술까지. [liv] 업계의 발전 속도, 시장 지배력의 깊이 및 전략적 중요성은 거버넌스 기관의 욕구와 규제 역량에 계속해서 도전할 것입니다. 하류 위험은 정치 시스템, 경제 시장, 글로벌 안보 및 안정성을 위험에 빠뜨릴 수 있습니다.

확고한 시장 집중

민간 부문이 주도하는 강력한 이중 용도(민간 및 군사 모두) 기술 개발로 인해 규제 가드 레일이 더욱 중요해졌습니다. 그러나 상업적 인센티브와 국가 안보를 중심으로 한 "기술 전쟁"은 부정적인 사회 및 안보 결과를 억제하려는 규제 노력을 앞지르게 될 수 있습니다.

GRPS 응답자들은 AI 기술의 불리한 결과 의 유일한 위험 동인으로 사이버 불안 과 기술력 집중을 강조합니다 (그림 2.12). AI 기술의 생산은 소수의 기업과 국가를 선호하는 단일하고 전 세계적으로 통합된 공급망에 고도로 집중되어 있습니다(그림 2.13). [lv] 이로 인해 향후 10년 동안 전개될 수 있는 심각한 공급망 위험이 발생합니다. 예를 들어, 공급망(광물 포함)의 초기 단계에 대한 수출 통제는 전체 비용을 증가시키고 지속적인 인플레이션 압력을 초래할 수 있습니다. 보다 복잡한 투입재(예: 반도체)에 대한 접근이 제한되면 국가 내 첨단 기술 배포의 궤도가 근본적으로 바뀔 수 있습니다. 금융 및 공공 부문을 포함하여 소규모 AI 기반 모델 세트를 광범위하게 배포 하거나 단일 클라우드 공급자에 대한 과도한 의존은 시스템적인 사이버 취약성을 발생시켜 중요한 인프라를 마비시킬 수 있습니다.

(...)

AI 승자와 패자

실제로 AI 기술의 광범위한 통합은 선진국과 개발도상국 모두에서 새로운 승자와 패자를 만들 수 있습니다. 고소득 국가와 저소득 국가 간의 디지털 격차는 AI 기술이 사회적으로 미치는 영향(혜택과 위험 모두)에 있어 극심한 불균형으로 이어질 가능성이 높습니다. 선진국과 개발도상국에서 가장 취약한 국가와 지역사회는 경제 생산성, 금융, 기후, 교육 및 의료 분야의 터보차지 AI 혁신으로부터 디지털 방식으로 더욱 뒤쳐질 수 있습니다( 2.5장: 개발 종료? ). 기술 스택 개발에서 북반구의 지배력은 사회적, 문화적, 정치적 편견을 영속시킬 수 있는 반면, 잘못된 정보와 허위 정보에서 범죄적 사용에 이르기까지 AI로 인한 위험에 대한 회복력도 남반구에서 낮을 수 있습니다. 기술 인재(따라서 이러한 기술에 대한 깊은 이해)는 제한된 시장에 집중되어 있으며, 이로 인해 발생하는 지식 격차로 인해 효과적인 규제가 어려워지고 있습니다. 국가 간에 AI 도구는 관련 규범이나 규정이 초기 단계이거나 존재하지 않는 억압 도구로 허가되거나 용도가 변경될 수 있습니다( 1.3장: 잘못된 정보 ). [lxvii] 군사 능력의 불균형도 고착될 수 있으며, 관련 적용으로 인해 책임에 대한 심각한 윤리적, 인권 문제가 제기될 수 있습니다.

따라서 기술 스택에 대한 접근은 경쟁 국가가 영향력을 확고히 하기 위한 소프트 파워의 더욱 중요한 구성 요소가 될 것입니다. AI 개발의 자체 강화적 특성은 AI가 다음 기술 혁신(또는 "부자가 더 부자가 되는" 효과)을 달성하기 위해 활용됨에 따라 이러한 기술 생산자가 더욱 확고하게 자리잡게 될 것이라는 점입니다. [lxviii] 그러나 점점 더 많은 중추 세력이 고도로 집중된 가치 사슬에서 자신의 경쟁 우위를 활용하여 보다 유리한 조건으로 이러한 기술에 접근할 수 있어 새로운 권력 역학으로 이어질 수 있습니다. 여기에는 호주, 캐나다, 인도네시아, 모로코, 베트남, 칠레 등 중요 광물 공급업체부터 일본, 한국 등 IP를 활용하거나 노르웨이, 싱가포르 등 자본을 활용할 수 있는 공급업체까지 포함될 수 있습니다. 또한 인도와 같은 소수의 국가에서는 새로운 혁신이 시장 점유율이나 부가가치 공급망의 주요 단계를 포착하여 기술 개발을 직접 방해할 수 있는 규모와 경제적 힘을 곧 갖게 될 수 있습니다. [lxix]

(...)