1. 알트만이 거대 AI의 시대가 끝났다고 말한 건 팩트.

단순 규모를 키우는 것보단 다른 아이디어로 개선하겠다고 함.

이 이야기의 배경은 GPT 시리즈의 괴랄한 학습 비용과 학습 데이터의 고갈이 반영됐다고 봄.

참고로 GPT-4의 학습 비용은 $100 million (한화로 약 1,330억).

현재 GPT-4의 질문을 시간당 제한하는 것을 보면 알겠지만 유지 보수 비용 또한 무시 못 함.

https://www.wired.com/story/openai-ceo-sam-altman-the-age-of-giant-ai-models-is-already-over/

OpenAI’s CEO Says the Age of Giant AI Models Is Already Over

Sam Altman says the research strategy that birthed ChatGPT is played out and future strides in artificial intelligence will require new ideas.

www.wired.com

1 이미지 순서 ON

주요 선진국의 대형 뇌과학 연구 프로젝트를 보면 미국의 브레인 이니셔티브 같은 경우

10년간 5조 5,000억 원 투자임, 1년에 5,500억 정도라고 보면 됨.

지구 대장인 미국이 1년에 5,500억 밖에 못 쓰는 반면에

파라미터 2조 개 추정 GPT-4의 학습 비용은 1,330억임.

그다음 GPT-5의 학습 비용은? 그다음인 GPT-6의 학습 비용은?

현재 하드웨어 성능 대비 단가 수준으론 스케일업하는게 더 이상 가성비가 나오지 않음.

왜 더 이상 규모에 집착하지 않겠다고 선언한지 이해가 되는 부분이지?

GPT 시리즈를 현재 모델로 계속 규모만 늘리면 국가 프로젝트급 예산이 들어갈 거임.

2. "AGI를 만드려면 아마도 이미 기존에 나왔던 여러가지의 아이디어들을 모두 통합하는 과정에서 나올 것이라 생각한다."

https://gall.dcinside.com/m/thesingularity/139853

OpenAI 코파운더 Ilya Sutskever 오늘자 인터뷰 요약 - 특이점이 온다 마이너 갤러리

https://www.youtube.com/watch?v=Yf1o0TQzry8 Ilya

Sutskever (OpenAI Chief Scientist) - Building AGI, Alignment, S

gall.dcinside.com

오픈AI 수석과학자인 일리야 수츠케버는 AGI가 이미 기존에 나왔던 여러 가지의 아이디어들을 모두 통합하는 과정에서 나올 거라고 말함.

https://gall.dcinside.com/m/thesingularity/140404

딥러닝 아버지 제프리 힌튼 최신 인터뷰 요약 - 특이점이 온다 마이너 갤러리

https://www.youtube.com/watch?v=qpoRO378qRY Full

interview: "Godfather of artificial intelligence" tal

gall.dcinside.com

"이미 인공지능쪽에서 엄청 많은 아이디어들이 나왔지만 컴퓨터 성능의 한계로 제대로 시도 못해본 것들 많을 수 있음."

힌튼 또한 과거에 나왔던 수많은 아이디어들이 컴퓨터 성능의 한계로 제대로 시도 못 해본 것들이 많다고 지적함.

https://gall.dcinside.com/m/thesingularity/139275

샘 알트만 인터뷰 전체 요약 - 특이점이 온다 마이너 갤러리

https://youtu.be/L_Guz73e6fw Sam

Altman: OpenAI CEO on GPT-4, ChatGPT, and the Future of AI | Lex Fridman Podcas

gall.dcinside.com

"LLM (대규모 언어 모델)은 AGI를 만들기 위해 필요한 일부일 것임. 우리는 무언가 다른 엄청나게 중요한 것이 필요함."

"GPT를 확장하는 방식으로 AGI가 충분히 나올 수 있을거라고 생각함."

알트만은 LLM이 AGI를 만들기 위해 필요한 일부라고 설명함.

최근 특갤에서 언어 모델에 한계 왔으니 버리고 다른 돌파구가 필요하다고 말하는 애들 있던데

2 이미지 순서 ON

그게 아니라 LLM은 컴퓨터 허브와도 같은 존재고 그 허브에 다른 아이디어들을 통합하는 과정이 필요하다는 이야기임.

3. 다음 돌파구는?

https://gall.dcinside.com/m/thesingularity/136185

OpenAI 수석과학자 일리야 수츠케버의 최신 인터뷰 요약 - 특이점이 온다 마이너 갤러리

https://youtu.be/SjhIlw3Iffs

도입부와 후반부는 요약에서 제외요약- 스케일은 중요하지만 더 중요한 건 좋은 스케일력(scalability: 확장성)이며 딥 러닝이 이를 처음으로 충족함- 최신 언어

gall.dcinside.com

"텍스트는그 데이터를 생성한 실제 과정의 압축된 표현이며 이를 통해 근본적인 현실에 대한 모든 것을 학습할 수 있음"

"GPT가 텍스트들의 상관관계만 배우는 것으로 보일 수 있지만 사실은 세상을 이해하고 나타내는 월드 모델을 형성하고 있음"

"멀티모달은 바람직하고 좋은 방향이 맞음, 그러나 (효율을 따지지 않는다면) AGI로 가는데 있어서 필수불가결은 아님"

마소 GPT-4 프로토 AGI 논문을 보면 알겠지만 텍스트 모델만으로도 월드 모델 구축에 성공함.

그렇지만 텍스트만으로 학습하는 것보단 어떠한 경우엔 다른 데이터를 쓰는 것이 더 빠른 학습이 가능할 수도 있음.

https://www.sedaily.com/NewsView/29N6VT6QTB

오픈AI '1X' 투자…챗GPT 로봇 나온다

생성형 인공지능(AI) 개발과 서비스 상용화를 주도하고 있는 오픈AI가 이번에는 로봇 기업에 직접 투자하며 디지털 세계의 대규...

www.sedaily.com

MLLM(multimodal large language model) - 장님이던 언어 모델에 오감을 달아주고 로봇에 탑재해서 실제 세상에서 학습시키기.

https://gall.dcinside.com/m/thesingularity/139275

샘 알트만 인터뷰 전체 요약 - 특이점이 온다 마이너 갤러리

https://youtu.be/L_Guz73e6fw Sam Altman: OpenAI CEO on GPT-4, ChatGPT, and the Future of AI | Lex Fridman Podcas

gall.dcinside.com

"AGI가 굳이 실제 세계를 탐구할 하드웨어가 필요할 것이라고 생각하지는 않지만 내 생각이 틀릴 수도 바뀔 수도 있음."

알트만 같은 경우 시뮬레이션 환경에서 학습하는 걸로 충분하다고 생각하는 듯.

4. 엥? 멀티 모달로 가도 학습비용 늘어나는 건 똑같지 않음?

https://gall.dcinside.com/m/thesingularity/137147

최근 빌-게이-츠 FULL 인터뷰 요약 - 특이점이 온다 마이너 갤러리

https://www.youtube.com/watch?v=7kGh1aeagz4 [

한글자막] Bill Gates의 AI와 빠르게 진화하는 컴퓨팅의 미래출처: https://www.youtube.com/w

gall.dcinside.com

"앞으로 소프트웨어에서도 많은 알고리즘적인 발전이 있을 것이고 컴퓨터도 실리콘에서 광학적 방식으로 넘어가면서 많은 비용과 에너지 절감이 있을 것."

4 이미지 순서 ON

비용 증가 부분은 양자 컴퓨터보다 빠르게 상용화될 차세대 패러다임인 광 프로세서가 해결할 것임.

광 프로세서는 특정 신경망을 아주 빠른 속도로 연산할 수 있음.

광 프로세서 기업은 Optalysys나 Lightmatter 등이 있고

투자자엔 이름만 들어도 다 알 법한 대기업들이 있음.

5. 골인 지점은 어디인가?

https://gall.dcinside.com/m/thesingularity/135938

빌게이츠 오늘자 새로운 블로그 업데이트 : AI의 시대 - 특이점이 온다 마이너 갤러리

The Age of AI has begun요약:나다 씹새끼들아.나는 인생 살면서 딱 두번 혁신 경험 했는데 첫번째가 1980년 처음으로 그래픽 UI 나왔을 때고두번째가 바로 작년에 OpenAI의 AI가 대학교 레벨 시

gall.dcinside.com

"2년 안에 AI가 수학적 실수하거나 추상적인 추론 못하던게 아주 크게 개선될 것"

인간이 현재 수준의 과학적 발전을 이룰 수 있던 건 '추상적 추론'이 가능했기 때문인데

최근 빌 게이츠 블로그에서 2년 안에 추상적 추론 부분이 아주 크게 향상될 거라고 함.

이 내용이 중요한 이유가 있음.

https://gall.dcinside.com/m/thesingularity/139275

샘 알트만 인터뷰 전체 요약 - 특이점이 온다 마이너 갤러리

https://youtu.be/L_Guz73e6fw Sam Altman: OpenAI CEO on GPT-4, ChatGPT, and the Future of AI | Lex Fridman Podcas

gall.dcinside.com

"추론의 정의에 따라 조금씩 의견이 다르겠지만 GPT-4는 약간의 추론을 하기 시작했다고 생각함"

GPT-4부턴 약간의 추론이 가능해졌음.

그 결과 아래와 같은 결과물이 나와버림.

5 이미지 순서 ON

https://nanothoughts.substack.com/p/reflecting-on-reflexion

Reflecting on Reflexion

Here’s a discussion on our recent paper with an additional experiment that uses GPT-4 to beat past GPT-4 standards. In our recent paper, "Reflexion: An Autonomous Agent with Dynamic Memory and Self-Reflection," we introduce a framework that allows AI agents to emulate human-like self-reflection and evaluate its performance on the

nanothoughts.substack.com

특붕이들이 환호하던 GPT-4 리플렉션으로 인한 재귀 개선 소식임.

약간의 추론 능력을 가진 GPT-4가 재귀 개선하기 시작했으니 자연스럽게 드는 생각이 있을 거임.

추상적 추론 능력이 대폭 향상된 GPT-5가 재귀 개선 한다면..?

GPT 시리즈의 지속적인 알고리즘 개선, 멀티 모달로의 확장, 실제 세계에서의 학습.

GPT 플러그인 스토어에 방대하게 쌓여가는 다양한 분야에 특화된 질 좋은 아웃풋을 내뱉는 AI들의 입출력을 추론하여 학습할 수 있는 환경.

6 이미지 순서 ON

그동안 인간의 도움이 꼭 필요했던 마치 아기 같던 AGI가

7 이미지 순서 ON

스스로 첫걸음을 시작하는 시기.

8 이미지 순서 ON

SCALE IS ALL YOU NEED - AGI IS COMING.