갤러리 이슈박스, 최근방문 갤러리
연관 갤러리
소녀전선 갤러리 타 갤러리(0)
이 갤러리가 연관 갤러리로 추가한 갤러리
0/0
타 갤러리 소녀전선 갤러리(0)
이 갤러리를 연관 갤러리로 추가한 갤러리
0/0
개념글 리스트
1/3
- 카카오, 법정시간 넘겨 일 시키고 이중장부로 숨겨 ㅇㅇ
- 냠냠쩝쩝 마크롱이 상춘재에서 먹고간 요리촌 ㅂㅂㅂㅂㅂㅂㅂ
- 나이키 충성고객이였다가 손절친 아저씨 ㅇㅇ
- 으악으악 젓가락 공격 Maturelove
- [톱갤 요리대회] 파워의 최애음식(?) 마파가지 만들기!! 따뜻한생맥주
- 벚꽃 명소 길 막고 드라마 촬영 민폐 논란 ㅇㅇ
- 빽다방 알바 고소 점주 사과문 & 댓글 백갤러
- 7월 11일, 잠실에서 마지막 올스타전 열린다 ㅇㅇ
- 펌) 여성 3명 8만원 먹튀… CCTV 제출했는데도 못 잡으면 공개합니다 ㅇㅇ
- 노래를 잘하는 친구들이 있고요 성시경은 그것과 함께 글 해석력이 좋아요 ㅇㅇ
- BTS도 군대 다녀왔다... 연예계 병력 비리에 뿔난 대만 근황 ㅇㅇ
- 싱글벙글 짱깨들이 IS의 표적이 된 이유 ㅇㅇ
- KBS에 등장한 "로저, 굴러 이년아"…"진심으로 사과" 2009년5월23일
- 잠실롯데월드 메이플스토리 콜라보 갔다옴 메가커피
- 요즘 갤럭시 신기능 근황 커트앵글
화장실, 아웃룩 고장..달 향한 '아르테미스'에서 황당 해프닝
- 관련게시물 : 아르테미스 2호 발사... 인류 54년 만에 달 궤도로 출발- 아르테미스 승무원들이 달로 가던 중 마소 아웃룩 문제를 겪음 - dc official App- 아르테미스 미션 마이크로소프트 아웃룩 오류 발생ㅋㅋㅋㅋhttps://x.com/simnalamburt/status/2039863231603515689?s=46https://www.youtube.com/watch?v=2zpCOYkdvTQ미드가 현실- dc official App- 아르테미스 교신 방송 봤냐 일론 그리고 스타링크 지린다 진짜ㅋ 이런 멋진 시대에 살 수 있음에 감사하네 두려워 말라 내가 너와 함께 함이라하나님의 나라는 너희 안에 있느니라i love you so- 싱글벙글 아르테미스 지상관제센터통신부문 데스크에 세일러문 아르테미스 인형 놓음- '아르테미스 2호' 지구 궤도 벗어나... 본격적인 우주비행
작성자 : 얍삽한버드고정닉
(정보글) 우카시 카이저가 말하는 텍스트 모델(AGI)가 가능한 이유
※ 해당 글은 저의 주관적인 생각이며 틀리거나 부정확할 수 있으니 주의 바랍니다.텍스트 모델로 달에 가기최근 'OpenAI' 사장, 그렉 브록만은 인터뷰에서 다음과 같이 말하였다.“텍스트 모델(LLM)이 과연 어디까지 갈 수 있는가, 텍스트 지능이 대체 어디까지 닿을 수 있는가, 이 세계가 돌아가는 방식에 대한 실질적인 개념 파악이 과연 가능한가,이런 논쟁이 계속 있어 왔습니다.저는 우리가 그 물음에 확정적으로 답을 내렸다고 봅니다. AGI까지 갑니다. 거기까지의 경로가 보입니다. 지금 이 시점에서, 우리에게 경로가 보입니다.”그는 어째서 텍스트 모델만으로도 AGI에 도달 가능하다고 말하였는가?언어의 한계는 세계의 한계‘Early Fusion’ 구조의 네이티브 멀티 모달 모델은 서로 다른 모달리티의 데이터를 입력 단계부터 결합하여, 내부 잠재 공간(Latent Space) 내에서 인접한 벡터 좌표를 공유하며 학습된다.쉽게 이야기하면 사과(텍스트)와 사과(이미지)는 내부 잠재 공간 내에서 인접한 벡터 좌표를 공유한다.즉, 모든 모달리티(이미지, 비디오, 오디오 등)는 텍스트를 통해 인접한 벡터 좌표로 표현될 수 있다는 말이다.따라서 텍스트는 세상을 표상할 수 있으며, 표상된 세상의 함축인 텍스트 데이터 셋만으로도 세상을 이해할 수 있다.일리야는 다음과 같이 말하였다.“텍스트는 그 데이터를 생성한 실제 과정의 압축된 표현이며, 이를 통해 근본적인 현실에 대한 모든 것을 학습할 수 있다.”하지만 텍스트로 현실을 표상하면 다음과 같은 문제가 발생한다."화면 중앙에 위치한 약 15cm 지름의 사과. 껍질은 짙은 선홍색을 띠나, 상단 꼭지 부근으로 갈수록 황록색의미세한 줄무늬가 세로 방향으로 불규칙하게 뻗어 있음. 사과 표면에는 1mm 미만의 노란색 기공(Lenticels) 수천개가 하단부로 갈수록 밀도가 높아지며 분포함. 오른쪽 상단으로 뻗은 5cm 길이의 갈색 꼭지는 끝부분이 거칠게잘려 나무껍질의 섬유질이 드러나 있으며, 그 기점으로부터 타원형의 짙은 녹색 잎사귀 하나가 부착됨. 잎사귀표면에는 미세한 흙먼지 알갱이 수십 개가 무작위로 흩어져 있고, 중심 인맥을 기준으로 왼쪽 잎맥은 12개,오른쪽은 11개가 비대칭적으로 뻗어 나감. 조명은 좌측 상단에서 입사되어 사과의 우측 하단에 부드러운 반원형의그림자를 형성하며, 그림자의 농도는 사과 접촉면에서 가장 짙고 외곽으로 갈수록 거리에 따라 감쇄함.배경은 순백색의 무한 평면이며 사과 하단에는 아주 미세한 먼지 입자들이 그림자와 섞여 있음."‘이미지’의 미세한 디테일들을 설명하기 위해 수천 개의 텍스트 토큰을 써도, 실제 이미지 벡터가 가진 1:1 대응 좌표를 전부 다 담지 못하고 손실이 발생한다.고차원을 저차원으로 구겨 넣는 과정에서, 언어로 정의되지 않는 '미세한 차이(노이즈)'들은 모두 버려지기 때문이다.텍스트는 정보를 압축할 뿐 보존하지는 못한다.이러한 손실 때문에 텍스트 모델은 세상을 이해하지 못하게 되는가?사실 이러한 손실은 큰 문제가 되지 않는다.인간이 인지하고 있는 ‘현실’도 뇌가 해석한 ‘주관적인 상태’이기 때문이다.시각 자극을 인지하는 과정에서 주변의 다른 정보에 영향을 받아 원래의 사물에 대해, 시각적인 착각이 발생하는 현상, 즉 사물이나 특정 상황을 있는 그대로 보지 못하는 것을 ‘착시’라 부른다.어째서 인간은 이런 ‘주관적인 상태’로부터 ‘객관적인 현실’을 구축할 수 있었는가?텍스트 추론 모델로 달에 가기https://youtu.be/SUYdL4K1GUk'Attention Is All You Need'트랜스포머 논문의 저자이자 o1 추론 연구를 주도한, 우카시 카이저는 다음과 같이 말하였다.“사회자: 리처트 서튼 교수는 LLM은 AGI에 도달할 수 없다던데요”“우카시: 글쎄요 서튼 교수가 말한 게, 구식 LLM 방식인 것 같은데요, 그건 맞아요, 도달 못하죠.하지만 추론 모델은 근본적으로 다릅니다, 추론 모델은 확실히 과학을 가속할 겁니다.병렬로 더 많은 실험들을 돌릴 수 있어요, GPU가 부족할 뿐입니다.”‘추론(Inference)’은 주어진 정보, 데이터, 전제를 바탕으로 논리적인 사고 과정을 거쳐, 새로운 결론이나 예측을 도출하는 지적 행위이다.이미 알고 있는 사실(전제)에서 필연적 혹은 개연적인 새로운 판단을 이끌어내는 과정으로, 논리적 사고와 상황 판단 능력이 핵심이다.인간은 ‘주관적인 현실’을 추론을 통해 ‘그 상태에 대한 가설’을 세우고 ‘도구’를 통해 증명해왔다.따라서 LLM의 추론 능력이 임계치를 넘어서면, 표상된 세상의 함축인 텍스트 데이터 셋만으로도 ‘주관적으로 세상’을 인지하며, 추론을 통해 ‘그 상태에 대한 가설’을 세우고 ‘도구’를 통해 증명하여 ‘객관적인 현실’을 이해할 수 있을 것이다.LLM을 ‘확률적 앵무새’라고 비판하는 르쿤이 ‘o3는 LLM이 아니다’라고 한 이유도 같은 맥락이다. “사회자: 최근에 데미스 하사비스가, 1901년까지 데이터만 받은 모델이, 아인슈타인이 했던 것처럼 1905년에 상대성 이론을 만들어낸다면.그게 저의 AGI 일 겁니다라고 답했어요.하사비스는 LLM이 그렇게 하기엔 결정적인 뭔가가 빠져있다고 계속 말하거든요.하지만 당신은 텍스트, 멀티 모달의 현 LLM이 그걸 해낼 수 있다고 말씀하시는 것 같아요.결정적인 돌파구가 빠졌다기보단, 몇몇 단계를 나아가다 보면 될 것 같다고 보시는 건가요?”“우카시: 데미스가 말한 그 조건이라면, 정말 좋은 추론 모델이 나오면 그 갈증을 해소시켜줄 거라고 봅니다비디오 데이터 없어도 가능할지도요.상대성 이론은, 방을 어떻게 걸을지 그 물리적 직관에서 큰 혜택을 받는 게 아니거든요.조금은 도움 될지 몰라도요 텍스트 안에도 이미 물리적 세계에 대한 지식이 꽤 많이 들어있습니다.그래서 하사비스 조건은 멀티 모달 작업 없이도 가능하다고 봅니다.LLM, 특히 오늘 말씀드린 것처럼 구형 모델과는 확연히 다른, 추론 모델들이라면 그 목표에 접근하고 있습니다.”“사회자: 하지만 그 방대한 비디오 데이터들이, 큰 중요도가 없다 할지라도 월드 모델의 소스가 되는 것 아닌가요?컴퓨팅과 비디오 데이터를 아주 많이 투입하면 모델이 이해할 수 있는 세상,월드 모델이 만들어지는 것 아닌지요.그런 식으로 힘들다면 월드 모델은 따로 만들어야 하는 건지…”“우카시: 저는 항상 “월드는 여러 개다”라고 답해요.비디오 데이터는 로봇이 방을 걷는 월드 모델에 확실히 좋습니다.하지만 해리포터 소설 속 월드라면, 해리포터 소설 텍스트로 구축하는 게 더 낫습니다.수학 조합론에 대한 월드 모델은, 현 모델로 충분하죠, 우린 물리적으로 이 세상에 살고 있고 그건 비디오에 담겨 있어요.하지만 우리 머릿속에 있는 그 수많은 세상들은 대부분 텍스트로 표현됩니다.그래서 전 언어 모델이 이미 ‘추상적인 쪽’의 월드 모델이라 생각합니다.”우카시의 말처럼, AGI 개발은 물리적 직관에서 큰 혜택을 받는 분야가 아니다.해리포터 소설 속 월드라면, 해리포터 소설 텍스트로 구축하는 것이 더 나은 것처럼, AGI 개발의 핵심은 ‘코딩’이며, 그것은 현 LLM이 가장 잘 하는 것이기도 하다.“우카시: AGI의 정의를 ‘사람이 할 수 있는 걸 다한다’라고 하면 좀 다르죠, 평범한 인간은 상대성 이론은 발명 못해도 의자 가져오는 것은 할 수 있으니까요.그래서 그 월드 모델 부분은 비디오로 훈련시키는 게 중요해질 겁니다.”우리가 원하는 AGI는 무엇인가?평범한 인간처럼 의자를 가져오는 것인가?아니면 아인슈타인처럼 상대성 이론을 발명하는 것인가?둘 다 아니다.바로 ‘재귀 개선’이다.우카시 카이저와 그렉 브룩만은 말한다.‘재귀 개선’을 시작할 준비가 되었다는 것을.첫 단계인 ‘재귀 개선’을 할 수 있는 AGI 개발에 성공만 한다면, 인공지능은 금방 인간 수준 역을 빠르게 지나쳐 갈 것이다.우카시는 ‘2021년 6월 - 현재’까지 ‘OpenAI’에서 일하고 있으며,‘OpenAI’ 사장인 그렉 브록만의 ‘LLM’만으로도 AGI가 가능한 이유에 대해 충분히 설명하였다.컨텍스트 그 너머그는 말한다, ‘추론’이라는 새로운 패러다임이 나왔고 이쪽은 이제 시작이란 것을.“우카시: 추론 패러다임은 너무 초기라서 아주 가파른 상승곡선의 시작이라고 봅니다.추론 모델은 확실히 과학을 가속할 겁니다, GPU와 에너지가 부족할 뿐입니다.향후 1-2년 안에 매우 급격한 발전이 있을 수 있습니다.”그리고 우리는 ‘기타 방법’을 실시간으로 보고 있다.바로 ‘데이터센터 속 천재들의 나라’이다.재귀 개선은 어떤 식으로 일어나는가?기술적 특이점을 위해선 ‘재귀 개선’하는 범용 인공지능이 필요하다.대부분의 사람들은 충분히 지능적인 시스템이라면 알아서 재귀 개선 할 것이라 생각한다.“재귀적 자기 개선(Recursive self-improvement, RSI)은 인공 일반 지능(AGI) 시스템이 인간의 개입 없이 자체 능력과 지능을 향상시켜 초지능 또는 지능 폭발로 이어지는 과정이다.”나 또한 그랬고 그동안 이 부분에 대하여 깊게 생각해 본 적이 없었다.재귀 개선을 이해하려면 ‘인류의 발전사’를 알아볼 필요가 있다.인류의 발전사가 재귀 개선 그 자체이기 때문이다.문명이 가진 고유의 속성주먹에 쥐고 쓸 수 있는 도끼 형태의 모양을 가지는 뗀석기를 ‘주먹도끼’라 부른다. 그렇다, 인류의 시작은 고작 이런 돌덩어리를 ‘도구’로 쓰는 원시 문명이었다.그런 원시 문명이 현대엔 고도로 발전하여 로켓을 쏘는 우주 문명이 되었다.이러한 것이 어떻게 가능한가?인류의 지능이 갑자기 더 똑똑해진 것일까?아니면 외계인 같은 ‘외부’의 도움이라도 있었던 것일까?아니다, 이러한 발전이 가능했던 이유는 ‘문명’이 가진 ‘수확 가속의 법칙’이란 고유의 속성 때문이다.현실에선 다양한 현상이 일어난다.A라는 사람이 ‘특정 현상 1’을 보고 ‘a 가설’을 발표했다.B라는 사람이 그 가설은 틀렸다고 ‘b 가설’을 발표했다.그러자 C라는 사람이 둘 중 어느 가설이 맞는지 ‘도구’를 이용하여 증명해 보자고 한다.그 결과 ‘a 가설’과 ‘b 가설’은 둘 다 틀렸고 새로운 ‘c 이론’이 증명됐다.이 과정에서 인류 문명은 c 이론과 도구를 얻었다.이러한 A → B → C의 과정이 문명의 규모에서 각 분야마다 일어나고그리고 그 각 분야마다 생겨난 이론과 도구들이 계속 쌓이고 서로 시너지를 일으키기 시작한다.이것이 바로 레이 커즈와일이 말하는 ‘수확 가속의 법칙’인 것이다.“수확 가속의 법칙이란 진화 과정이 가속적이라는 현상,그 산물 또한 기하급수적으로 증가한다는 현상을 나타내기 위해 내가 만든 말이다.진화 과정의 산물에는 연산 같은 정보 관련 기술들이 포함된다.”이러한 가속적 기술 발전이 가능한 이유는 이전 단계의 혁신에서 사용했던 지식과 도구들이 계속 누적되고 그것들을 이용하여 더욱 강력한 기술을 더 빠르게 창조할 수 있기 때문이다.재귀 개선에 필요한 6가지, 문명 / 현상 / 추론 / 가설 / 도구 / 증명.인류의 발전사를 보고 1가지 중요한 점을 깨달을 수 있다.그것은 돌덩이를 쓰던 원시 문명에서 로켓을 쏘는 우주 문명까지의 발전사에서인류의 지식의 총량은 늘어났지만 근본적인 인류의 지능, 즉.. 뇌의 아키텍처엔 큰 변화가 없었단 것이다.이것을 통해 재귀 개선에 제일 중요한 것은 ‘추론’ 능력이란 것을 알 수 있다.추론 능력을 통해 ‘문명’에 속한 구성원이 ‘현상’을 추론하여 ‘가설’을 세우고 ‘도구’를 통해 ‘증명’한다.이러한 과정이 문명의 규모에서 동시다발적으로 일어나고 시너지를 일으키는 ‘수확 가속의 법칙’이 일어나면서인류는 고도화된 현대 문명까지 재귀 개선 한 것이다.우리는 이러한 과정을 ‘데이터센터 속 천재들의 나라’를 통해 구현할 수 있다.수많은 추론 에이전트들을 데이터센터 속에 구축하고 ‘문명 / 현상 / 추론 / 가설 / 도구 / 증명’의 시너지를 만든다.예를 들면 작은 모델에 'AGI 아이디어'를 구현하고 증명된 것들을, 큰 모델에 적용하는 싸이클을 문명 규모로 닫힌 재귀 개선 루프로 빠르게 반복한다.이것은 곧 가중치를 실시간으로 업데이트하는 것과 같아진다.따라서 진정한 병목은 ‘새로운 패러다임의 발견’이 아닌, ‘GPU’와 ‘에너지’인 것이다.이해란 무엇인가?https://youtu.be/Z9SL2ygm2Sc인텔에서 수석 부사장을, AMD에서 부사장과 수석 설계자를 지냈으며, Apple과 테슬라 등에서도 중책을 역임한 천재 중의 천재인 짐 켈러는 다음과 같이 말하였다.“우리가 이해라고 부르는 것은, 지식의 총합이 아니라, 정보 관계의 합이다.그래서 나는 AI가 정보를 아는 게 아니라, 지식을 안다고 생각한다.”여기 사과 사진을 보면 우리는 사과가 배, 자두에 가깝고, 자동차와는 멀고, 컴퓨터랑은 멀지만, 때론 어느 IT 회사 (애플) 과는 가깝다는 관계 정보를 통해 사과를 이해했다고 볼 수 있다.사실 생각해 보면, 우리도 정보를 아는 게 아닌 정보들 사이의 관계를 아는 것이다.자동차를 보면 먹는 것과의 정보로 묶지 않고, 이동이나 위험한 것과 묶는다.그러면 조금 더 이해하게 되는 것이다.이런 면 때문에 현 AI 언어 모델들이 단순하게 단어를 뱉는다는 비판이 있지만.분명 벡터로 변환해서 단어 사이의 관계를 뱉어내는 것이고, 그건 인간이 이해했다고 표현하는 것과 비슷하다.나는 최근 들어 확실하게 말할 수 있게 되었다.현 AI 언어 모델들은 확실하게 세상을 이해하고 있다, 그것이 이해와 멀다고 생각되는 것은 단순히 GPU의 문제이다.모두 수고하셨습니다.출처: OpenAI 발표 영상‘GPT-5’라는 베이스 모델을 강화 학습으로 고점을 뚫어낸 'GPT-5.2'를 기점으로, 최근에 무언가 흐름이 바뀌었다는 체감을 많이 받았습니다.우리는 확실하게 ‘재귀 개선’ 초입 단계에 진입한 것으로 보입니다.알트만은 ‘AGI는 과학적 문제 ASI는 공학적 문제’라고 하였습니다.‘공학적 문제’는 돈을 쏟아부어 해결 가능한 것이 많습니다.예를 들면 ‘GPU’와 ‘에너지’의 문제처럼.알트먼 "2028년 말 '초지능' 등장...데이터센터 지능이 인류 넘어설 것"https://www.aitimes.com/news/articleView.html?idxno=207016모두 수고하셨습니다.다음엔 메타버스에서 만나요~ [시리즈] 특이점이 온다 시리즈 完 · (정보글) 어째서 많은 유명인들이 5년 안에 AGI가 온다고 하는가? · (정보글) 허사비스가 생각하는 전이 학습과 지니 그리고 AGI의 미래. · '그록5'는 이번 세기 안에 특이점 가능 여부를 확인할 수 있는 분기점. · 출구 찾기 게임 - 제미나이 3.0 시각 테스트 2.5랑 비교. · 니들이 노인이 돼서 가상현실 나와도 노는건 아무런 문제 없는 EU-4부- · (특이점이 온다 시리즈 完) 인류의 마지막 도박 '제로원'이 온다. [시리즈] 메타버스가 온다 · (정보글) 부자유의 결핍을 만들어낼 '에이전트 경제'가 온다. · (정보글) 무제한 멀티 모달 외장 메모리 에이전트가 온다. · (정보글) 인류 구원 프로젝트 'World'가 온다.
작성자 : 월드모델고정닉
차단하기
설정을 통해 게시물을 걸러서 볼 수 있습니다.
댓글 영역
획득법
① NFT 발행
작성한 게시물을 NFT로 발행하면 일주일 동안 사용할 수 있습니다. (최초 1회)
② NFT 구매
다른 이용자의 NFT를 구매하면 한 달 동안 사용할 수 있습니다. (구매 시마다 갱신)
사용법
디시콘에서지갑연결시 바로 사용 가능합니다.