생각의 시각화는 대규모 언어 모델에서 공간 추론을 이끌어냅니다.

기술적 특이점에 대해 의논하고 그와 관련된 과학 기술 정보와 소식을 공유하는 갤러리입니다. *갤러리 이름은 동명의 레이 커즈와일의 저서 <특이점이 온다 (The singularity is near)>를 의미합니다.

매니저

특갤용(118wshxhtx5h)

부매니저

ㅇㅇ(hamaster) 부패하는유전자!!!(sansss20…) 은바다(nmra3fmz…)

개설일

2019-08-01

[정보] 생각의 시각화는 대규모 언어 모델에서 공간 추론을 이끌어냅니다.

ㅇㅇ(125.191) 2024.04.08 00:01:18

조회 355 추천 10 댓글 10

1bb2e468f5dc3f8650bbd58b3680706a80c6d3

https://arxiv.org/abs/2404.03622

대형 언어 모델(LLM)은 언어 이해와 다양한 추론 작업에서 인상적인 성능을 보여주었다. 그러나 인간의 인지에 있어 중요한 측면인 공간 추론 능력은 상대적으로 충분히 탐구되지 않았다. 인간은 '마음의 눈'으로 알려진 과정을 통해 보이지 않는 물체와 행동에 대한 심상을 만드는 놀라운 능력을 가지고 있어, 보이지 않는 세계를 상상할 수 있게 한다. 이러한 인지 능력에 영감을 받아 우리는 Visualization-of-Thought(VoT) 프롬프팅을 제안한다. VoT는 추론 과정을 시각화하여 LLM의 공간 추론을 이끌어내고, 이를 통해 후속 추론 단계를 안내하는 것을 목표로 한다. 우리는 자연어 내비게이션, 시각적 내비게이션, 2D 그리드 월드에서의 시각적 타일링 등 다중 홉 공간 추론 작업에 VoT를 적용하였다. 실험 결과, VoT는 LLM의 공간 추론 능력을 크게 향상시키는 것으로 나타났다. 특히 VoT는 이러한 작업에서 기존의 멀티모달 대형 언어 모델(MLLM)보다 우수한 성능을 보였다. VoT가 LLM에서 놀랍도록 잘 작동하는 반면, 공간 추론을 용이하게 하기 위해 '정신 이미지'를 생성하는 능력은 마음의 눈 과정과 유사하여, MLLM에서도 잠재적인 실행 가능성을 시사한다.

고정닉 5

원본 첨부파일 1

VoT.png

전체 댓글 0개

등록순

본문 보기

타인의 권리를 침해하거나 명예를 훼손하는 댓글은 운영원칙 및 관련 법률에 제재를 받을 수 있습니다.
Shift+Enter 키를 동시에 누르면 줄바꿈이 됩니다.

갤러리 리스트
번호	말머리	제목	글쓴이	작성일	조회	추천
2861	설문	어떤 상황이 닥쳐도 지갑 절대 안 열 것 같은 스타는?	운영자	24/05/20	-	-
456178	정보	오픈AI, 아시아 최초 사무소인 OpenAI Japan 설립 [28]	월코존버	04.15	2399	22
455877	정보	엔트로픽 CEO, ASL-4는 2025~2028 사이에 일어날 수 있다 [14]	ㅇㅇ(218.52)	04.14	975	11
455701	정보	다트머스 연구진은 현대 AI와 치료 앱을 융합하려고 합니다. [12]	ㅇㅇ	04.14	1413	14
455985	정보	미스트랄 8x22b성능은 오픈소스중최고 mmlu 77.3 [11]	ㅇㅇ(149.88)	04.14	1489	15
456113	정보	2024년 가장 많이 사용되는 AI 플랫폼 20개는 [9]	ㅇㅇ(182.230)	04.15	2519	21
455398	일반	페이팔ceo 시발년아 [16]	ㅇㅇ(14.53)	04.13	2723	20
456112	일반	알트만 스캠이라면 영악한게 , 5~10년안에 올지도 모른다 [2]	ㅇㅇ(118.129)	04.15	541	10
456111	정보	"기존 벤치마크 한계 도달"...새로운 LLM 평가 수단 속속 등장 [4]	ㅇㅇ(182.230)	04.15	1741	13
456069	일반	와 자율주행 신기하네 [1]	ㅇㅇ	04.15	996	11
455998	일반	알트만 새 트윗 개인적인 해석 [4]	ㅇㅇ(112.144)	04.14	778	10
455964	정보	특이점이 온 미국의 노동시장 [11]	테이리	04.14	1015	10
455902	정보	채신논문) 어리석음을 찬양하며: 유연한 목표와 인간의 인지 능력 [6]	ㅇㅇ	04.14	2701	24
455884	정보	구글 삼성결별 2025년부터 TSMC에서 생산 [6]	ㅇㅇ(125.143)	04.14	751	10
455850	일반	데빈 저격영상 떳네 ㅋㅋ [15]	상한포도	04.14	3198	27
455846	일반	devin 걍 사기꾼이였네 [8]	ㅇㅇ(211.36)	04.14	2808	20
455800	일반	샘 알트만 ”agi 개발완료“는 날조임 [10]	ㅇㅇ(116.120)	04.14	3499	44
455774	일반	“韓 연구진이 개발한 뇌 영상 기술 …연이은 검증 실패 [9]	ㅇㅇ(211.234)	04.14	2534	22
455743	일반	이런일 다들 경험해봣을건데 [22]	ㅇㅇ(117.20)	04.14	2867	31
455680	일반	2025년이 7개월남았다는게 어이가없네 [8]	ㅇㅇ(211.197)	04.13	3579	33
455679	정보	AI가 월스트리트에 온다, 은행 분석가 채용 2/3로 줄이는 것을 고려중 [4]	ㅇㅇ(125.191)	04.13	794	10
455648	일반	영상다시봤는데 힌튼이 말을 이상하게했음 [8]	ㅇㅇ(211.197)	04.13	1606	16
455619	일반	특갤에 갈수록 병신새끼들만 남는거같다고? [17]	ㅇㅇ(58.127)	04.13	2875	53
455614	AI창 AI창작	AI야 클레 귀엽게 그려줘 [17]	ㅇㅇ	04.13	2486	24
455604	일반	내 사촌여동생(12살)한테 특이점 설명해줬음 [64]	초존도초	04.13	2780	33
455584	일반	제프리 힌튼 "AI 챗봇은 감각과 주관적 경험을 가지고 있다" [16]	ㅇㅇ(1.237)	04.13	2318	24
455563	정보	빌게이츠가 말하는 AI 시대에 살아남을 직업 3가지 [20]	ㅇㅇ(119.207)	04.13	3953	36
455533	정보	뇌 없이 운동 학습하고 기억하는 메커니즘 찾았다 [4]	ㅇㅇ(182.230)	04.13	1379	14
455520	일반	얀르쿤은 빌라에 사는 성난 아줌마다. [25]	ㅇㅇ	04.13	2076	46
455500	일반	난 왜 얀르쿤 말이 맞아보이지 [21]	ㅇㅇ(39.7)	04.13	2707	45
455452	일반	오늘도 연전연승	ㅇㅇ(58.127)	04.13	1240	27
455447	정보	삼성, 갤럭시 S22·21에도 AI 일부 적용 [2]	ㅇㅇ(182.230)	04.13	2367	24
455442	정보	오픈AI, 기업 시장 확장 위해 MS와 경쟁 불사 [2]	ㅇㅇ(182.230)	04.13	1304	20
455441	정보	오픈AI, 유출 혐의로 연구원 2명 해고..."효과적인 이타주의 연관" [8]	ㅇㅇ(182.230)	04.13	1404	18
455438	정보	메타가 공개한 AGI로 가는 방법, 'V-제파'란 [13]	ㅇㅇ(182.230)	04.13	2030	30
455436	정보	메타, AI의 ‘현실 이해' 돕는 오픈 소스 데이터셋 출시 [2]	ㅇㅇ(182.230)	04.13	801	13
455435	정보	그록 1.5v 발표 [14]	특술람	04.13	1549	28
455434	정보	"로봇이 일자리를 빼앗는다는 것은 '신화'에 불과" [7]	ㅇㅇ(182.230)	04.13	1839	17
455433	정보	아마존 "생성 AI는 인터넷 이후 최고 기술"...앤드류 응 이사회 합류 [4]	ㅇㅇ(182.230)	04.13	1063	13
455432	정보	생추어리, 자동차 부품 생산에 AI 로봇 투입 파트너십 [1]	ㅇㅇ(182.230)	04.13	473	15
455430	정보	애플, AI 강화 위해 'M4' 칩 조기 업그레이드 [3]	ㅇㅇ(182.230)	04.13	1062	18
455428	정보	MS, 군사용 도구로 오픈AI '달리' 판매 시도 [1]	ㅇㅇ(182.230)	04.13	190	10
455415	일반	개발자 근들갑보다 특이쭝이들 조울증이 더 꼴보기 실어여 ㅇㅅㅇ [19]	ㅇㅇ(122.36)	04.13	1385	41
455397	AI창 AI창작	샘 알트만 디스곡 만들어 줘 [5]	ㅇㅇ	04.13	1335	30
455396	정보	Cognition의 Devin으로 알아보는 AI업계의 과대광고 [17]	ㅇㅇ(218.53)	04.13	1574	55
455381	일반	부자들도 역노화 포기한것같다 [10]	ㅇㅇ(125.180)	04.13	1916	14
455363	일반	테슬라, 첨단 휴머노이드 로봇 특허 기술 공개 [3]	ㅇㅇ(116.120)	04.13	1507	25
455357	일반	와 ㅅㅂ뭐냐 수학성능 ㅈㄴ올랐네 [17]	ㅇㅇ(221.160)	04.13	2356	21
455341	일반	오픈ai가 데이터 엄청 긁어 모으고 있네 [3]	ㅇㅇ	04.13	1964	26
455340	일반	전 PayPal CEO "gpt5는 정말 놀라운 순간이 될 것" [25]	특술람	04.13	2678	35
455335	일반	Mistral AI CEO "나는 AGI를 믿지 않는다" [10]	특술람	04.13	1897	23