생각의 시각화는 대규모 언어 모델에서 공간 추론을 이끌어냅니다.

특이점이 온다 갤러리
마이너

기술적 특이점에 대해 의논하고 그와 관련된 과학 기술 정보와 소식을 공유하는 갤러리입니다. *갤러리 이름은 동명의 레이 커즈와일의 저서 <특이점이 온다 (The singularity is near)>를 의미합니다.

매니저

특갤용(118wshxhtx5h)

부매니저

ㅇㅇ(hamaster) 부패하는유전자!!!(sansss20…) 은바다(nmra3fmz…)

개설일

2019-08-01

[정보] 생각의 시각화는 대규모 언어 모델에서 공간 추론을 이끌어냅니다.

ㅇㅇ(125.191) 2024.04.08 00:01:18

조회 353 추천 10 댓글 10

1bb2e468f5dc3f8650bbd58b3680706a80c6d3

https://arxiv.org/abs/2404.03622

대형 언어 모델(LLM)은 언어 이해와 다양한 추론 작업에서 인상적인 성능을 보여주었다. 그러나 인간의 인지에 있어 중요한 측면인 공간 추론 능력은 상대적으로 충분히 탐구되지 않았다. 인간은 '마음의 눈'으로 알려진 과정을 통해 보이지 않는 물체와 행동에 대한 심상을 만드는 놀라운 능력을 가지고 있어, 보이지 않는 세계를 상상할 수 있게 한다. 이러한 인지 능력에 영감을 받아 우리는 Visualization-of-Thought(VoT) 프롬프팅을 제안한다. VoT는 추론 과정을 시각화하여 LLM의 공간 추론을 이끌어내고, 이를 통해 후속 추론 단계를 안내하는 것을 목표로 한다. 우리는 자연어 내비게이션, 시각적 내비게이션, 2D 그리드 월드에서의 시각적 타일링 등 다중 홉 공간 추론 작업에 VoT를 적용하였다. 실험 결과, VoT는 LLM의 공간 추론 능력을 크게 향상시키는 것으로 나타났다. 특히 VoT는 이러한 작업에서 기존의 멀티모달 대형 언어 모델(MLLM)보다 우수한 성능을 보였다. VoT가 LLM에서 놀랍도록 잘 작동하는 반면, 공간 추론을 용이하게 하기 위해 '정신 이미지'를 생성하는 능력은 마음의 눈 과정과 유사하여, MLLM에서도 잠재적인 실행 가능성을 시사한다.

고정닉 5

원본 첨부파일 1

VoT.png

전체 댓글 0개

등록순

본문 보기

타인의 권리를 침해하거나 명예를 훼손하는 댓글은 운영원칙 및 관련 법률에 제재를 받을 수 있습니다.
Shift+Enter 키를 동시에 누르면 줄바꿈이 됩니다.

갤러리 리스트
번호	말머리	제목	글쓴이	작성일	조회	추천
2860	설문	경제관념 부족해서 돈 막 쓸 것 같은 스타는?	운영자	24/05/13	-	-
457272	정보	오피셜) GPT4 API 사망 [6]	ㅇㅇ(123.100)	04.19	3188	32
457260	일반	라마3 400b와 4터보 벤치 [8]	ㅇㅇ(175.124)	04.19	1592	16
457254	일반	개념글 빨리 올려라 시발 ㅋㅋ [10]	lightvector	04.19	1853	29
457232	일반	GPT4 초 멸망ㅋㅋㅋㅋ [2]	ㅇㅇ(123.100)	04.19	2601	22
457213	정보	라마3 벤치마크 [16]	ㅇㅇ(211.59)	04.19	1986	22
457172	일반	라마3 70b [5]	특술람	04.18	1742	28
457168	일반	르쿤햄 오늘도 호감 1스택 적립 [5]	ㅇㅇ(218.158)	04.18	1362	27
457165	정보	라마3 발표 [15]	특술람	04.18	2701	34
457122	일반	국내는 솔직히 병신맞음 [4]	ㅇㅇ(118.235)	04.18	1121	18
457091	정보	MS-오픈AI, EU의 합병 조사 피할 듯..."단순 투자로 결론" [2]	ㅇㅇ(182.230)	04.18	952	17
457057	일반	[충격]세계 최초 뇌영상 기술 조작 논란 [28]	xdxd333	04.18	2844	24
456979	일반	근데 진짜 빅이슈면 이미 해외에서부터 ㄹ들갑떨긴 함 [4]	ㅇㅇ(115.139)	04.18	1024	22
456973	일반	념글 이거 존나웃기네 씨발 ㅋㅋㅋㅋㅋ [10]	ㅇㅇ	04.18	3451	31
456946	정보	삼성전자, 업계 최고 속도 LPDDR5X D램 개발 [4]	ㅇㅇ(182.230)	04.18	1883	24
456944	일반	싱글벙글 보스턴 다이나믹스 로봇 근황.gif [28]	ㅇㅇ	04.18	3061	29
456934	정보	피터 틸 "AI가 작가보다 수학 덕후들에게 '더 나쁠 것'" [18]	특술람	04.18	2862	26
456923	정보	닉보스트롬 인류미래연구소 문 닫음 [4]	특술람	04.18	1026	20
456922	정보	인텔, 세계 최대의 뉴로모픽 시스템 '할라 포인트' 구축 [9]	ㅇㅇ(182.230)	04.18	1515	28
456913	정보	새로운 아틀라스 로봇에 대해 CEO와의 Q&A [11]	ㅇㅇ	04.18	1771	23
456890	일반	얀 르쿤의 AI관련 의견에서 감안해야 하는 점은 [33]	ㅇㅇ(218.48)	04.18	1745	30
456828	일반	뉴아틀라스 떳다(링크) [43]	ㅇㅇ(121.168)	04.17	2676	30
456817	정보	Daniel Kokotajilo, OpenAI 퇴직 [6]	ㅇㅇ(125.191)	04.17	1142	20
456805	정보	생성AI가 잡아낸 진단기록 오류, 영상의학과 전문의 못지 않다 [3]	ㅇㅇ(182.230)	04.17	1186	22
456804	정보	"구글도 AI 슈퍼컴퓨터에 1000억달러 이상 투자할 것" [3]	ㅇㅇ(182.230)	04.17	994	23
456803	정보	"AI 논문 표절 심각"…수백만명이 논문 작성에 생성 AI 활용 [5]	ㅇㅇ(182.230)	04.17	1728	16
456800	정보	MS, UAE G42에 2조 투자로 이사회 합류..."중국 완전 차단" [2]	ㅇㅇ(182.230)	04.17	951	16
456776	일반	한국은 알엔디를 너무 무작정 부풀렸음 [23]	ㅇㅇ(121.168)	04.17	1860	23
456768	정보	한국, AI 특허 수는 1위지만 작년 개발 모델 없고 인재 유출 [18]	니지카엘	04.17	1112	10
456763	정보	예쁜꼬마선충과 인간의 뇌 부피 간접 비교 [19]	ㅇㅇ(182.230)	04.17	1963	16
456734	정보	뇌에 '바코드' 새겨 일시 기억 저장한다 [14]	ㅇㅇ(182.230)	04.17	2580	20
456703	정보	TransformerFAM: 피드백 주의는 작업 메모리입니다. [12]	특술람	04.17	1011	14
456679	AI창 AI창작	AI야 케이크 위에 앉은 미소녀 그려줘 [17]	ㅇㅇ	04.17	1787	14
456642	일반	펌) 생식기 실험을 통한 AI 인지능력 테스트 [19]	agi2024	04.17	2897	27
456611	일반	개시발 근들갑 병신 원툴새기들 트위터 똥글은 그만퍼와라 [16]	ㅇㅇ(14.45)	04.17	1973	49
456604	일반	념글 레데리2 클리어 근들갑 같은데 [13]	ㅇㅇ(221.160)	04.16	2398	22
456599	정보	보스턴 다이내믹스 - 유압식 아틀라스와의 작별 [26]	SGG	04.16	2275	19
456584	정보	MetaAI 퇴사자, 새로운 회사 설립 [2]	ㅇㅇ(118.235)	04.16	1810	19
456567	일반	LLM 훈련비용 7년 새 20만배 이상 증가 [14]	ㅇㅇ(125.142)	04.16	1961	14
456565	정보	어도비, 동영상 편집기 '프리미어'에 '소라' 등 결합 예정 [17]	ㅇㅇ(182.230)	04.16	1717	23
456561	정보	레카, 새로운 LMM '코어' 출시..."일부 성능서 GPT-4 능가" [8]	ㅇㅇ(182.230)	04.16	1303	16
456559	정보	오픈AI, 1년 만에 직원수 2배 증가..."올말에는 1500명 넘을 것 [7]	ㅇㅇ(182.230)	04.16	1551	17
456558	정보	지난해 전 세계 파운데이션 모델 149개 출시 [7]	ㅇㅇ(182.230)	04.16	937	13
456557	일반	네옴시티 완전 망한거 알고있냐? [40]	빅모드	04.16	3225	31
456554	정보	"지금까지 리뷰한 최악의 제품"...Ai 핀 리뷰로 떠들썩 [10]	ㅇㅇ(182.230)	04.16	1726	11
456553	정보	"챗GPT로 게임 '레드 데드 리뎀션 2' 클리어 [14]	ㅇㅇ(182.230)	04.16	2327	15
456476	일반	할아버지가 특이점 와봤자 다른게 없다고한다. [21]	ㅇㅇ(218.233)	04.16	1095	18
456470	일반	"박사 과정에서 수십억 년이 걸렸을 일을 우리는 1년 만에 해냈습니다" [13]	ㅇㅇ(221.157)	04.16	1313	13
456463	정보	인터넷속도 176만배 빠르게 하는 기술 개발됨 [47]	ㅇㅇ(210.178)	04.16	2465	17
456461	일반	인디게임 개발자로써, GPT는 충분히 가치가 있다. [19]	ㅇㅇ(116.34)	04.16	2546	24
456443	일반	머스크 스페샬 [8]	ㅇㅇ(222.101)	04.16	626	11