특붕이가 물어본거 내가 물어봄 - 특이점이 온다 마이너 갤러리

기술적 특이점에 대해 의논하고 그와 관련된 과학 기술 정보와 소식을 공유하는 갤러리입니다. *갤러리 이름은 동명의 레이 커즈와일의 저서 <특이점이 온다 (The singularity is near)>를 의미합니다.

매니저

특갤용(118wshxhtx5h)

부매니저

ㅇㅇ(hamaster) 부패하는유전자!!!(sansss20…) 부재중입니다.(hnn12) 은바다(nmra3fmz…)

개설일

2019-08-01

[일반] 특붕이가 물어본거 내가 물어봄앱에서 작성

ㅇㅇ

2024.03.16 00:45:18

조회 237 추천 6 댓글 7

Q : 논문에서, 정확한 예측인지 아닌지는 어떻게 아는거지 보상을 주는 기준이 뭐야?

A : 좋은 질문이에요. 논문에서 제안한 Quiet-STaR 방법은 생각(thought)이 이후 텍스트를 얼마나 잘 예측하는지에 따라 보상을 줍니다.

구체적으로, 모델이 생각을 생성한 후 실제 텍스트와 비교하여 그 생각이 얼마나 텍스트 예측에 도움이 되었는지를 평가합니다. 이를 위해 모델은 생각을 했을 때와 하지 않았을 때의 텍스트 예측 정확도를 비교하는데, 이때 정확도는 실제 텍스트의 토큰(단어 또는 subword)에 대한 log likelihood로 측정됩니다.

만약 어떤 생각이 텍스트 예측 정확도를 높인다면, 즉 실제 텍스트의 log likelihood를 증가시킨다면, 그 생각은 "좋은" 생각으로 여겨지고 양의 보상을 받게 됩니다. 반면에 생각이 오히려 정확도를 낮추면 음의 보상을 받습니다.

이러한 보상을 바탕으로 REINFORCE 알고리즘을 사용하여 모델의 파라미터를 업데이트함으로써, 모델은 점점 더 나은 생각을 생성하도록 학습하게 됩니다. 즉, 실제 이후 텍스트를 잘 예측하는 데 도움이 되는 생각들의 등장 확률이 높아지게 되는 거죠.

이 과정을 반복하면서 모델은 텍스트의 숨겨진 의미나 중요한 맥락을 파악하고 이를 바탕으로 이후 내용을 예측하는 능력을 기를 수 있게 됩니다. 결과적으로는 추론이나 질의응답 등의 태스크에서 사전 학습 없이도 제법 좋은 성능을 보일 수 있다고 합니다.

log likelihood

고정닉 3

전체 댓글 0개

등록순

본문 보기

타인의 권리를 침해하거나 명예를 훼손하는 댓글은 운영원칙 및 관련 법률에 제재를 받을 수 있습니다.
Shift+Enter 키를 동시에 누르면 줄바꿈이 됩니다.

갤러리 리스트
번호	말머리	제목	글쓴이	작성일	조회	추천
2856	설문	주위 눈치 안 보고(어쩌면 눈치 없이) MZ식 '직설 화법' 날릴 것 같은 스타는?	운영자	24/04/29	-	-
445967	일반	Agi개발했는데 [5]	ㅇㅇ(220.65)	03.21	174	1
445966	일반	근데 agi가 오고 5년뒤의 미래는 어떤모습일까? [10]	ㅇㅇ(111.91)	03.21	203	1
445965	일반	ㅅㅂ 누가 나 천년뒤에 깨워주셈 [8]	ㅇㅇ(220.65)	03.21	196	1
445964	일반	이기업이 엔디비아였구나 [12]	ㅇㅇ(116.36)	03.21	447	4
445963	일반	샘알트먼을 비평하는 국내 유튜버 [9]	ㅇㅇ(222.238)	03.21	392	5
445962	일반	누워있다 보면 특이점 오겟지 [1]	ㅇㅇ(115.22)	03.21	66	0
445961	일반	난 역노화는 한 40년 50년 뒤에 왔으면 좋겠음 [6]	ㅇㅇ(46.204)	03.21	242	0
445959	일반	이제 위에다 글 올릴때 클로드3 한테 점검받고 보낸다. [2]	dfsdf(125.180)	03.21	130	2
445958	일반	gpt4 병신 만든 이유 아직도 모르겠냐? [3]	ㅁㄱㅌㅊ(39.122)	03.21	196	3
445957	일반	근데 왜 1.58 BitNet일까 [3]	ㅇㅇ(211.33)	03.21	198	1
445956	일반	아무리 희망회로 돌려도 이번에 4.5는 안나올 것 같음	ㅇㅇ(112.162)	03.21	58	0
445955	일반	AGI 벤치마크 순위표 [7]	ㅇㅇ(39.119)	03.21	316	3
445954	일반	아니 그런데 GPT 4 는 병신이 됏냐 [1]	Gem80(27.35)	03.21	150	0
445953	일반	gpt5 여름 공개면 8월일까 [5]	Samus	03.21	245	1
445951	일반	답변속도 느렷던 때가 퀄은 더 좋았음 [1]	ㅇㅇ(14.36)	03.21	107	0
445950	일반	gpt4 성능이 떨어지는게	ㅇㅇ(175.209)	03.21	69	0
445948	일반	싱글벙글 사우디, AI 분야에 400억 달러(53조 원) 투자 예정 [2]	ㅇㅇ	03.21	191	4
445946	일반	ㅌㅇㅈ ㅈㅂ 153ㅇㅊ [2]	포스트휴먼.	03.21	150	3
445945	일반	여름이었다... [5]	agi2024	03.21	203	4
445941	일반	GPT4가 얼마나너프가심하냐면 3.5랑 큰차이없음	ㅇㅇ(59.10)	03.21	107	2
445939	일반	작은평수 과거로	락(61.105)	03.21	82	0
445938	일반	지피티 api는 모바일 결제 못함?	ㅇㅇ(202.14)	03.21	47	0
445935	일반	완몰가보다 lucid dream 테크닉 익히는 게 더 빠름 [5]	ㅇㅇ(39.119)	03.21	147	1
445934	일반	클로드3 프로 결제하면 무제한 사용이에요? [3]	ㅇㅇ(121.177)	03.21	210	0
445933	일반	오픈ai 자만한거냐 하드웨어 부족이었던거냐 일부로 늦게출시하는거냐	ㅇㅇ(112.169)	03.21	102	1
445932	일반	근데 인수경쟁도 마소가 애플보다 훨씬 잘하는거 같노	ㅇㅇ	03.21	81	2
445931	일반	chat gpt4는 사라졌다 [1]	ㅇㅇ	03.21	169	1
445930	일반	이거 좀 낭만 지리는듯 [5]	ㅇㅇ	03.21	389	4
445929	일반	요즘 gpts 프롬프트 터는맛으로 한다 [5]	ㅇㅇ(1.216)	03.21	199	0
445928	일반	괴연 로봇 여친이 상용화 돨 때 까지는 어느정도 까지 남았을까? [4]	조두아니박원숭	03.21	263	0
445927	일반	아...춥다....제미니 뚜까패던 OAI는 어디갔나.... [1]	ㅇㅇ(121.170)	03.21	208	2
445926	일반	아버지가 가구 제조 공장, 본인 직업 물리치료사인데 뭘 해야 될까 [6]	빡쳄	03.21	230	0
445925	일반	클로드땜에 울었다는 대화 커스터마이징 [2]	ㅇㅇ(106.255)	03.21	281	1
445924	일반	특이점까지 과도기 버티는 방법 알려준다. [4]	ㅇㅇ(182.211)	03.21	285	2
445923	일반	4.5 안나옴 그 이유는 [2]	응아(101.235)	03.21	172	1
445922	일반	인공지능이 고도로 발달하면 뇌지능하고 다른게 뭘까?...jpg [5]	박애플	03.21	262	0
445919	일반	레벨2 agi는언제올까 [4]	ㅇㅇ	03.21	158	0
445918	일반	내일 제발 4.5 나와줘 [5]	헬스토끼	03.21	241	4
445917	일반	,중동부자들 [4]	락(61.105)	03.21	286	1
445916	일반	내일이 마소 뭐 발표하는 그 날이야?? [3]	ㅇㅇ	03.21	260	2
445914	일반	헤일로 드라마 보는데 집중이 안되노 [5]	ㅇㅇ(211.59)	03.21	237	3
445913	일반	케케케 [2]	슈퍼130클럽	03.21	87	0
445912	일반	내년에 agi 나오면 [1]	ㅇㅇ(1.240)	03.21	185	0
445911	일반	방금 뜬 넷플 삼체 1화에 완몰가 나옴 [3]	ㅇㅇ(218.236)	03.21	388	3
445910	일반	내일 GPT-4.5가 나올수도 있대 [14]	ㅇㅇ(211.46)	03.21	1563	29
445909	일반	과도기 버틸자신없음 [6]	ㅇㅇ(220.65)	03.21	266	3
445908	일반	전세계 2%부자가 세계 절반의 부를 소유... [7]	ㅇㅇ(121.170)	03.21	516	8
445907	일반	내년에 agi나오잖아 [3]	ㅇㅇ(220.65)	03.21	183	1
445905	일반	특이점이 있다면 시뮬레이션이 맞고	ㅇㅇ	03.21	94	0
445902	일반	완몰가에서 배경 설정 이런식으로 입력하면 [2]	ㅇㅇ(116.120)	03.21	232	2