왜 자꾸 경로적분이 무시당하지 - 특이점이 온다 마이너 갤러리

기술적 특이점에 대해 의논하고 그와 관련된 과학 기술 정보와 소식을 공유하는 갤러리입니다. *갤러리 이름은 동명의 레이 커즈와일의 저서 <특이점이 온다 (The singularity is near)>를 의미합니다.

매니저

특갤용(118wshxhtx5h)

부매니저

ㅇㅇ(hamaster) 부패하는유전자!!!(sansss20…) 은바다(nmra3fmz…)

개설일

2019-08-01

[일반] 왜 자꾸 경로적분이 무시당하지

지니

2024.05.25 03:26:15

조회 194 추천 0 댓글 2

반복적인 시간 진화의 결과, 과거 시퀀스의 토큰 상태가 현재 시퀀스의 토큰 상태를 먹어치움으로써 제한된 크기의 시퀀스에 대해 적은 메모리만으로도 분리된 시퀀스 간의 주의가 무한한 맥락 정보를 유지하는 것이 가능해지는 것을 논의합니다. 실험에서는 입력 토큰 윈도우 크기를 12개로 설정하고 24GB 메모리를 가진 GPU 1대를 사전 학습에 사용했습니다. 150개 이상의 길이 컨텍스트가 보존되는 것을 확인했습니다. 훈련의 샘플링 결과, 코드 및 기타 자세한 내용은 추후 이 노트의 수정 버전에 포함될 예정입니다.

ㅇㅇ..;;

이론상 무한임

대규모 모델에서는 아직 확인된 바가 없음

고정닉 0

전체 댓글 0개

등록순

본문 보기

타인의 권리를 침해하거나 명예를 훼손하는 댓글은 운영원칙 및 관련 법률에 제재를 받을 수 있습니다.
Shift+Enter 키를 동시에 누르면 줄바꿈이 됩니다.

갤러리 리스트
번호	말머리	제목	글쓴이	작성일	조회	추천
2872	설문	연예인 안됐으면 어쩔 뻔, 누가 봐도 천상 연예인은?	운영자	24/06/17	-	-
496222	뉴스	[이구동성] “아무튼 새 먹거리입니다”	*게임메카*	24.06.21	62	0
242613	공지	특갤 통합 공지 / 댓글 신고,문의 / 차단 해제 요청 [3223]	*특갤용*	23.08.06	41225	43
433260	공지	웬만하면 신문고에 문의 해주시면 차단 풀어드립니다 [6]	*부패하는유전자!!!*	24.03.06	3104	2
363220	공지	선형글 삭제 기준 [8]	*특갤용*	23.10.14	7845	24
375493	공지	필독) 유입 특붕이를 위한 AI 정보글 모음 (01/23) [40]	ㅇㅇ(182.230)	23.11.11	14189	122
373402	공지	직업 비하, 조롱 글 30일 차단됩니다. [51]	*특갤용*	23.11.07	9431	79
385147	공지	구글의 AGI 분류 체계 [17]	ㅇㅇ	23.11.22	9126	31
332612	공지	음모론 삭제 기준을 안내드립니다. [23]	*특갤용*	23.08.25	9718	30
412470	공지	레이 커즈와일 신간 6월 25일 발매 [29]	모브	24.01.24	8730	35
259237	공지	특갤 용어 모음집 [6]	*특갤용*	23.08.09	23531	34
496542	정보/ 정보/뉴스	Sonnet 3.5 출시는 AGI 카운트다운을 1% 앞당김 [1]	lightvector	13:14	20	0
496541	일반	레이 커즈와일 "자연에서도 기하급수적으로 빨라지는 현상이 존재" [4]	ㅇㅇ(211.234)	13:09	87	3
496540	일반	라마3 돌리면서 천국을 맛보고 있는데 [2]	ㅇㅇ(211.185)	13:01	117	1
496539	일반	걍 전세계 천재들 모아놓고 한번에 가속시키면 안되냐? [2]	ㅇㅇ(221.140)	13:01	62	1
496538	일반	정치에 미쳐있는 사람은 봐라 그런다고 너한테 떨어지는거없다. [1]	ㅇㅇ(180.228)	12:59	47	2
496537	일반	3.5 속도 도랐네	ㅇㅇ(118.35)	12:58	53	0
496536	일반	인간 자체가 싫다 빨리 특이점로봇이 등장해서 인간을 멸종시켜야 [2]	ㅇㅇ(118.235)	12:56	40	0
496535	일반	GPT5가 박사급이라는데 그러면 테슬라봇에 장착만 시키면 AGI아님? [3]	ㅇㅇ(175.212)	12:52	107	0
496534	일반	요즘은 머 없나보네 [3]	슈퍼130클럽	12:51	73	0
496533	일반	난 우월유전자거리는 애들웃긴게 그때되면 지들은 없음 [2]	ㅇㅇ(180.228)	12:49	80	0
496532	일반	gpt3.5 지금 써보니까 개좆같네 시발	ㅇㅇ(222.104)	12:48	73	0
496531	일반	처음에 GPT 3.5 나올때 충격 받았던 거 기억하냐? 엄청나다고 [5]	ㅎㅎ(61.82)	12:47	126	0
496530	일반	클로드는 왜 gpts 같은 게 없냐 [1]	TS망상	12:45	40	0
496529	일반	얀르쿤이 트위터 아가리 닫으면 진짜가 온 거냐 [5]	트라야누스(14.32)	12:43	113	1
496528	일반	애초에 그런 인류는 존재하지 말았어야 했을 수도 [2]	ㅇㅇ	12:35	115	0
496527	일반	LLM이 똥이면 대안이 뭐냐 [3]	ㅇㅇ(211.36)	12:33	98	0
496526	일반	무라티 팩폭 ㅆㅅㅌㅊ [2]	ㅇㅇ(1.236)	12:31	184	2
496525	일반	룬 트윗 몇개	ㅇㅇ(39.125)	12:30	92	2
496524	일반	오늘도 평화롭게 llm을 극딜하는 르쿤군 [10]	ㅇㅇ(118.235)	12:27	210	1
496523	일반	알파고는 AGI 몇임 [4]	ㅇㅇ	12:24	110	0
496522	정보/ 정보/뉴스	로봇 ‘음식 배달’ 시대 도래…뉴빌리티-요기요, 서비스 시작 눈앞 [5]	앤트로픽	12:20	157	0
496521	일반	국산LMM소식 [4]	ㅇㅇ(27.100)	12:18	134	0
496520	정보/ 정보/뉴스	IEEE, 매주 선정하는 멋진 로봇 비디오 [1]	슈퍼130클럽	12:16	82	0
496519	일반	ms도 사기꾼된거 아니냐 [1]	ㅇㅇ(211.36)	12:03	116	0
496518	일반	몇분 남았다, 몇시간 남았다, 며칠 남았다 하는 놈들 특징 [3]	ㅎㅎ(61.82)	12:03	110	0
496515	일반	ai가 인간의 예상과는 다르게 흘러간게 참 신기해 [3]	ㅇㅇ(115.139)	11:55	171	0
496513	일반	갑자기 한국에서 사우디급 유전터지면 [5]	ㅇㅇ(14.43)	11:49	170	0
496510	일반	무라티 이년도 수학같은거만 잘하는 자폐 너드구만 [3]	ㅇㅇ(118.235)	11:40	155	0
496509	일반	차세대 모델이 박사 수준이라는게 정확히 뭐임? [5]	ㅇㅇ(211.59)	11:39	161	0
496508	일반	알트만이 입털어서 기대감 올리는게 -효과가 있으니깐	ㅇㅇ(115.139)	11:37	54	0
496507	일반	무라티 직업 발언은 필터 안걸러진거 맞는거 같긴 한데 [12]	ㅇㅇ(116.37)	11:37	182	0
496505	일반	25일에 갤주 신약나오긴 하는데 [3]	ㅇㅇ(223.62)	11:36	74	0
496504	일반	역시 믿을건 일리야의 초지능론 뿐이다 [4]	ㅇㅇ(222.99)	11:33	153	0
496503	일반	알트만 지금 agi만드느라 바쁨	ㅇㅇ(223.62)	11:30	67	0
496502	일반	알트만 요즘 바뻐서 공개석상에 안나오는거다 [1]	ㅇㅇ(211.36)	11:26	78	0
496501	일반	일본 서브컬쳐계도 빨리 AI도입좀 했으면좋겠다 [9]	ㅇㅇ(1.236)	11:23	210	0
496500	일반	무라티 이년 말하는 스킬이 존나 부족하네 [5]	ㅇㅇ	11:23	181	0
496499	일반	팩트는 원펀맨은 건강해지고있다는거임	ㅇㅇ(106.101)	11:23	43	0
496498	일반	???: gpt5 허~접~ ㅋㅋㅋ	ㅇㅇ(223.62)	11:21	108	1
496497	일반	무라티 소시오패스 아니냐? [1]	ㅇㅇ(118.235)	11:20	150	3