이번 구글 발표에서 주목할만한 기능 컨텍스트 캐싱

기술적 특이점에 대해 의논하고 그와 관련된 과학 기술 정보와 소식을 공유하는 갤러리입니다. *갤러리 이름은 동명의 레이 커즈와일의 저서 <특이점이 온다 (The singularity is near)>를 의미합니다.

매니저

특갤용(118wshxhtx5h)

부매니저

ㅇㅇ(hamaster) 부패하는유전자!!!(sansss20…) 은바다(nmra3fmz…)

개설일

2019-08-01

[정보/뉴스] 이번 구글 발표에서 주목할만한 기능 컨텍스트 캐싱

ㅇㅇ

2024.05.15 18:44:04

조회 339 추천 2 댓글 4

7cf3c028e2f206a26d81f6ed4e817168df

현 AI모델들은 실시간 지속학습을 안하기 때문에 기억력이라고 할만한게 없음

예를 들어 모델과 토론을 하며 문답을 100번 주고 받았고 내가 101번째 질문을 하면

모델은 101번째 답변을 위해 과거의 모든 100개 문답을 다시 읽고 답해야함

다른 예를 들어 긴 문서를 업로드하고 질문하면 모델은 매 답변마다 문서를 통째로 다시 읽어야됨

이 방식은 컨텍스트가 길어질수록 많은 연산을 소모하고 비효율적임

하지만 컨텍스트 캐싱(Context caching)을 이용하면 한번 읽은 컨텍스트를 다시 읽을 필요가 없음

어떻게 보면 영구적인 단기기억이라고 볼수 있을듯

물론 컨텍스트를 처음 저장하고 유지하는데 비용이 들고 아직은 약간 비싸보임

그래도 근미래엔 컨텍스트 한계는 별 문제가 아니게 될거란 생각이 듬

7ff3c028e2f206a26d81f6e44680716ffb

(https://ai.google.dev/gemini-api/docs/caching?hl=ko)

고정닉 0

원본 첨부파일 2본문 이미지 다운로드

전체 댓글 0개

등록순

본문 보기

타인의 권리를 침해하거나 명예를 훼손하는 댓글은 운영원칙 및 관련 법률에 제재를 받을 수 있습니다.
Shift+Enter 키를 동시에 누르면 줄바꿈이 됩니다.

갤러리 리스트
번호	말머리	제목	글쓴이	작성일	조회	추천
2864	설문	비난 여론에도 뻔뻔하게 잘 살 것 같은 스타는?	운영자	24/06/03	-	-
242613	공지	특갤 통합 공지 / 댓글 신고,문의 / 차단 해제 요청 [3118]	*특갤용*	23.08.06	39658	43
433260	공지	웬만하면 신문고에 문의 해주시면 차단 풀어드립니다 [2]	*부패하는유전자!!!*	24.03.06	2642	2
363220	공지	선형글 삭제 기준 [7]	*특갤용*	23.10.14	7330	24
375493	공지	필독) 유입 특붕이를 위한 AI 정보글 모음 (01/23) [40]	ㅇㅇ(182.230)	23.11.11	13495	122
373402	공지	직업 비하, 조롱 글 30일 차단됩니다. [51]	*특갤용*	23.11.07	9025	79
385147	공지	구글의 AGI 분류 체계 [17]	ㅇㅇ	23.11.22	8498	31
332612	공지	음모론 삭제 기준을 안내드립니다. [23]	*특갤용*	23.08.25	9240	30
412470	공지	레이 커즈와일 신간 6월 25일 발매 [29]	모브	24.01.24	8135	34
259237	공지	특갤 용어 모음집 [6]	*특갤용*	23.08.09	22853	33
486193	일반	지금 상황	ㅇㅇ(59.16)	16:36	13	0
486192	일반	gpt 말고 쓸만한거 뭐임? [1]	dd(210.110)	16:36	7	0
486191	일반	나가튼 사람 있냐 [2]	ㅇㅇ	16:35	26	0
486190	일반	나는 모바일로 잘 되는데 나는 뭐 그러면 OAI 직원임? [3]	ㅇㅇ(124.53)	16:34	48	0
486189	일반	일레븐랩스 여자 목소리 뒷페이지에 있는거 [7]	ㅇㅇ(106.247)	16:32	48	0
486188	일반	챗GPT 서버는 멀쩡하다 [3]	ㅇㅇ(124.53)	16:32	94	0
486187	일반	애미씹 영정당한줄 알았노 [10]	ㅇㅇ(223.39)	16:30	78	0
486185	일반	00년생들아 직업선택 잘해라. [5]	ㅇㅇ(58.224)	16:24	152	0
486184	일반	지금 미국시간 새벽 3시 ㅋㅋㅋㅋㅋ [1]	chatgpt4o	16:24	110	0
486183	일반	gpt터진거 ㄹㅇ 아무도 모르노 ㅋㅋㅋㅋ [7]	ㅇㅇ	16:23	253	0
486182	일반	gpt-4o를 뛰어넘는 gpt-5업데이트중	ㅇㅇ	16:23	128	0
486181	일반	서버 박살난 이유 [2]	ㅇㅇ(116.39)	16:23	104	0
486180	일반	특이점이 오긴 올까요???	1729	16:22	36	0
486179	일반	나도 악놀에서 놀고싶다 [5]	ㅇㅇ	16:22	69	0
486178	일반	gpt안되면 잼미니 드가자ㅏㅏ	ㅇㅇ	16:21	31	0
486177	일반	ㅋㅋㅋㅋㅋㅋㅋ 기업용 gpt api도 터짐 ㅋㅋㅋㅋ [1]	초코냥	16:21	137	0
486175	일반	gpt4 터졌다 소송 한번 가야할듯 ㅇㅅㅇ	초코냥	16:20	46	0
486174	일반	뭐야? 서버 터졌는데?	ㅇㅇ(183.104)	16:20	26	0
486173	일반	gpt서버가 이렇게 완전히 셧다운된적은 처음인데	ㅇㅇ(175.223)	16:19	61	0
486172	일반	gpt 서버박살 났는데 왜 안고치냐 [1]	chatgpt4o	16:18	80	0
486171	일반	GPT 맛탱이 간거같은데? 보이스 풀어주려하는구만	엠창인생막장의끝	16:18	53	0
486170	일반	??? : 이봐 샘! 시간 없어! 그 딜도는 버리라고! [2]	ㅇㅇ	16:17	119	0
486169	일반	gpt 서버가 뒤진거냐?	ㅇㅇ(121.133)	16:14	85	0
486168	일반	무료충들이 문제야 [1]	ㅇㅇ(211.234)	16:14	88	0
486167	일반	6월에 진짜 뭔가 나오는거 아님?	ㅇㅇ(175.223)	16:13	68	0
486166	일반	챗gpt 서버 뒤졌네	chatgpt4o	16:12	102	0
486165	일반	ai회사들 성인물 막는게 당연하다고 하던애들 사과해라 [3]	배움의길	16:11	128	2
486164	일반	아아아아 나만의 완몰가를 어서 갖고 싶구나ㅏㅏㅏㅏㅏㅏㅏㅏㅏㅏㅏㅏㅏㅏㅏ [1]	ㅇㅇ(1.239)	16:10	56	0
486163	일반	4o>>잼민이, 오푸스>>>>4터보 [1]	ㅇㅇ(115.139)	16:09	65	0
486162	일반	ChatGPT 안드로이드 앱 나만 이럼? [4]	Ad_Astra	16:09	140	0
486161	일반	잼민이는 번역외에는 그냥 그렇듯 ? [2]	누붕이(182.209)	16:07	48	0
486160	일반	<속보> chat gpt 터짐	ㅇㅇ(182.31)	16:07	226	0
486159	일반	그래서 1.5 울트라 언제 나오는데	ㅇㅇ	16:07	28	0
486158	일반	gpt가 안된다고?	ㅇㅇ(211.46)	16:06	56	0
486157	일반	지금 GPT 저만 안되나요 [6]	ㅇㅇ(106.246)	16:02	216	0
486156	정보/ 정보/뉴스	ChatGPT 지금 좀 느린가보네 [2]	Ad_Astra	16:02	184	0
486155	정보/ 정보/뉴스	mmlu pro 업데이트 나옴 [8]	ㅇㅇ	16:00	201	4
486154	일반	지금 gpt안돼네	친근한게이브	16:00	43	0
486153	일반	GPT랑 클로드랑 서로 대화하는 스크립트 짜다가 여사원한테 걸렸더 [6]	엠창인생막장의끝	15:59	87	0
486152	일반	GPT8 정도 되면 탁재훈같이 유머 잘칠수있음? [4]	ㅇㅇ(121.154)	15:56	83	0
486151	일반	몇 주 후니까 마감날 얼마 안남음	ㅇㅇ(218.147)	15:54	62	0