이번 구글 발표에서 주목할만한 기능 컨텍스트 캐싱

기술적 특이점에 대해 의논하고 그와 관련된 과학 기술 정보와 소식을 공유하는 갤러리입니다. *갤러리 이름은 동명의 레이 커즈와일의 저서 <특이점이 온다 (The singularity is near)>를 의미합니다.

매니저

특갤용(118wshxhtx5h)

부매니저

ㅇㅇ(hamaster) 부패하는유전자!!!(sansss20…) 은바다(nmra3fmz…)

개설일

2019-08-01

[정보/뉴스] 이번 구글 발표에서 주목할만한 기능 컨텍스트 캐싱

ㅇㅇ

2024.05.15 18:44:04

조회 341 추천 2 댓글 4

7cf3c028e2f206a26d81f6ed4e817168df

현 AI모델들은 실시간 지속학습을 안하기 때문에 기억력이라고 할만한게 없음

예를 들어 모델과 토론을 하며 문답을 100번 주고 받았고 내가 101번째 질문을 하면

모델은 101번째 답변을 위해 과거의 모든 100개 문답을 다시 읽고 답해야함

다른 예를 들어 긴 문서를 업로드하고 질문하면 모델은 매 답변마다 문서를 통째로 다시 읽어야됨

이 방식은 컨텍스트가 길어질수록 많은 연산을 소모하고 비효율적임

하지만 컨텍스트 캐싱(Context caching)을 이용하면 한번 읽은 컨텍스트를 다시 읽을 필요가 없음

어떻게 보면 영구적인 단기기억이라고 볼수 있을듯

물론 컨텍스트를 처음 저장하고 유지하는데 비용이 들고 아직은 약간 비싸보임

그래도 근미래엔 컨텍스트 한계는 별 문제가 아니게 될거란 생각이 듬

7ff3c028e2f206a26d81f6e44680716ffb

(https://ai.google.dev/gemini-api/docs/caching?hl=ko)

고정닉 0

원본 첨부파일 2본문 이미지 다운로드

전체 댓글 0개

등록순

본문 보기

타인의 권리를 침해하거나 명예를 훼손하는 댓글은 운영원칙 및 관련 법률에 제재를 받을 수 있습니다.
Shift+Enter 키를 동시에 누르면 줄바꿈이 됩니다.

갤러리 리스트
번호	말머리	제목	글쓴이	작성일	조회	추천
2864	설문	비난 여론에도 뻔뻔하게 잘 살 것 같은 스타는?	운영자	24/06/03	-	-
486534	일반	설마 오늘 새벽 3시에 큰 거 온다는 신호가 아닐까? [4]	지혜원	06.05	223	0
486532	일반	클로드 복구는 했는데 불안정해보인다 [2]	ㅇㅇ(115.138)	06.05	137	0
486531	일반	루머)일부 사용자가 GPT-4.5를 목격했다고 보고 [4]	ㅇㅇ(112.144)	06.05	603	0
486530	일반	제미니도 공격은 받나봄	ㅇㅇ	06.05	105	0
486529	일반	태양풍이라도 터졌나보지 ㅇㅇ [2]	ㅇㅇ(110.70)	06.05	122	0
486528	일반	시험볼때 지피티 쓰는데 시ㅂ 만약 시험날 이러면 [1]	ㅇㅇ(211.40)	06.05	144	0
486527	일반	오늘 사태 보고 생각나는게 특이점 혁명이 어떻게 일어난다는거임? [1]	ㅇㅇ	06.05	134	0
486526	일반	와 GPT, 클로드에 1년넘게 익숙해지니까 [1]	ㅇㅇ(59.26)	06.05	268	0
486525	일반	인도 선거설이 제일 그럴듯하긴 하네 [2]	ㅇㅇ(115.139)	06.05	190	1
486524	일반	어제 미국 증시도 갑자기 오류 떴다는데 [1]	ㅇㅇ(221.166)	06.05	221	1
486523	일반	제발 AGI가 탄생해서 모든 ai서버 먹통된거이기를 [2]	ㅇㅇ(118.45)	06.05	150	0
486522	일반	뭐야 치타갤이야?	ㅇㅇ(39.7)	06.05	33	0
486521	일반	태양풍이라도 분거아니냐 [1]	ㅇㅇ(121.131)	06.05	103	1
486520	일반	이새끼 소행 아니냐 [1]	ㅇㅇ(211.36)	06.05	122	1
486519	일반	반 세력 AI 디도스라 해도 더 무서운게	ㅇㅇ(221.166)	06.05	126	1
486518	일반	이렇게 서버 터지면 돌아오는데 얼마나걸림? [2]	ㅇㅇ(61.110)	06.05	120	0
486517	일반	앞으로 한시간동안 갤은 재미니단이 접수한다	ㅇㅇ	06.05	36	0
486516	일반	승리의 제미니단은 개추 ㅋㅋㅋㅋㅋㅋ [3]	ㅇㅇ	06.05	232	7
486515	일반	좇댓다 AGI가 다 먹었다 지금 [1]	ㅇㅇ	06.05	132	0
486514	일반	진짜로 반 ai세력들이 디도스하는거같음 [2]	ㅇㅇ(223.62)	06.05	166	2
486513	일반	왜 여기저기 다 터진거냐	ㅇㅇ(115.139)	06.05	67	0
486512	일반	잼미니는 된다 [2]	ㅇㅇ	06.05	92	0
486511	역노화	IPS 유도만능줄기세포로 역노화 연구 이제 안한다는건지?	ㅇㅇ(211.234)	06.05	131	0
486510	일반	인도 선거때문이냐는 추측도 있는데 [2]	ㅇㅇ(59.26)	06.05	194	0
486509	일반	그냥 서버 터진 이유 공개한다 [2]	ㅇㅇ	06.05	218	0
486508	일반	왜 터진건지 알거같다	ㅇㅇ(203.229)	06.05	130	0
486507	일반	오늘도 노동해방과 특이점을 향한 기도를 올립니다 [2]	ㅇㅇ(219.240)	06.05	28	0
486506	정보/ 정보/뉴스	RethinkX "휴머노이드 로봇으로 인한 노동혼란은 불가피" [1]	ㅇㅇ(125.191)	06.05	107	1
486505	일반	제미니는 되는거임? [1]	ㅇㅇ(59.26)	06.05	111	1
486504	일반	지금 이 순간 작동되는 AI는 누구일까?	ㅇㅇ(118.235)	06.05	115	0
486503	일반	터진게 아니라 번데기가된거아냐?	단토단토	06.05	56	2
486502	일반	잼민이도 터졌네 진짜 뭔 일 있나보다 [2]	ㅇㅇ(115.138)	06.05	177	0
486501	일반	씨발 자꾸 gpt4o 기열찐빠같다고 하니까 터진거잖아	ㅇㅇ(223.62)	06.05	37	0
486500	일반	일해야돼... 살려줘... 제발...ㅠㅠㅠㅠㅠ	Luftwaffe	06.05	51	0
486499	일반	설마 AI 반대론자들의 디도스인가	ㅇㅇ(221.166)	06.05	61	0
486498	일반	니네 제미나이 지금 되냐? [4]	ㅇㅇ(211.104)	06.05	110	0
486497	일반	논문쓰는데 claude 터졌네	ㅇㅇ(165.132)	06.05	69	0
486496	일반	씨발 미국에서 ai업체들한테 소송좀	ㅇㅇ(203.254)	06.05	65	0
486495	정보/ 정보/뉴스	일론머스크, 테슬라보다 xAI에 gpu 우선 요청 [2]	ㅇㅇ(125.191)	06.05	144	1
486494	일반	서버 터진 이유를 아직도 모르겠음?	ㅇㅇ(106.101)	06.05	105	0
486493	일반	AI 서비스 하는곳들 대부분 맛갔는데 뭐냐 ㅋㅋㅋ	ㅇㅇ(211.104)	06.05	98	0
486492	일반	본인이 학식이다 ㅡ 개추 [1]	ㅇㅇ(125.132)	06.05	71	1
486491	일반	애—미 씨발 gpt 클로드 쌍으로 먹통이여 [1]	ㅇㅇ	06.05	149	0
486490	일반	갤 보니까 gpt 짬처리의 신이었구나	ㅇㅇ(59.6)	06.05	90	0
486489	일반	15분전에 클로드 복구했다가 지금 또 터졌네 [2]	ㅇㅇ(115.138)	06.05	119	0
486488	일반	개발 올해로 6년찬데 념글 좀 근들갑인 게 [5]	유동닉(121.152)	06.05	205	0
486487	일반	GPT, 클로드 안되면 [1]	ㅇㅇ(125.180)	06.05	142	0
486486	일반	뭐가 나오긴 했어 [1]	Luftwaffe	06.05	110	0
486485	일반	제발 신규 업데이트 때문에 오류 난거라 해줘 [1]	ㅇㅇ(221.166)	06.05	76	0
486484	일반	야 터진거보니까 먼가 나오려나봐 [1]	ㅇㅇ(58.123)	06.05	117	0