제미니에서 주목해야 할 부분은 따로 있는거 같은데???

특이점이 온다 갤러리
마이너

자동 짤방 이미지

이미지가 없습니다.

자동 짤방으로 사용할 이미지를 등록해 주세요.

" Don't Die "

매니저

sama(prince2317)

부매니저

퐁칸8(zxvw157) かみ(thank346…) Asi(worship5…) 203847년걸리겠죠(awful685…) 낭만적특이점(next1842) ㅇㅇ(tiger436…) ds(as369) 회색(counsel8…) 특갤전용기계(near1254)

개설일

2019-08-01

[일반] 제미니에서 주목해야 할 부분은 따로 있는거 같은데???앱에서 작성

Azurespace

2023.12.07 18:40:25

조회 2462 추천 50 댓글 23

1ebec223e0dc2bae61abe9e74683776c65fd7552b311f635646c31031814525168d4904c7f48803cbe258d3c1fe3faf2b2a6da21df71035c3934ae9b

lost in the middle이라고 올해 LLM계에 대형 폭탄을 터뜨린 논문이 있거든

당시 프롬프트 토큰 길이 늘리는게 유행이었는데

파인튜닝을 하는 대신 시스템 프롬프트를 길게 넣어서 서비스를 만들자라는 아이디어로 다들 달려들던 차에

"LLM들 프롬프트 길게 넣어봤자 맨 앞이랑 맨 뒤만 보고 중간 부분은 읽지도 않는다 오히려 제로샷이 나음"

이라는 충격적인 결과를 내서

아 linear scaling으로 토큰을 16k 32k 100k 늘리는게 아무 의미도 없구나라는 교훈을 주고

그래서 AI 기반으로 서비스 개발하는 업체들이 long prompt 대신 retrieval based augmentation을 잘하는 쪽으로 선회했단 말야

GPT-4 turbo도 말만 120k지 테스트해보면 똑같이 찐빠가 나는게 알려져 있거든

근데 제미니 테크리포트 보면

1ebec223e0dc2bae61abe9e74683776c65fd7552b311f63560673103181452510bd7dfd7c43c4a9bdb7a413b175fe8c992b3cf23f6ce5e27bf7d98da

벤치마크에서 98퍼센트 정확도로 콘텍스트 중간의 정확한 값을 찾아온다는데

구글이 뭔가 모델 구조에 손을 대서 바뀐거고, 실제 워크로드에서도 되는거면 모델 기반으로 서비스 만드는 사람들은 GPT4대신 제미니 써야 할 이유가 있는거임

왜 이걸 강조를 안했지?? 나였다면 이거부터 동네방네 떠들었을텐데

- dc official App

고정닉 16

원본 첨부파일 2본문 이미지 다운로드

전체 댓글 0개

등록순 최신순 답글순

본문 보기

타인의 권리를 침해하거나 명예를 훼손하는 댓글은 운영원칙 및 관련 법률에 제재를 받을 수 있습니다.
Shift+Enter 키를 동시에 누르면 줄바꿈이 됩니다.

갤러리 리스트
번호	말머리	제목	글쓴이	작성일	조회	추천
-	설문	주류 모델하면 매출 폭등시킬 것 같은 아이돌 스타는?	운영자	26/01/05	-	-
571617	공지	뉴비 가이드)gpt 뭐 써야 해요? 특이점이 뭐에요? (250818)	ㅇㅇ	24.11.23	85062	86
833898	공지	특갤 통합 공지 / 댓글 신고,문의 / 차단 해제 요청 [2]	ㅇㅇ	25.09.10	110743	11
571620	공지	본 갤러리는 타 갤러리 분탕과 관계 없음을 밝힙니다.	ㅇㅇ	24.11.23	13139	22
572292	공지	직업 비하, 조롱 글 30일 차단됩니다.	ㅇㅇ	24.11.24	12703	13
927049	일반	에일리쌤 gpt로 쓰는사람 잇음??	ㅇㅇ	17:20	9	0
927048	일반	제리 나간걸 일리야랑 비교하며 노잼이라 하는데 [2]	ㅇㅇ	17:20	22	0
927047	일반	제리 나간건 나간건데 개노잼으로 나갔네 [1]	ㅇㅇ	17:18	47	0
927046	일반	연 말 정 산 개 시 발 좆 같 이 귀 찮 네 [6]	봄바다	17:18	50	0
927045	일반	새삼스럽게 ㄱ웃기다 [1]	초월시	17:17	27	0
927043	일반	저 동글뺑이 로봇 움직이는 영상은 없음? [3]	ㅇㅇ(183.104)	17:14	50	0
927042	일반	로봇 배터리는 해결된건가? [4]	ㅇㅇ(125.143)	17:13	70	0
927041	일반	누군가 나갔다는건 누군가 목소리 큰 놈이 이긴거란 소린데 [2]	M3	17:13	63	2
927040	일반	근데 딥마인드가 새삼 굳건하긴 하다~ [2]	초월시	17:13	39	0
927039	일반	바나나 이제 멀쩡해졌지?	ㅇㅇ	17:12	25	0
927038	일반	codex 왜 자꾸 영어 아닌 외국어 쓰냐 [1]	ㅇㅇ(161.122)	17:12	23	0
927037	정보/ 정보/뉴스	국내 최초 정부 공인 'AI 자격증' 나왔다...SK AX 인증 획득 [4]	회색	17:11	137	3
927036	일반	근데 설마 지금 제리때문에 [3]	초월시	17:10	74	0
927035	일반	올해 에이전트의 해 맞지? [3]	ㅇㅇ(112.163)	17:08	62	0
927034	일반	오에아 지금 내부갈등 심한가보네~ [2]	초월시	17:08	113	0
927033	일반	이제 곧 취준생인데 [10]	미짱세용	17:06	97	1
927032	일반	보스턴 다이나믹스- 대실망 포인트 [13]	ㅇㅇ	17:05	182	0
927031	일반	암기쉽게하는법 [7]	레이븐(118.219)	17:05	54	0
927030	일반	제리햄 왜나감.. [14]	203847년걸리겠죠	17:05	185	1
927029	일반	경계선지능 문제같은것도 agi나 asi가 해결해주려나 [6]	에스숭배자	17:04	75	0
927028	일반	ubi는 이쯤되니 확정인거같고, [3]	초월시	17:03	87	1
927026	일반	제미나이 결제하면 뭐가 더 좋나요 [3]	섄디하니꼬	17:00	73	0
927025	일반	공장 유지 보수도 로봇이 하고 그 로봇의 유지 보수도 로봇이 하고 ㅋㅋ [1]	ㅇㅇ(175.123)	17:00	43	0
927024	일반	이제 남은건 [3]	초월시	16:59	60	0
927023	일반	아틀라스 머리부분이 굳이 필요한가??? [6]	ㅇㅇ(119.199)	16:59	119	0
927022	일반	특갤이 예전보다 유명해지긴 했나보다 [5]	ㅇㅇ	16:58	126	2
927021	일반	로보틱스 동작학습은 이게 진짜 무서운거 같다 [3]	M3	16:57	130	0
927020	일반	가상화폐도 엄청 채굴하더니, 틱톡으로도 돈을 채굴하는 중국	ㅇㅇ(121.131)	16:57	79	1
927019	일반	안녕하세요 실배유입입니다. [14]	ㅇㅇ	16:56	169	3
927018	일반	인간 공장 일자리는 확실하게 1~2년 안에 멸망이네 [4]	ㅇㅇ	16:56	144	0
927017	일반	보스턴 이거 올라왔었나	ㅇㅇ(125.143)	16:55	60	0
927016	일반	개소름돋았네 [5]	초월시	16:54	116	1
927015	일반	구글 스튜디오 사용량집계 안되는건 왜지? [2]	ㅇㅇ(1.254)	16:52	45	0
927014	일반	이게 왜 실베죠? [10]	회색	16:51	274	4
927013	일반	codex 토큰 다 떨어지면 일반 채팅으로 코드 넣고 돌리자 [3]	ㅇㅇ(211.206)	16:50	72	0
927012	일반	나노바나나 나노바나나프로 qwen image edit 2511 비교 [2]	ㅇㅇ	16:50	103	0
927011	일반	7전8기 삼국지3 개발 도전 선언! [9]	ㅇㅇ(59.15)	16:49	88	1
927010	일반	그록은 걍 개병신이네 [4]	ㅇㅇ	16:42	212	4
927009	일반	환각이 아닌거 같기도 하고 음 [7]	ㅇㅇ	16:40	149	1
927008	일반	확실히 잘나가는 기업들 보면 판단력 대단하긴 한게 [6]	[존만깔X22]의뇌	16:40	158	0
927007	일반	미안하다 [4]	몬스터제로	16:40	107	3
927006	일반	에일리베일리 프롬으로 영어공부하고 있는데 이해가 쏙쏙되잖아;; [1]	ㅇㅇ(207.81)	16:39	60	0
927005	일반	보스턴 다이나믹스 데몬스트래이션 중에 [4]	M3	16:36	138	1
927004	일반	ChatGPT 트래픽, Gemini 3 발표 이후 6주간 22% 감소 [2]	ㅇㅇ	16:33	261	1
927003	일반	아틀라스+자율주행 하면 택배기사는 순간적으로 대체될거 같지 [4]	ㅇㅇ	16:31	135	0
927002	일반	제미나이 울트라 쓰는데	ㅇㅇ	16:29	129	0
927001	일반	근미래 예상되는 일자리. [7]	ㅇㅇ(59.15)	16:28	158	1
927000	일반	보스턴 공급망은 ㄹㅇ 현대네	ㅇㅇ(211.195)	16:28	99	0
926999	일반	제미니 프로랑 사고모드랑 차이있음? [2]	카탁프락T	16:27	66	0
926998	일반	nsfw 풀린 나노바나나를 갖고 싶구나 [3]	ㅇㅇ	16:25	195	0