공정한 MMLU 벤치마크 결과 - 특이점이 온다 마이너 갤러리

기술적 특이점에 대해 의논하고 그와 관련된 과학 기술 정보와 소식을 공유하는 갤러리입니다. *갤러리 이름은 동명의 레이 커즈와일의 저서 <특이점이 온다 (The singularity is near)>를 의미합니다.

매니저

특갤용(118wshxhtx5h)

부매니저

ㅇㅇ(hamaster) 부패하는유전자!!!(sansss20…) 은바다(nmra3fmz…)

개설일

2019-08-01

[정보/뉴스] 공정한 MMLU 벤치마크 결과

ㅇㅇ(119.77) 2024.05.02 20:53:52

조회 632 추천 13 댓글 4

35a59e36ebd518986abce8954f8570684a

MMLU 벤치마크를 좀 더 공정하고 재현성 좋게 만들었다고함

클로드 GOD과 LLama-3가 눈에 띄노.

GPT4 Turbo가 기본 GPT4 대비 떡락한 것도 보이네.

물론 저 Turbo는 preview버전이고 지금꺼랑 다른거긴함.

고정닉 9

원본 첨부파일 1

xx.png

전체 댓글 0개

등록순

본문 보기

타인의 권리를 침해하거나 명예를 훼손하는 댓글은 운영원칙 및 관련 법률에 제재를 받을 수 있습니다.
Shift+Enter 키를 동시에 누르면 줄바꿈이 됩니다.

갤러리 리스트
번호	말머리	제목	글쓴이	작성일	조회	추천
2863	설문	시세차익 부러워 부동산 보는 눈 배우고 싶은 스타는?	운영자	24/05/27	-	-
475603	일반	gpt4o 현재까지 공개된 벤치로 제미니, 클로드, 4t와 비교 [8]	ㅇㅇ	05.16	3828	25
475377	정보/ 정보/뉴스	잠잘때 뇌 노폐물 청소? “딱히 그렇지 않아” [48]	ㅇㅇ(182.230)	05.15	5852	27
475470	정보/ 정보/뉴스	OpenAI 공동창립자 겸 과학자 "내 직업 대체? 5년정도 걸릴듯" [26]	ㅇㅇ(59.17)	05.16	4645	28
475551	정보/ 정보/뉴스	돼지 뇌, 몸에서 분리된 채 5시간 동안 생존 [34]	ㅇㅇ(182.230)	05.16	4759	35
475219	일반	챗GPT-4o 미친것같다 진심;;; [17]	불곰적위대	05.15	8002	44
475180	일반	gpt-4o 이년 진짜 미쳤네 [45]	도서관킬러	05.15	4351	26
475173	일반	GPT-4ㅇ한테 태양계 공전 시스템 코딩시켜봄 [47]	ㅇㅇ(221.155)	05.15	5544	41
475023	일반	gpt4o으로 10분만에 만든 하노이탑 시뮬레이션 [14]	et	05.15	4265	33
475017	일반	일리야와 초정렬팀이 근본인 이유...factos [15]	ㅇㅇ(118.37)	05.15	3643	39
474896	일반	지금 특갤 상황보니까 완장들은 운영 이렇게해야할거같음 ㅇㅇ [25]	ㅇㅇ(61.97)	05.15	2844	42
474882	일반	gpt-4o 개오져서 갤순위 높아지니까 유입 분탕충새끼들 개지랄을 하네 [9]	ㅇㅇ(125.137)	05.15	2768	44
474787	정보/ 정보/뉴스	Super Alignment 프로젝트 사실상 붕괴 [6]	ㅇㅇ(119.77)	05.15	648	17
474775	일반	현재 특이점 갤러리 상황 요약.....jpg [15]	ㅇㅇ(59.9)	05.15	5431	34
474618	정보/ 정보/뉴스	새로운 언어모델 벤치마크 MMLU-Pro [15]	특갤용	05.15	506	16
474562	일반	gpt4o 이거 코드 천줄 넘어가도 잘 인식 하는데 머임? [10]	lightvector	05.15	4065	41
474535	정보/ 정보/뉴스	Google I/O 2024에서 발표된 모든 것들 [6]	니지카엘	05.15	509	15
474343	일반	속보) 일리야 큰거온다 ㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋ [8]	ㅇㅇ(118.37)	05.15	5323	30
474294	일반	안전, 초정렬, 일리야 내치고도 점진적 발전 ㅇㅈㄹ ㅋㅋ [5]	ㅇㅇ(115.22)	05.15	3488	37
474251	일반	Sam Altman 오늘자 인터뷰 요약 [42]	ㅇㅇ(58.123)	05.15	5515	59
474137	정보/ 정보/뉴스	OAI 안전 정렬 팀, 다수 퇴사 혹은 해고 [3]	ㅇㅇ(119.77)	05.15	479	12
474088	정보/ 정보/뉴스	일리야, OAI와 결별 및 프로젝트 공개 예고 [12]	ㅇㅇ(119.77)	05.15	3933	38
473930	일반	??? : 흠.... [22]	ㅇㅇ(211.200)	05.15	4570	50
473884	정보/ 정보/뉴스	오늘 공개된 '제미니 1.5 플래쉬'의 혁신성 [5]	ㅇㅇ(119.77)	05.15	534	16
473681	일반	내가 느낀 openai와의 차이점 [24]	ㅇㅇ(116.123)	05.15	4411	32
473461	일반	여기서 GPT-4o 메디컬 개 미친 성능 [18]	Spark	05.15	5260	39
472895	일반	gpt4o이새끼 좀 지리는데 [6]	ㅇㅇ(121.151)	05.15	2118	24
472667	일반	GPT-4o vs GPT-4 풍경 이미지 인식 비교 [18]	elryiop	05.14	5460	37
472656	일반	gpt4o는 상상력도 풍부하네 [16]	친근한게이브	05.14	4764	43
472472	일반	진짜 나만 다른 세상인건가 4o 코딩성능 ㅈ되는거같은데 [11]	ㅇㅇ(175.213)	05.14	5244	32
472439	일반	GPT4O 갓 패치 ㅇㅈ한다	ㅇㅇ(118.235)	05.14	3515	30
472362	정보/ 정보/뉴스	오픈AI 직원 : 사람들이 GPT-4o에 대해 오해하고 있다 [43]	rtOS	05.14	7060	53
471494	정보/ 정보/뉴스	처음으로 mathvista에서 인간을 능가한 gpt4o [24]	특술람	05.14	4069	32
472057	정보/ 정보/뉴스	OAI 이벤트 초대남이 우연히 들은 말 [10]	ㅇㅇ(119.77)	05.14	612	16
472054	일반	"숨죽였던 치타가 달리기 시작한다" [19]	ㅇㅇ(118.37)	05.14	4446	36
471541	일반	■완장들은 특갤계엄령 선포해라 분탕들 좆지랄떠는거 안보이나 [24]	ㅇㅇ(61.97)	05.14	2681	44
471512	일반	GPT-4o 실체.jpg (특슬람, 선형충 멸망) [13]	ㅇㅇ(218.238)	05.14	7053	32
471475	일반	념글 사과문제 영어로 하니까 맞추는데? [14]	ㅇㅇ(119.192)	05.14	3993	29
471384	일반	념글GPT4도 리롤하면 사과문제 못맞추잖아 [7]	ㅇㅇ(121.184)	05.14	3147	17
471376	일반	4o에 왜 열광하는지 모르겠음 [61]	비닌	05.14	6528	37
471362	일반	gpt 4o 빠른대신 구리네 [24]	ㅇㅇ(175.125)	05.14	6056	25
471328	토의	하도 근들갑 떨어대길래 공식영상 보고 왔는데 [21]	ㅇㅇ(103.212)	05.14	3761	31
471293	일반	솔직히 살짝 짜치면 개추... [8]	ㅇㅇ(183.98)	05.14	5513	40
471208	일반	gpt4o 이미지 인식 미쳤네 ㅋㅋㅋㅋ [27]	비오는날의개구리	05.14	6093	24
471167	정보/ 정보/뉴스	개쩌는 오픈AI, GPT-4o 음성 모델 영상 모음 [22]	월코존버	05.14	5280	37
471082	일반	ㄹㅇ TTS, stt 모델 갖다 버렸네 도약이노 [16]	ㅇㅇ(220.71)	05.14	4185	21
471058	일반	오늘새벽 광란의 특갤 실전 요약.jpg [10]	ㅇㅇ	05.14	4688	39
471035	일반	GPT-5 진행상황 곧 공개? [12]	ㅇㅇ(59.5)	05.14	4609	24
470838	일반	이미지 인식능력 돌았다 [9]	ㅇㅅㅇ(210.91)	05.14	3831	22
470819	일반	Gpt4o 이미지 인식능력 장난아니네 [7]	ㅇㅅㅇ(210.91)	05.14	4137	19
470537	정보/ 정보/뉴스	GPT-4o MMLU 88.7 [9]	ㅇㅇ(61.82)	05.14	3194	19