스탠포드에서 공개한 LLM의 MMLU 순위 - 특이점이 온다 마이너 갤러리

기술적 특이점에 대해 의논하고 그와 관련된 과학 기술 정보와 소식을 공유하는 갤러리입니다. *갤러리 이름은 동명의 레이 커즈와일의 저서 <특이점이 온다 (The singularity is near)>를 의미합니다.

매니저

특갤용(118wshxhtx5h)

부매니저

ㅇㅇ(hamaster) 부패하는유전자!!!(sansss20…) 은바다(nmra3fmz…)

개설일

2019-08-01

[정보/뉴스] 스탠포드에서 공개한 LLM의 MMLU 순위앱에서 작성

ㅇㅇ

2024.05.17 00:25:20

조회 563 추천 6 댓글 4

1ebec223e0dc2bae61abe9e74683706d2fa04b83d3d7c9b6b4c3c4044f179093bd6aabee63d369cf54839ac2d1e502f604

투명성을 위해 스탠퍼드에서는 단순하고 표준화된 프롬프트를 사용하여 공정하고 재현 가능한 모델 비교를 위해 HELM MMLU를 계산합니다.

https://crfm.stanford.edu/helm/mmlu/v1.3.0/#/

Holistic Evaluation of Language Models (HELM)

Holistic Evaluation of Language Models (HELM)

crfm.stanford.edu

고정닉 5

원본 첨부파일 1

Screenshot_20240517_002422_Chrome.jpg

전체 댓글 0개

등록순

본문 보기

타인의 권리를 침해하거나 명예를 훼손하는 댓글은 운영원칙 및 관련 법률에 제재를 받을 수 있습니다.
Shift+Enter 키를 동시에 누르면 줄바꿈이 됩니다.

갤러리 리스트
번호	말머리	제목	글쓴이	작성일	조회	추천
2863	설문	시세차익 부러워 부동산 보는 눈 배우고 싶은 스타는?	운영자	24/05/27	-	-
484646	일반	저 블랙록견인데 MIT 빠시는 분들 다 싸닥치세여 ㅇㅅㅇ [2]	ㅇㅇ(122.36)	05.31	127	2
484645	일반	아니 그럼 저 mit 논문 쓴 사람이 경제학과 교수란거임?ㅋㅋ	ㅇㅇ(61.97)	05.31	74	0
484644	일반	MIT가 이랬으니깐 그럴꺼야 <<< ??? [2]	ㅇㅇ(211.184)	05.31	125	3
484642	정보/ 정보/뉴스	챗GPT의 한계?…짐 켈러 “똑똑하지만 창의성 없다” [11]	ㅋㅋ(223.38)	05.31	413	4
484640	일반	또 갤러리가 망했잖아 [5]	ㅇㅇ(112.186)	05.31	239	1
484639	일반	gpt 애들 왜이렇게 느려짐 [1]	ㅇㅇㅇ(210.109)	05.31	61	0
484638	일반	122.36 말투 존나 귀엽네 씨발 [3]	ㅇㅇ(183.105)	05.31	120	1
484637	일반	gpt4도 mit공대 석학 잘까네 ㅋㅋ [2]	연맛	05.31	154	0
484636	일반	MIT 석학쭝쭝이들은 기분소득 동의하시져 ㅇㅅㅇ [5]	ㅇㅇ(122.36)	05.31	166	0
484635	일반	못믿겠으면 숏치라는 논리는 너무 무식하다 [6]	ㅇㅇ(119.201)	05.31	148	0
484634	일반	저도 MIT 석학 주장 가져왓어여 ㅇㅅㅇ [5]	ㅇㅇ(122.36)	05.31	211	3
484633	일반	선형 씨발충들 수준보소 [3]	ㅇㅇ(121.128)	05.31	131	3
484632	일반	mit가 무슨 대학인데? ㅋ 메사추세츠 공대급 아니면 안쳐준다 ㅋㅋ [7]	ㅇㅇ	05.31	225	6
484631	일반	월급 30도안되는 노동자 대체하려고 [2]	ㅇㅇ(14.6)	05.31	153	0
484630	정보/ 정보/뉴스	애플 'WWDC24' 일정 공개…"기조연설서 획기적 변화 발표" [2]	연맛	05.31	153	2
484629	일반	2019년은 씨발 뭐 장난하노 ㅋㅋㅋ [4]	ㅇㅇ(211.197)	05.31	210	1
484627	일반	이거 나만 겪었냐 [1]	ㅇㅇ	05.31	69	0
484626	일반	병신 예측자료 하나가지고 설레발 쳐 떠네 [3]	ㅇㅇ(121.128)	05.31	117	2
484625	일반	Mit 경제 관련 팩트체크 하고 넘어가라	ㅇㅇ	05.31	100	0
484624	일반	게리 마카롱도 MIT인건 아시나여 ㅇㅅㅇ	ㅇㅇ(122.36)	05.31	84	2
484622	일반	본인 몸이 진짜 특이점인듯.................. [3]	ㅇㅇ(118.220)	05.31	112	2
484621	일반	걍 mit 출신 단 한사람이 게속 어그로끄는거 아님?	ㅇㅇ(183.105)	05.31	34	0
484620	일반	거품이 언제 터질지 몰라서 숏 못친다는건 개소리져 ㅇㅅㅇ	ㅇㅇ(122.36)	05.31	55	0
484618	일반	mit 저거 걍 선형충 평균아님?	ㅁㄱㅌㅊ(14.47)	05.31	51	0
484616	일반	MIT 니들이 허접한지, AI가 허접한지는 결과가 말해줄 것이다 [3]	ㅇㅇ(210.106)	05.31	117	2
484615	일반	또 MIT, 석학 이라는 단어에 반응하네 [19]	ㅇㅇ(59.10)	05.31	2300	46
484614	일반	mit 저거 웃기농ㅋㅋ	ㅇㅇ(112.186)	05.31	58	1
484613	일반	예전에 말 나왔던 주제였던 거 같긴 한데 나만 전자 마약?이 두렵냐 [6]	ㅇㅇ(61.82)	05.31	73	0
484612	일반	mit 석학 보고서 저는 개소리라고 확신하빈당(근거잇음) [1]	ㅇㅇ(122.36)	05.31	95	2
484611	일반	ai 거품이면 "엔비디아"에 숏치면 되여 ㅇㅅㅇ [1]	ㅇㅇ(122.36)	05.31	135	0
484609	일반	AI가 대체할 직업들 [5]	agi2024	05.31	237	2
484608	정보/ 정보/뉴스	버핏“AI는 핵무기급... 겁난다” [4]	연맛	05.31	230	3
484607	일반	mit고 뭐고 다거르면됨	ㅇㅇ(14.6)	05.31	46	0
484606	일반	mit보고서 2019년 기준아님? [1]	친근한게이브	05.31	74	0
484605	일반	누누히 말하지만 ai가 거품같으시면 [2]	ㅇㅇ	05.31	90	0
484603	일반	그림은 머지않아 따22이겠지 뭐 [4]	ㅇㅇ(125.134)	05.31	145	2
484602	일반	5년전 특갤 정보글 수준 [5]	agi2024	05.31	136	0
484601	일반	Cloud무료 vs Gpt-4o 뭐가 더 똑똑함? [1]	ㅇㅇ(221.163)	05.31	103	0
484600	일반	제미니 플래시도 써볼까 [1]	람냥	05.31	50	0
484599	정보/ 정보/뉴스	MIT 석학 보고서 "ai로 세상 못바꿔" [45]	ㅇㅇ(1.245)	05.31	2760	28
484598	일반	특붕이들 마음가짐 확실한거 하나 ㅋㅋㅋㅋㅋ	dd(117.110)	05.31	65	1
484597	일반	"GPT5는Plus를 1년 이상 구독 유지한 사용자에게 우선 제공됩니다" [3]	ㅇㅇ(106.255)	05.31	202	1
484596	일반	근데 4+1=5가 왜 출시가 얼마 남지않았다는거로 연결됨? [3]	ㅇㅇ(211.46)	05.31	163	0
484595	일반	Gpt4o가 무료 어느정도 뿌린거 보면 보이스가 막강하다는건데 [5]	연맛	05.31	242	0
484593	일반	그림얘기 나올때마다 수상하리만치 말투가 이상한 유동이 오네	ㅇㅇ(61.82)	05.31	101	3
484592	일반	드디어 gpt 업뎃 떴구나 올게 왔다	도서관킬러	05.31	221	0
484591	일반	LLM아레나 4o랑 제미니 격차 단 19점!!!! [2]	lightvector	05.31	291	5
484590	일반	그 인공근육 로봇 만들던 애들 근황 어케됨 [2]	ㅇㅇ	05.31	142	0
484589	일반	chat gpt 앱에 몇 주 후 음성모드 출시 예정이라고 알림떴네 [9]	ㅇㅇ	05.31	282	2
484588	일반	인공지능 의식에 대한 정리 [17]	ㅇㅇ	05.31	395	4