디시인사이드 갤러리

마이너 갤러리 이슈박스, 최근방문 갤러리

갤러리 본문 영역

[정보/뉴스] 새로운 언어모델 벤치마크 MMLU-Pro모바일에서 작성

특갤용갤로그로 이동합니다. 2024.05.15 13:59:13
조회 538 추천 16 댓글 15
														
0490f719b0816df220afd8b236ef203e4dd6966436f752


MMLU-Pro는 대규모 언어 모델의 성능을 더 엄격하게 평가하기 위한 강력하고 도전적인 데이터셋입니다. 12,000개의 복잡한 질문을 포함하고 있습니다.

1. MMLU-Pro의 새로운 점:
- 기존 MMLU는 4개의 선택지만 있었으나, MMLU-Pro는 10개의 선택지를 제공합니다. 이는 평가를 더 현실적이고 도전적으로 만듭니다.
- 기존 MMLU는 주로 지식 중심의 질문이었지만, MMLU-Pro는 문제의 난이도를 높이고 추론 중심의 문제를 추가했습니다.
- 선택지 증가로 모델 성능이 더 안정적이 되었으며, 예를 들어, Llama-2-7B의 성능 변동이 MMLU-Pro에서는 1% 이내인 반면, 기존 MMLU에서는 4-5%까지 변동할 수 있습니다.

https://huggingface.co/datasets/TIGER-Lab/MMLU-Pro

 





자동등록방지

추천 비추천

16

고정닉 13

원본 첨부파일 1

댓글 영역

전체 댓글 0
등록순정렬 기준선택
본문 보기
자동등록방지

하단 갤러리 리스트 영역

왼쪽 컨텐츠 영역

갤러리 리스트 영역

갤러리 리스트
번호 말머리 제목 글쓴이 작성일 조회 추천
2879 설문 가족과 완벽하게 손절해야 할 것 같은 스타는? 운영자 24/06/24 - -
489161 일반 돈이고 뭐고 다 필요없고 쇳덩이가되고싶구나 [6] ㅇㅇ갤로그로 이동합니다. 06.09 245 1
489160 일반 역대급으로 흥미로운 해가 될것 [1] ㅇㅇ(118.235) 06.09 160 0
489159 일반 존버917일차 [5] alphaca갤로그로 이동합니다. 06.09 71 0
489158 일반 또 또 의심하내 [1] ㅇㅇ(121.170) 06.09 87 1
489157 일반 2025AGI무새들도 많이 세가 죽었네 [10] ㅇㅇ(180.230) 06.09 457 1
489156 일반 얀르쿤 이새기는 얼굴빼고 잘난게 뭐가 있음? [3] ㅇㅇ(211.179) 06.09 140 0
489153 일반 AGI는 2029년 엘론머스크에 의해 올거임 근거있음. [35] 망치왕(211.234) 06.09 694 6
489152 일반 완몰가가 메인인 작품 [1] ㅇㅇ(211.234) 06.09 136 0
489151 일반 1000억 받고 특이점 영원히 안오기 vs 그냥살기 [20] ㅇㅇ(218.50) 06.09 406 0
489150 일반 챗지피티 첨 써보고 충격먹었던게 엊그제같은데 [2] ㅇㅇ갤로그로 이동합니다. 06.09 291 0
489149 일반 아직 하드웨어적인 한계는 도달하지도 못했음 [1] ㅇㅇ(211.184) 06.09 111 0
489148 일반 대충 결과는 입력으로 못넣는 예시.. ㅇㅇ(222.122) 06.09 70 0
489147 일반 완몰가 나오면 대부분 사람들이 현실도피 하겠지?? [6] ㅇㅇ갤로그로 이동합니다. 06.09 266 5
489146 일반 특이점오면 완몰가 가장먼저 하고싶은게 차은우 되기였는데 [5] 관음증갤로그로 이동합니다. 06.09 239 0
489145 일반 GPT4 출시한게 벌써 1년전이노 [2] ㅇㅇ갤로그로 이동합니다. 06.09 206 0
489144 일반 킹텔 아직 한발 남았다 [5] ㅇㅇ갤로그로 이동합니다. 06.09 179 0
489142 일반 유입들 얀 르쿤 오해하면 안되는거 [3] ㅇㅇ(125.183) 06.09 251 0
489141 일반 그림 Ai 간단하게 정리하면 [5] ㅇㅇ(121.186) 06.09 200 1
489140 일반 특이점이 오기까지에 아마 가장 큰 걸림돌 [6] ㅇㅇ(222.122) 06.09 172 0
489139 일반 역시 믿을건 구굴뿐이다 그지? [1] ㅇㅇ갤로그로 이동합니다. 06.09 142 1
489138 일반 하드웨어 발전정체는 딱히 [1] ㅇㅇ갤로그로 이동합니다. 06.09 132 0
489137 일반 합성 데이터 약간 바벨의도서관에서 책 찾기 같음 [2] 슈퍼130클럽갤로그로 이동합니다. 06.09 84 0
489136 일반 앞으로 천년 더 살기 vs agi 지금 바로 오기 [3] ㅇㅇ(117.111) 06.09 174 0
489135 일반 씹덕들은 이미지 생성 ai 서비스 어떤거 씀? [7] 토미야스갤로그로 이동합니다. 06.09 268 0
489134 일반 실시간 통장에 100억 입금 VS AGI 5년 앞당기기 [11] ㅇㅇ갤로그로 이동합니다. 06.09 296 0
489133 일반 agi 2년 앞당기기 vs 젊음과 차은우 외모 얻기 [14] vs맨갤로그로 이동합니다. 06.09 327 0
489132 일반 역시 부모님이랑 같이 역노화 노동해방 맞이하긴 힘든걸까 [1] 슈퍼130클럽갤로그로 이동합니다. 06.09 160 0
489130 일반 알트만이 투자한 400개 기업중에 [1] ㅇㅇ(112.152) 06.09 129 0
489129 일반 싹 다 노동시켜 감대리갤로그로 이동합니다. 06.09 64 0
489128 일반 Ai 발전정체라는 개소리는 왜자꾸 나오는지 모르겠다 [1] ㅇㅇ갤로그로 이동합니다. 06.09 165 0
489127 일반 ㄹㅇ 아폴로 프로젝트처럼 됐으면 좋을텐데 [1] ㅇㅇ(14.53) 06.09 152 0
489126 일반 어차피 특이점 안오면 불지옥 되서 다 뒤지는 결말 아니냐? ㅇㅇ갤로그로 이동합니다. 06.09 116 0
489125 일반 특이점은 온다 ㅇㅇ갤로그로 이동합니다. 06.09 50 0
489124 일반 특이점 안오면 한국은 인구구조로 비참할정도로 망함 ㅇㅇ(125.184) 06.09 82 0
489123 일반 Ai 발전정체가 계속될 확률이 높은 이유 [5] ㅇㅇ(125.184) 06.09 414 0
489122 일반 짱국 ai 근황 ㄷㄷㄷ [2] ㅇㅇ(121.190) 06.09 375 2
489120 일반 길거리에 모습을 드러낸 GPT-5 [1] ㅇㅇ(112.144) 06.09 412 1
489119 일반 걍 gpt5에 모든게 달려 있음 ㅇㅇ(118.235) 06.09 111 0
489118 일반 ㅋㅋ 코드몽키 대체를 왜함 ㅋㅋ [10] ㅇㅇ갤로그로 이동합니다. 06.09 268 0
489117 일반 트만이형이 llm한계 없다했어 ㅇㅇ(223.38) 06.09 90 0
489116 일반 그럼 일리야는 근들갑 쳐떤거냐 [3] ㅇㅇ(14.53) 06.09 294 0
489115 일반 갤 분위기 진짜 존나 실망임 [4] ㅇㅇ(211.234) 06.09 251 0
489114 일반 얀르쿤은 10년후에 딸피입갤하는 틀딱이고 [2] ㅇㅇ(118.235) 06.09 148 0
489113 정보/ 뇌에서 '수읽기' 일어나는 과정 밝혔다 [2] ㅇㅇ갤로그로 이동합니다. 06.09 270 4
489112 일반 그래서 2027agi 꿈도 꾸지 말아야하는거제? [1] ㅇㅇ(14.53) 06.09 167 0
489111 일반 앱개발하는데 뭐가제일나음? [1] ㅇㅇ(14.35) 06.09 102 0
489110 일반 Agi 오래걸릴수 있다고도 생각함 ㅇㅇ(117.111) 06.09 122 1
489109 일반 AGI 축제는 얀 르쿤말대로 여기서 끝이다 [3] 초코냥갤로그로 이동합니다. 06.09 291 0
489108 일반 최근에 나만 4o 성능 좀 좋아진거같냐 [1] ㅇㅇ(211.46) 06.09 110 0
489107 일반 에이전트 본사람 있음? ㅇㅇ(223.38) 06.09 39 0
갤러리 내부 검색
제목+내용게시물 정렬 옵션

오른쪽 컨텐츠 영역

실시간 베스트

1/8

뉴스

디시미디어

디시이슈

1/2